Pretraining

LIFT 架構：透過老師監督引入潛在資訊回饋，突破 Transformer 的單向限制

LIFT: Breaking Transformer Feed-Forward Bottlenecks with Latent Information Feedback

本研究提出 LIFT 架構，透過將狀態學習轉化為「老師逼近」預測問題，使 Transformer 能在生成步驟間傳遞深層潛在狀態，解決傳統模型必須重複計算中間結果的瓶頸。