Looped Transformer

如何循環混合專家模型？全新 Foil 架構實現專家扁平化與注意力機制解耦

How to Loop MoE: Foil Architecture Flattens Experts and Unties Attention

本研究提出 Foil 架構，成功融合循環 Transformer 與稀疏 MoE 模型，透過扁平化專家層與解耦注意力參數，在相同參數量與計算量下顯著提升預訓練效率與路由品質。