Scaling Laws

融合循環與稀疏架構：Looped MoE 的全新縮放定律

Scaling Laws for Looped Mixture of Experts: Combining Recurrence and Sparsity

本研究首次提出結合「循環架構」與「稀疏 MoE」的聯合縮放定律，為在有限算力與記憶體下設計高效大語言模型提供理論指引與驗證。