自我訓練新突破：策略多樣性取樣，如何讓小模型靠「多元思路」擊敗大模型蒸餾？
Strategically Diverse Sampling: Why Approach Diversity Beats Model Scale in Self-Training
傳統 LLM 自我訓練與強化學習（RL）常依賴獨立同分布（IID）取樣並篩選正確答案，這容易導致模型偏好特定解法。本論文提出「策略多樣性取樣」，透過新方法 GROOT（建立層級式策略樹）與口語化取樣（VS）生成多元的解題路徑。實驗顯示，即便使用較小模型（Qwen3-4B）生成「錯誤但多樣」的解題軌跡進行訓練，其表現仍能超越從 235B 巨型教師模型進行的 IID 蒸餾，顛覆了傳統對訓練資料質量的認知。
核心重點
傳統 IID 取樣的局限
傳統自我訓練依賴重複的 IID 取樣並篩選正確答案，這會過度強化模型已掌握的特定策略，缺乏盲區突破。
策略多樣性新取樣
強調解題思路的實質差異。研究提出 GROOT（層級式策略樹）與 VS（口語化取樣）來主動生成多元路徑。
錯誤但多樣勝過巨型教師
即使使用 Qwen3-4B 生成錯誤但多樣的解答軌跡，自我訓練後的效果仍優於從 235B 巨型模型蒸餾的結果。
強化學習與縮放的強力起點
多樣性取樣能為強化學習（RL）和測試時縮放（Test-time Scaling）提供極佳的初始模型狀態。
技術圖解
| 傳統 IID 取樣 | 策略多樣性取樣 | |
|---|---|---|
| 核心驅動力 | 答案正確性與教師規模 | 解題思路的實質多樣性 |
| 取樣機制 | 獨立同分布重複取樣 | 層級策略樹或口語化取樣 |
| 小模型成效 | 高度依賴大模型蒸餾 | 錯誤但多樣的資料仍能勝過蒸餾 |
為什麼重要
這項研究顛覆了「訓練資料必須正確無誤」或「必須依賴超大型教師模型進行蒸餾」的傳統假設。它證明了「思路的多樣性」在引導模型學習與泛化上具有更高的價值。這為資源有限的團隊提供了一條新路徑：利用中小型模型生成多元策略，即可達到甚至超越傳統知識蒸餾的效果，大幅降低訓練成本並提升模型在複雜任務（如程式設計與推理）上的表現。
對誰有影響
- AI 開發者
- AI 研究人員
可以怎麼使用
- 1競賽程式設計（Competitive Programming）中的多元解法生成與自我訓練。
- 2為強化學習（RL）或思維鏈（CoT）推理準備高品質、具備多樣化初始策略的訓練數據。
限制與注意事項
- 目前僅在競賽程式設計與下一章預測（Next-Chapter Prediction）等特定領域進行了驗證，泛化至其他學科的效果仍待探討。
- 構建 GROOT 層級決策樹和口語化取樣可能引入額外的運算與 prompt 設計開銷。
延伸閱讀
自我監督信心訓練：免於刻意「學會停止」即可提升 LLM 推理效率
Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
研究人員發現，透過自我監督讓推理模型在訓練中預測自身答案的信心度，即使不引入長度限制或提前終止機制，也能在推論時自然減少高達 25% 的 token 消耗並保持相同準確度。
逆向擴散的一階駐點性：連結優化與生成採樣的數學機制
First-Order Stationarity of Reverse Diffusions: Bridging Optimization and Sampling
本研究為擴散模型建立了一階優化理論，證明當前向加噪過程為強凸時，基於隨機微分方程（SDE）的逆向擴散能以指數速率收縮，並為非凸數據提供了一階駐點性保證。
黑盒生成式 AI 的統計屬性對齊：透過輸出後處理實現公平與多樣性
Statistical Attribute Alignment for Black-Box Generative AI via Output Post-Processing
本研究提出一種統計後處理演算法，在僅能以「黑盒」方式調用生成式 AI 的情況下，能以最少的查詢次數確保模型輸出（如性別、年齡等屬性）符合使用者指定的目標分佈。