arXivAI 研究
自我訓練新突破:策略多樣性取樣,如何讓小模型靠「多元思路」擊敗大模型蒸餾?
Strategically Diverse Sampling: Why Approach Diversity Beats Model Scale in Self-Training
本研究提出「策略多樣性」取樣方法(如 GROOT 與 VS),證明在自我訓練中,解題思路的多元性比單純追求正確性或使用超大型教師模型蒸餾更為關鍵。
2 分鐘閱讀
#groot
1 篇文章
Strategically Diverse Sampling: Why Approach Diversity Beats Model Scale in Self-Training
本研究提出「策略多樣性」取樣方法(如 GROOT 與 VS),證明在自我訓練中,解題思路的多元性比單純追求正確性或使用超大型教師模型蒸餾更為關鍵。