自我監督信心訓練：免於刻意「學會停止」即可提升 LLM 推理效率
Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
傳統上要減少推理模型（如 CoT）的生成長度，需使用推論時的提前終止或訓練時的長度懲罰。本研究提出一種「自我監督信心訓練」方法，僅需 600 個問題進行微調。訓練時只讓模型預測中間推理步驟的信心度，不包含任何關於長度、效率或終止的目標。令人驚訝的是，推論時採用標準生成（無信心度預測或提早終止），微調後的模型卻會自動縮短推理過程（最多節省 25% token），同時維持原有準確度。此現象適用於 Gemma、Qwen、Nemotron 與 GPT-OSS 等多個模型。
核心重點
元認知訊號訓練
利用自我監督，微調推理模型去預測自身在推理軌跡中各個中間點的答案信心度。
零長度目標優化
訓練損失函數中完全不包含任何長度、效率或終止的懲罰項，推論時亦採用標準生成。
減少 25% Token 消耗
在數學、科學與程式基準測試中，微調後的模型能節省多達四分之一的生成 Token，且準確度不受影響。
保留高階邏輯結構
分析顯示，信心監督能保留模型的高階推理結構，而非暴力或隨機地抑制特定生成行為。
為什麼重要
這項研究揭示了「高效率推理」可以作為學習「元認知（自我評估）」的副產品而自然湧現。企業與開發者無需使用複雜的強化學習（RL）或侵入式的推論控制機制，僅需 600 筆樣本的輕量微調，就能大幅降低 API 推理成本，對於推廣超長思維鏈模型的低成本部署具有重大實用意義。
對誰有影響
- AI 開發者
- AI 研究人員
- 企業決策者
可以怎麼使用
- 1降低企業生產環境中思維鏈（CoT）推理模型的 Token 成本與延遲。
- 2在不犧牲解答品質的前提下，優化數理、科學與程式生成工具的資源消耗。
限制與注意事項
- 該方法主要在數理、科學與程式等強邏輯推理任務上進行驗證，在一般對話或創意寫作任務上的效果未知。
- 雖然跨多個基礎模型皆有效，但不同模型架構的最佳信心評估設定可能仍存在細微差異。
延伸閱讀
逆向擴散的一階駐點性：連結優化與生成採樣的數學機制
First-Order Stationarity of Reverse Diffusions: Bridging Optimization and Sampling
本研究為擴散模型建立了一階優化理論，證明當前向加噪過程為強凸時，基於隨機微分方程（SDE）的逆向擴散能以指數速率收縮，並為非凸數據提供了一階駐點性保證。
黑盒生成式 AI 的統計屬性對齊：透過輸出後處理實現公平與多樣性
Statistical Attribute Alignment for Black-Box Generative AI via Output Post-Processing
本研究提出一種統計後處理演算法，在僅能以「黑盒」方式調用生成式 AI 的情況下，能以最少的查詢次數確保模型輸出（如性別、年齡等屬性）符合使用者指定的目標分佈。
新增 LoRA 技能唯讀不寫：READ 解決多配接器融合干擾
New LoRA Skills Should Read but Never Write: READ Solves Adapter Fusion Interference
本研究提出 READ 方法，透過「唯讀不寫」的單向耦合與標準化轉換，解決多個 LoRA 配接器融合時的參數干擾問題，在不增加推論成本的情況下完美保留舊技能並融入新技能。