arXiv大型語言模型專業

微創型語言模型導向技術：利用 MISVO 在不損害生成品質下優化輸出

Minimally Invasive Steering of LMs: Optimizing Rewards Without Quality Degradation

2026/09/252 分鐘閱讀

30 秒看懂

傳統的 Pre-logit steering 技術透過在最終隱藏狀態加入向量來引導凍結的語言模型，但無約束的優化會嚴重改變輸出分佈並降低生成品質。研究團隊提出「MISVO」，利用局部 KL 幾何（Fisher 二次式）來懲罰干預，可在不更新任何模型參數的情況下，優化特定位置的干預向量。在 1B 至 14B 參數模型的偏好與程式生成任務中，MISVO 在多數設定中取得最高平均獎勵，且保有接近 Best-of-N 的多樣性與連貫性。

核心重點

解決無約束導向的品質退化

傳統 Pre-logit 導向會過度扭曲輸出分佈。MISVO 藉由限制干預幅度，確保模型在追求獎勵時仍能保持生成品質。

引入 Fisher 二次式正規化

利用局部 KL 幾何（Fisher 資訊矩陣）來衡量分佈敏感度，為干預提供精確且非侵入式的懲罰項。

無需更新參數的解析梯度計算

透過與凍結語言模型標頭的矩陣與向量乘積，可直接計算解析梯度，實現高效的特定位置干預優化。

在多項任務中取得領先表現

在 1B 至 14B 參數模型上，MISVO 在 7 個模型與任務設定中取得 6 個最高的平均獎勵，並保有極佳的多樣性與連貫性。

技術圖解

MISVO 微創型導向流程

為什麼重要

隨著對 LLM 進行對齊與行為控制的需求增加，傳統微調（Fine-tuning）成本高昂，且容易導致模型原有能力的「災難性遺忘」。MISVO 提供了一種「微創式」的測試時（test-time）控制手段。它完全不需要更改原始模型參數，且克服了過往向量導向技術容易破壞文本連貫性的缺陷，為高效、可控且低成本的 LLM 部署開闢了新途徑。

對誰有影響

AI 開發者
AI 研究人員
產品經理

可以怎麼使用

1測試時的快速對齊：在無須重新訓練的情況下，根據安全、風格或特定偏好即時引導模型輸出。
2可控程式碼生成：優化程式碼生成模型以符合特定約束或獎勵標準，同時維持語法正確性。

限制與注意事項

數學推導假設了固定的生成長度，對於極度動態或無限長度的生成任務效果可能有所折損。
導向效果高度依賴於測試時獎勵模型（Reward Model）的品質與準確性。