Aivora

#fisher-information

Fisher Information

1 篇文章

微創型語言模型導向技術:利用 MISVO 在不損害生成品質下優化輸出
arXiv大型語言模型

微創型語言模型導向技術:利用 MISVO 在不損害生成品質下優化輸出

Minimally Invasive Steering of LMs: Optimizing Rewards Without Quality Degradation

本研究提出 MISVO 技術,利用局部 KL 幾何(Fisher 二次式)懲罰過度干預,在不更新模型參數的前提下引導語言模型,能在維持生成多樣性與連貫性的同時提升獎勵分數。

2 分鐘閱讀