arXiv大型語言模型
類型安全不等於無誤:約束決策模型偏向選項字面名稱而非綁定規則
Type-Safe Is Not Error-Free: Constrained Decision Heads Follow Option Names, Not Their Rubrics
研究指出,限制輸出格式的「類型安全」決策模型,其決策極易受選項名稱字面語意(如 yes/no)的誤導,進而忽略實際綁定的評判規則,導致決策準確度劇烈下滑甚至完全相反。
2 分鐘閱讀
#evaluation
1 篇文章
Type-Safe Is Not Error-Free: Constrained Decision Heads Follow Option Names, Not Their Rubrics
研究指出,限制輸出格式的「類型安全」決策模型,其決策極易受選項名稱字面語意(如 yes/no)的誤導,進而忽略實際綁定的評判規則,導致決策準確度劇烈下滑甚至完全相反。