arXiv大型語言模型進階

類型安全不等於無誤：約束決策模型偏向選項字面名稱而非綁定規則

Type-Safe Is Not Error-Free: Constrained Decision Heads Follow Option Names, Not Their Rubrics

2026/09/232 分鐘閱讀

30 秒看懂

結構化輸出（類型安全）能保證格式符合 Schema，但無法確保模型正確理解選項。本研究測試 Jev 等模型在 1200 個工作流決策中的表現，發現僅將選項名稱從 0/1 改為 no/yes（而保留原評判規則），就會導致每百題改變 70.4 個答案，且 AUC 從 0.94 暴跌至 0.23。這顯示模型決策高度依賴「選項名稱」的字面語意，而非「規則文本」。相反地，改用中性或隨機字串作為選項名稱，反而能消除此偏誤並維持正常準確度。

核心重點

類型安全不等於邏輯正確

即使類型錯誤率完美保持在 0%，模型的語意決策品質仍可能因為選項命名而完全崩潰。

語意極性陷阱

模型強烈追隨選項名稱（如 yes/no）的字面語意，而非綁定在該選項上的複雜文本規則（rubric）。

讀取架構的關鍵影響

對整個選項區間進行平均池化（mean-pooling）的模型，其答案翻轉率降低了 4.1 倍，顯示模型架構能緩解此偏誤。

隨機名稱能消除偏誤

將選項名稱替換為無語意的隨機字元，能讓模型回復到中性控制狀態，且完全不影響原有準確度。

為什麼重要

當前的 AI Agent 與自動化管線高度依賴結構化輸出（如 JSON Schema）來與傳統軟體系統對接。本研究揭示了一個隱形漏洞：即使程式成功執行且無型態錯誤（Type-safe），AI 產出的決策邏輯也可能因為選項名稱的語意偏見而完全顛倒。這對於需要高精準度、不容出錯的金融、法律與醫療自動化決策系統具有重大警示作用。

對誰有影響

AI 開發者
AI 研究人員
產品經理
企業決策者

可以怎麼使用

1在設計 LLM 結構化輸出（Schema）時，使用無語意偏見的標記（如 A/B 或隨機字串）代替 yes/no，以避免模型產生決策偏誤。
2在 RAG 或 Agent 決策管線中，重新評估與測試模型對複雜評判標準（Rubrics）的真實理解能力。

限制與注意事項

研究主要針對 Jev 系列及特定開源與託管模型，其結論在其他最新前沿多模態 LLM 上的泛化性仍有待驗證。
使用隨機字元作為選項名稱雖然能消除偏誤，但會大幅降低人類開發者在撰寫提示詞和排錯（Debugging）時的程式碼可讀性。