當沒有標準答案時：如何用「陳述偏好經濟學」評估大型語言模型
Evaluating LLMs Without Ground Truth: Lessons from Stated-Preference Economics
當面對政策價值評估或多目標決策等「無標準答案」的問題時，傳統的 LLM 基準測試便無能為力。本研究借鑒經濟學中用於分析無客觀價值調查的「陳述偏好（Stated-Preference）」框架，透過內容效度、建構效度與信度等指標評估模型。研究團隊以水質經濟評估問卷測試了 6 個模型，發現新型模型雖能通過需求法則等經濟理論測試（展現出高度一致性），但在收斂效度上仍有分歧，而舊型模型甚至無法通過最基本的測試。
核心重點
無標準答案的評估困境
許多 LLM 面臨的問題（如政策價值、價值權衡）沒有絕對正確的答案，使傳統 benchmark 失去效用。
引入陳述偏好經濟學
借鑒經濟學數十年來處理無客觀價值調查的評估機制，導入內容效度、建構效度與信度等概念。
理論一致性測試
透過經濟學原理（如需求曲線向下、支付意願隨收入與規模變動）檢驗模型回答的合理性。
一致性不等於正確性
通過效度測試僅代表模型的回答在邏輯上自我一致，並不等同於其輸出為絕對真理。
為什麼重要
這項研究為 LLM 的對齊和安全評估提供了一條全新路徑。隨著 AI 深入協助人類進行決策、政策制定和價值排序，我們無法再依賴簡單的對錯標準。引入經濟學的效度框架，能讓我們在沒有客觀真理的情況下，客觀且系統化地篩選出邏輯混亂或不合常理的模型，確保 AI 輔助決策的穩健性與邏輯一致性。
對誰有影響
- AI 研究人員
- 產品經理
- 政策制定者
可以怎麼使用
- 1評估 AI 在政策制定與公共選擇中的價值權衡能力
- 2設計無客觀標準答案的 LLM 安全與偏好對齊測試
限制與注意事項
- 一致性不代表正確性，模型可能以非常符合邏輯的方式給出錯誤或有害的決策。
- 評估高度依賴於特定經濟理論或行為模型的假設，可能不適用於所有非市場情境。
延伸閱讀
打造過目不忘的 3D 空間記憶：Ledger 如何透過第一人稱影片追蹤隱形物體
Building Persistent 3D Object Memory: How Ledger Tracks Objects from Egocentric Videos
普林斯頓等機構的研究人員提出 Ledger 框架，透過第一人稱視角影片為具身智慧助理建立持久的 3D 物體記憶，大幅提升空間定位與問答的準確度。
探索與優化解耦：全新強化學習框架 ExpDis 提升大語言模型的推理多元性
Decoupling Exploration from Optimization: How ExpDis Boosts LLM Reasoning and Solution Diversity
本研究提出 ExpDis 框架，將強化學習中的「探索」與「優化」解耦。透過訓練帶有新穎性獎勵的探索者模型，篩選正確解法並蒸餾至學生模型，解決了傳統 RLVR 因過度探索導致模型退化的難題。
去中心化 SGD 克服重尾雜訊：梯度裁剪如何實現最佳收斂與線性加速
Clipped Decentralized SGD: Achieving Optimal Convergence and Linear Speed-Up Under Heavy-Tailed Noise
本研究證明了在重尾雜訊下，採用梯度裁剪的去中心化 SGD（DSGD）能達到最佳收斂率，並在非凸優化中首次實現了隨節點數量增加的線性加速。