arXivAI 研究專業

LLM 數學推理的「失落基元」：如何診斷並修復模型缺乏的結構化理解？

The Missing Primitive: Diagnosing and Repairing Structural Mathematical Reasoning in LLMs

2026/10/022 分鐘閱讀

30 秒看懂

儘管大型語言模型（LLM）在數學題目的表現上看似亮眼，但它們是否真正理解背後的結構化數學原理仍存疑問。本研究引入了「數學基元（Mathematical Primitive）」的概念，並提出一個全新的評估基準，從「發現、生成、消化、執行」四個維度系統性診斷 LLM 的數學能力。研究指出，解題準確率常掩蓋了模型內部能力的缺陷，而「發現（Discovery）」能力是限制推理表現的最大瓶頸。為了解決此問題，團隊開發了一個基元引導的自蒸餾框架，成功將這種推理結構轉移給學生模型，在各大基準測試中均取得顯著進步。

核心重點

提出「數學基元」概念

藉由定義與探測數學基元，系統化評估 LLM 是否具備解題背後的結構化數學理解，而非僅靠記憶背誦。

拆解四維度診斷框架

將推理過程細分為發現、生成、消化與執行。結果顯示單純的輸出準確率往往會掩蓋模型內部的能力缺陷。

「發現」為關鍵瓶頸

實驗顯示「發現（Discovery）能力」是 LLM 最主要的效能瓶頸，但這類因缺乏發現能力的失敗在後訓練階段最容易被修復。

基元引導自蒸餾框架

開發出全新自蒸餾框架，選擇性地將富含基元引導的推理能力轉移至學生模型，跨越模型規模限制實現效能攀升。

為什麼重要

此研究揭開了 LLM 表面會做數學題、實際上卻可能缺乏結構化理解的真相。藉由將推理能力拆解為四個維度，開發者可以精確定位模型弱點。更重要的是，研究證實最棘手的「發現能力缺陷」可透過基元引導的自蒸餾方法有效修復，為未來提升 LLM 的邏輯推理與複雜科學計算提供了高度可行的後訓練技術路徑。

對誰有影響

AI 開發者
AI 研究人員
產品經理

可以怎麼使用

1LLM 數學推理能力診斷：利用四維度評估模型在數學基元層面的具體弱點，優化測試流程。
2後訓練微調與模型蒸餾：應用基元引導的自蒸餾技術，修復並強化輕量級開源模型的邏輯推理品質。

限制與注意事項

自蒸餾框架的效果依然高度依賴教師模型或初始提示詞所產生的數學基元品質。
目前研究集中於數學領域，其基元概念是否能無縫泛化至程式設計或代碼生成等其他邏輯推理任務仍待驗證。