arXiv語音 AI進階

聽見真假：VeriSpeak 揭示語音語言模型在事實查核中的「模態差距」

Hearing the Truth: VeriSpeak Exposes the Text-Speech Modality Gap in Fact-Checking

2026/09/252 分鐘閱讀

30 秒看懂

隨著語音和影音不實訊息氾濫，研究團隊推出包含 3,879 個語音陳述的測試基準「VeriSpeak」。實驗發現，能可靠驗證文字的模型，在面對相同內容的語音時卻常出錯，且單靠檢索證據容易與語音混淆。最終，透過「檢索+顯式推理」的思考微調模型成功突破瓶頸，達到 86.1% 的事實查核準確度。

核心重點

包含 3,879 個涵蓋時間、地理與關係事實的語音陳述，具備平衡的真假標籤，專為評估語音事實驗證而設計。

實驗顯示，在文字格式下能可靠查核事實的 LALM，在面對完全相同的語音陳述時，其驗證能力會大幅下降。

僅提供檢索證據對模型幫助有限，因為 LALM 經常會將檢索到的文本證據與輸入的語音陳述混淆。

將檢索與顯式推理結合（如經過思考微調的 LALM），能大幅改善證據比對能力，使準確度達到 86.1%。

語音事實查核流程：直接 RAG vs. 顯式推理

不實訊息已從文字擴散到 Podcast、社群影片和政治演說等語音管道。此研究填補了語音 RAG 事實查核的空白，揭示了語音理解與文本證據比對之間的鴻溝。它指出僅靠語音辨識或簡單檢索並不足夠，必須引進「顯式推理」（思考能力）才能解決資訊混淆，為開發可靠的多模態防禦工具提供了明確的方向。