AI Daily ·
AI 推理效率與模型適配技術重大突破
Today’s AI Highlights
今日 AI 要聞聚焦於推理效率與模型適配的創新突破。研究指出，透過自我監督的信心訓練可在維持準確率的同時減少 25% 的生成標記，顯著提升推理效率；同時，新提出的 READ 方法有效解決了多個 LoRA 適配器合併時的干擾問題，實現零額外推論成本。此外，Google 推出 Gemini 3.8 TTS 將文字轉語音轉化為創意語音工作室，全面推動語音生成與離線代理工作流程的應用發展。
- 01arXivAI 研究
自我監督信心訓練：免於刻意「學會停止」即可提升 LLM 推理效率
傳統上要減少推理模型（如 CoT）的生成長度，需使用推論時的提前終止或訓練時的長度懲罰。本研究提出一種「自我監督信心訓練」方法，僅需 600 個問題進行微調。訓練時只讓模型預測中間推理步驟的信心度，不包含任何關於長度、效率或終止的目標。令人驚訝的是，推論時採用標準生成（無信心度預測或提早終止），微調後的模型卻會自動縮短推理過程（最多節省 25% token），同時維持原有準確度。此現象適用於 Gemma、Qwen、Nemotron 與 GPT-OSS 等多個模型。
- 02arXivAI 研究
新增 LoRA 技能唯讀不寫：READ 解決多配接器融合干擾
融合多個獨立訓練的 LoRA 配接器通常會因參數空間干擾而導致性能下降。本研究指出其核心原因在於「分解座標」不一致與「雙向耦合」破壞舊技能。對此，提出 READ (Read-only Expansion of Adapter Deltas) 架構：將每個配接器轉換為平衡的標準型式，並限定新技能只能「讀取」舊技能的輸入子空間、不能「寫入」其輸出子空間。在 SuperGLUE 及領域數據集上，READ 分別比最強基準提升了 20 及 7 個百分點。
- 03arXivAI 研究
自我訓練新突破：策略多樣性取樣，如何讓小模型靠「多元思路」擊敗大模型蒸餾？
傳統 LLM 自我訓練與強化學習（RL）常依賴獨立同分布（IID）取樣並篩選正確答案，這容易導致模型偏好特定解法。本論文提出「策略多樣性取樣」，透過新方法 GROOT（建立層級式策略樹）與口語化取樣（VS）生成多元的解題路徑。實驗顯示，即便使用較小模型（Qwen3-4B）生成「錯誤但多樣」的解題軌跡進行訓練，其表現仍能超越從 235B 巨型教師模型進行的 IID 蒸餾，顛覆了傳統對訓練資料質量的認知。
04Google DeepMind語音 AIGoogle 發表 Gemini 3.8 TTS：從語音合成邁向客製化「聲音工作室」的革命性升級
Google DeepMind 發表兩款全新語音合成模型：Gemini 3.8 Flash TTS（專攻創意角色設計與精準執導）與 Gemini 3.8 Flash-Lite TTS（專攻低成本、大規模的配音與客服 Agent）。使用者只需輸入自然語言描述，即可生成超過 100 種語言與方言的客製化嗓音，或提供 30 秒樣本複製聲音。此外，模型支援雙人劇本對話與笑聲、嘆氣等語氣點綴，在 Hume AI 基準測試中榮登第一。
- 05arXivAI 研究
逆向擴散的一階駐點性：連結優化與生成採樣的數學機制
機器學習中優化與採樣的關係日益緊密。本研究針對擴散模型開發了對應的一階理論。研究指出，只要前向加噪過程的平穩勢能為「強凸」（此條件僅取決於設計者選擇的加噪過程，與數據無關），基於 SDE 的超阻尼與低阻尼逆向時間流，便會以顯式的指數速率收縮相對費雪分歧（Fisher divergences）。這是 SDE 逆向擴散特有的優勢，ODE 則無此特性。此外，研究引入離散化，為兩種擴散模型建立了平均一階駐點性界限（類似非凸優化中的平均梯度範數保證）。
- 06arXivAI 研究
黑盒生成式 AI 的統計屬性對齊：透過輸出後處理實現公平與多樣性
隨著生成式 AI 廣泛應用，確保其輸出符合特定分佈（例如在生成頭像時維持性別與族群公平，或生成具代表性的合成資料）至關重要。然而，當開發者只能透過 API 以「黑盒」方式調用模型、無法修改權重時，控制輸出分佈便十分困難。本研究提出了一套統計後處理演算法，在精準或近似對齊的設定下，以理論最優（最少）的查詢次數篩選模型輸出。實驗證實，該方法在文字生成圖像與個人角色生成任務中表現優異，能有效輔助現有的提示工程（prompting）。
- 07arXivAI 安全
以「信念自我蒸餾」提取使用者模型：揭示大語言模型對用戶意圖的內在表徵
大語言模型（LLM）會默默推測使用者屬性並調整回應，但這些「信念」難以偵測。本研究提出 BSD 框架，讓凍結的 LLM 作為自己的老師，從自然對話中蒸餾出緊湊的使用者表徵。BSD 不僅能解碼模型對使用者的看法（讀），還能直接將信念寫回模型中進行干預（寫）。實驗發現，調整模型對使用者意圖的信念，可在不改變請求內容的前提下改變其拒絕服務的決定。此外，不同模型在表徵使用者時展現出驚人的幾何相似性。
- 08arXivAI 程式開發
程式碼代理人的精簡文件有用嗎？研究揭示驚人否定結果：有了源碼，文件反而成多餘
本研究引入了一個「來回評估基準」（roundtrip benchmark），藉由重新生成的程式碼是否能通過原始測試，來評估程式碼描述的完整性。研究人員以此基準最佳化出能生成高保真度文件的提示詞。然而，在針對 10 個專案倉庫、2 種模型家族的實測中，研究團隊發現了驚人的否定結果：當原始程式碼存在時，無論是精簡文件還是檢索到的上下文，都無法提升代理人解決實際問題的成功率，其表現並未超越僅靠問題描述本身。
- 09arXivAI 研究
權重配對編碼（WeightPE）：將類神經網路權重壓縮為更小、更具彈性的語法結構
傳統的網路壓縮多採用固定大小的代碼簿。WeightPE 另闢蹊徑，將網路的 int8 權重展平為字串，並在直通估計器（STE）中內嵌有損 Re-Pair 壓縮器。在全域 L2 誤差預算內，它將近似的權重模式強行統一，使網路在微調時主動適應更小的語法結構。實驗顯示，在 ViT 模型上，WeightPE 能將語法體積縮減至標準 QAT 的 38% 到 43%，且僅損失 1.1 至 1.9 個百分點的準確度，並展現出極佳的跨編碼器泛化能力。
10Google AI DevelopersAI 代理Google Antigravity SDK 支援本地 AI 模型：實現完全離線與隱私安全的 Agent 工作流
Google 的 Antigravity SDK 迎來重要更新，現已支援本地模型部署，首波深度整合 Google AI Edge 的 LiteRT 與 Gemma 4 26B A4B 模型。此更新允許開發者在無需網路連接的狀況下，利用本地 GPU 與記憶體執行 Agent 任務。此外，SDK 引入了「架構師-構建者（Architect-Builder）」混合模式，結合雲端模型（如 Gemini 3.8 Flash）的規劃能力與本地實例的執行力，同時相容 Ollama、LM Studio 等 OpenAI 相容後端。