AD-WM：專為反事實預測控制設計的動作辨識世界模型
AD-WM: Action-Discriminative World Models for Counterfactual MPC
傳統世界模型主要被訓練來預測「已發生」的真實狀態轉移，但在模型預測控制（MPC）中，決策演算法必須評估同一個狀態下多個「反事實（未發生）」候選動作的後果。AD-WM 提出了一種新型的動作辨識聯合嵌入世界模型，結合殘差隱空間動力學與基於條件互資訊的動作恢復正規化。實驗顯示，AD-WM 將 OGBench-Cube 的硬啟動成功率從 3.7% 提升至 52.0%，並在無需任何實驗室特定微調的情況下，將實體 Franka 機械手臂的零樣本揀放成功率從 42.2% 提高至 71.1%。
核心重點
聚焦反事實選擇
傳統模型追求極低的真實預測誤差，而 AD-WM 著重於保留不同動作之間的關鍵差異，滿足 MPC 評估備選決策的需求。
動作恢復正規化
利用逆向動力學與基於條件互資訊的正規化目標，確保潛在轉移過程不丟失動作資訊，且測試時會捨棄輔助網路頭以維持效率。
大幅突破模擬瓶頸
在 OGBench-Cube 困難的硬啟動測試中，成功率由 3.7% 飆升至 52.0%，並在多個模擬測試中超越基準模型。
實體機械手臂零樣本遷移
配合凍結的 V-JEPA 2 編碼器，無需任何實體實驗室的特定適應，即將 Franka 機械手臂的揀放成功率提升至 71.1%。
技術圖解
| 傳統 latent 世界模型 | AD-WM (本研究提出) | |
|---|---|---|
| 訓練核心目標 | 最小化真實轉移的預測誤差 (Factual accuracy) | 保持動作資訊與辨識反事實差異 (Action discriminative) |
| 測試期計算開銷 | 無 (No extra overhead) | 無，輔助網路頭於測試時捨棄 (None, auxiliary heads discarded) |
| OGBench 硬啟動成功率 | 3.7% | 52.0% |
| Franka 零樣本揀放成功率 | 42.2% | 71.1% |
為什麼重要
這項研究點出了機器人學中一個容易被忽略的關鍵：世界模型預測未來「預測得很準」不等於「能做好控制」。在進行路徑規劃時，模型必須要能敏銳地區分「動作 A」與「動作 B」所帶來的不同微小後果。AD-WM 在不增加測試期計算成本的前提下，顯著強化了模型對不同候選動作的判別力，為離線強化學習和實體機器人零樣本遷移提供了更強大、穩健的新路徑。
對誰有影響
- AI 開發者
- AI 研究人員
- 企業決策者
可以怎麼使用
- 1實體機械手臂的複雜操縱任務（如零樣本揀放）與跨硬體遷移部署
- 2基於模型預測控制（MPC）的自主駕駛與高精準度機器人軌跡規劃
限制與注意事項
- 高度依賴強大的凍結視覺特徵編碼器（如 V-JEPA 2），在低解析度或特徵提取受限的環境下效果可能打折
- 目前僅在特定的 Franka 機械手臂和部分模擬器環境中進行了實地驗證，仍需更廣泛、多樣化的場景測試
延伸閱讀
RAPID：只需單次視覺示範，AI 代理即可自動生成與優化機器人操控程式
RAPID: Robot Agentic Programming from Demonstrations
RAPID 框架能從單一的人類視覺示範中，自動推導任務規範與模擬環境，並透過編碼代理（Coding Agent）疊代優化出具備強大泛化能力的機器人操控程式。
Rolling-WAM：利用滾動想像實現高效控制的機器人世界動作模型
Rolling-WAM: Accelerating Robotic World Action Models via Rolling Imagination
Rolling-WAM 透過將影像動作的去噪過程分散至滑動視窗與多個連續規劃週期中，消除從頭去噪的運算瓶頸，實現了 4.5 倍的重新規劃加速，顯著提升人形機器人的即時閉環響應能力。
程式碼生成 Agent 突破機器人規劃瓶頸：自動編寫高泛化性的 TAMP 解決方案
Coding Agents Outperform Hand-Engineered Planners in Task and Motion Planning
研究指出，利用 Claude Code 與 Codex 等程式碼生成 Agent 搭配模擬器互動，能自動編寫出高度泛化的任務與運動規劃（TAMP）程式，在 28 個模擬環境中以最高 95% 的成功率大幅超越傳統手工設計的規劃器。