自主學習免微調！「RPG」框架藉由虛擬練習與自我診斷，將機器人任務成功率提升至 95%
RPG Framework: Guided Self-Improvement Boosts Embodied Agent Success to 95% Without Weight Updates
傳統機器人學習高度依賴人力設計獎勵與微調模型。UC Berkeley 等機構的研究團隊提出「RPG」（Reconstruct, Practice, Go Real）框架，直接從離線資料集重建模擬任務，並利用特權狀態與影片自我診斷失敗原因，自主生成並修正符號技能（Symbolic Skills）與系統提示詞。在 22 個操縱任務中，RPG 將成功率從 28.6% 提升至 95.0%（超越 GPT-6 驅動的基線），且在實體機器人測試中達到 100% 成功率。
核心重點
免模型權重微調
不需要更新神經網路權重，僅透過優化系統提示詞與符號技能庫來實現具身代理的自我改進。
自主診斷與技能修正
利用模擬器特權狀態與離線影片分析失敗原因，自動生成並迭代更新可重用的技能程式碼。
嚴格的跨任務驗證
在保留修改前，系統會對單一變更與合併後的修改進行跨任務測試，確保技能的泛化與穩定性。
優異的實體轉移表現
模擬任務成功率在 15 輪練習後躍升至 95.0%，經簡單校準後，在 30 次真實物理測試中達到 100% 成功率。
技術圖解
為什麼重要
傳統具身智慧需要耗費大量人力手寫控制程式與調整引導獎勵。RPG 證明了結合「大語言模型（LLM）的推理能力」與「模擬器的安全高效練習」，機器人可以像人類一樣自主「從失敗中學習」。這種免去底層權重訓練的提示詞與技能進化法，大幅降低了實體機器人部署的開發與維護成本。
對誰有影響
- AI 開發者
- AI 研究人員
- 企業決策者
可以怎麼使用
- 1機器人自主技能擴充：在模擬環境中自動學習並優化各種複雜的物體操縱技能（如夾取、旋轉等）。
- 2虛實遷移部署（Sim-to-Real）：將在模擬器中優化好的提示詞與技能庫，快速部署到不同硬體結構的真實機械臂上。
限制與注意事項
- 高度依賴模擬環境：若目標任務過於複雜而無法在模擬器中有效重建，則無法進行練習與診斷。
- 實體部署前仍需要進行硬體適應與參數校準步驟，並非完全無縫轉移。
延伸閱讀
DynaHarness：具備自我演化能力的機器人代理動態實體約束框架
DynaHarness: A Dynamic Physical Harness for Self-Evolving Robot Agents
DynaHarness 是一個針對自我演化機器人設計的動態實體控制框架，藉由「物理執行合約」串接語義推理與實體控制，並能將執行失敗轉化為經驗證的能力修正，顯著提升長序列任務成功率。
技能空間射擊演算法：利用基礎模型引導機器人自主進行策略優化
Skill-Space Shooting: Autonomous Robot Policy Improvement Guided by Foundation Models
本研究提出「技能空間射擊」技術，利用基礎模型引導機器人在可重用的技能空間中進行探索，讓機器人能在遭遇失敗時自主修正並優化其控制策略，減少對人類示範的依賴。
AD-WM：專為反事實預測控制設計的動作辨識世界模型
AD-WM: Action-Discriminative World Models for Counterfactual MPC
AD-WM 透過殘差隱空間動力學與動作恢復正規化，提升世界模型區分不同候選動作的能力，大幅改善機器人的反事實控制與零樣本遷移表現。