arXivAI 安全專業

具身強化學習的隱私危機：TRACE 演算法僅憑「策略梯度」即可重建機器人私密軌跡

TRACE: Reconstructing Private Robot Trajectories from Policy Gradients in Embodied RL

2026/09/252 分鐘閱讀

具身強化學習的隱私危機：TRACE 演算法僅憑「策略梯度」即可重建機器人私密軌跡

30 秒看懂

在分散式具身強化學習（Embodied RL）中，通常認為只要將原始感測資料留在裝置端、僅上傳「策略梯度」即可保護隱私。然而，本研究提出 TRACE 攻擊法，利用相鄰梯度間的「跨時間相關性」以及策略標頭梯度的閉合解特性，實現了自迴歸的軌跡重建。實驗證實，TRACE 在重建單影格僅需 3 至 4.5 毫秒，影像重建品質達 18.8 dB PSNR，且能近乎完美地復原動作，凸顯出目前隱私防護手段的不足。

核心重點

利用時間序列關聯

TRACE 突破了傳統的單影格攻擊限制，利用相鄰梯度間的「跨時間相關性」來強化重建效果，並透過條件互資訊界限進行數學公式化。

精確的動作復原

研究證明在熵正則化較小時，可以直接從策略標頭的梯度結構中，以閉合解精確復原出代理人所採取的動作。

極佳的重建速度與品質

重建每影格僅需 3 至 4.5 毫秒，重建影像品質達 18.8 dB PSNR，顯著超越傳統的最佳化與學習型基準。

廣泛的架構適應性

攻擊能有效應用於包含循環神經網路（Recurrent）、殘差網路（Residual）及緊湊型 Transformer 等多種受害者模型架構與多模態輸入。

技術圖解

TRACE 軌跡重建攻擊流程

為什麼重要

這項研究打破了「不分享原始影像、只分享梯度就能保證安全」的直覺假設，特別是在具有時間連續性的具身智慧（如家用機器人、自駕車）應用中。這項發現迫使未來的分散式學習系統必須設計「序列感知（sequence-aware）」的隱私保護機制（例如針對時間序列的差異隱私），才能真正防止實體環境軌跡外洩。

對誰有影響

AI 開發者
AI 研究人員
企業決策者
政策制定者

可以怎麼使用

1評估家用智慧裝置（如掃地機器人、智慧相機）在分散式訓練中的隱私安全漏洞。
2作為新型「序列安全防護機制」與差異隱私技術的測試基準。

限制與注意事項

閉合解動作復原的精確度會受熵正則化的強度影響，若正則化係數過大，動作復原難度會增加。
攻擊高度依賴連續時間序列梯度，若系統採用極度稀疏的梯度更新或不連續剪枝，攻擊效果可能會下降。