arXiv影片 AI專業

超越時間線：利用「實體自傳」增強 AI 的長影片記憶與物體追蹤能力

Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies

2026/09/302 分鐘閱讀

30 秒看懂

長影片的 AI 記憶系統以往高度依賴按時間順序的文字描述，但這在跨越數天、包含多個相似物體的影片中，很容易混淆物理身分。為解決此問題，研究團隊開發了 GEB 框架。它能將長影片中同一個物理實體的所有視覺觀測記錄跨片段群組，為每個物體建立專屬的「自傳」並保留背景上下文。在問答時，系統會同時檢索實體自傳與片段證據。在 EgoLifeQA 基準測試中，GEB 取得了 72.0% 的準確率，比先前最佳方法提升了 4.4 個百分點。

核心重點

解決物理身分混淆

傳統時間線僅依賴文字描述，容易混淆外觀相似的不同物體，而 GEB 透過視覺定位來確認物理實體的一致性。

建立專屬實體自傳

將同一個物體跨越數天、出現在不同影片片段中的畫面關聯起來，生成一個個可供檢索的自傳資料。

雙重檢索推理機制

在問答時同時檢索實體自傳與時間線片段，讓 AI 模型能沿著已建立的身分連結，跨事件追蹤特定物體。

長影片基準測試表現優異

在包含數天至數週長度的四個基準測試中皆有顯著提升，於 EgoLifeQA 準確率達到 72.0%。

技術圖解

傳統時間線記憶與 GEB 實體自傳記憶比較

	傳統時間線記憶 (Traditional Timeline)	實體自傳記憶 (GEB, Ours)
物體識別基礎	依賴純文字描述，易混淆外觀相似物	實體視覺定位，跨片段精準關聯同一物理對象
記憶表徵方式	孤立、按時間線性排序的事件片段	建立以物理實體為核心的專屬「自傳」
問答檢索來源	僅檢索與問題關鍵字相關的事件片段	同時檢索事件片段與特定實體的完整自傳
EgoLifeQA 準確率	67.6% (先前最佳)	72.0% (GEB 框架)

為什麼重要

這項研究為智慧家庭助理、穿戴式 AI 裝置及自主監控系統帶來了更深層次的物理理解。AI 不再只是被動地記錄時間線，而是能真正理解物理世界中的實體（如鑰匙、藥瓶、特定工具）在數天或數週內的移動與狀態變化。這讓 AI 具備真正具體化（embodied）的長期記憶與追蹤能力，能有效回答複雜的跨時間、跨物體因果關係問題。

對誰有影響

AI 研究人員
AI 開發者
產品經理

可以怎麼使用

1第一人稱長期生活助理：追蹤生活用品（如鑰匙、錢包、藥盒）在數天內的軌跡，幫助使用者尋找遺失物或確認生活行為。
2機器人動態環境管理：幫助服務機器人在長期動態環境中辨識並跟蹤多個相似的物體，維持準確的環境空間狀態表徵。

限制與注意事項

高昂的計算開銷：在極長影片中進行跨片段的視覺定位與物理實體關聯，需要龐大的計算與記憶體資源。
高度依賴初始偵測精度：如果前端的目標檢測器或追蹤算法在最初定位失敗，會導致自傳內容出錯。