arXivAI 研究專業

KV-streams：透過快取串流突破代理型強化學習的上下文壓縮瓶頸

KV-streams: Boosting Context Compaction Efficiency in Agentic Reinforcement Learning

2026/09/292 分鐘閱讀

30 秒看懂

在訓練代理型（Agentic）大型語言模型時，為管理記憶體開銷，通常會採用「上下文壓縮」技術，但這伴隨著頻繁且重複預填（prefill）的代價，嚴重拖慢訓練效率。為解決此問題，研究團隊開發了「KV-streams」。該技術不但在每次壓縮後保留並向前串流 KV 快取（而非直接清除），更能與多種壓縮策略無縫相容。實驗顯示，KV-streams 帶來了 2.6 至 5 倍的實際訓練加速。更特別的是，串流下來的 KV 快取能自發作為「循環狀態」運作，僅憑強化學習（RL）就能保留已在上下文視窗中消失的長期資訊。

核心重點

消除重複預填瓶頸

傳統壓縮方法在每次壓縮後都必須重新預填上下文，而 KV-streams 改為向前串流 KV 快取，避免了重複的運算開銷。

顯著提升訓練速度

在三種不同的壓縮策略測試中，KV-streams 實現了 2.6 至 5 倍的實際牆鐘時間（wall-clock）加速，且完全不損害效能。

湧現循環記憶機制

串流的 KV 快取可作為循環狀態（recurrent state）運作，僅靠強化學習（RL）訓練就能自發保留已被壓縮清除的超長距歷史資訊。

即插即用的輕量設計

作為一種輕量級的設計，KV-streams 能夠直接嵌入任何現有的後訓練（post-training）或強化學習管線中。

技術圖解

傳統上下文壓縮與 KV-streams 機制比較

	傳統壓縮方法 (Traditional)	KV-streams 方案
快取處理方式	壓縮後立即清除並重新計算	持續向前串流（Streamed forward）
預填計算開銷	極高，需重複進行 Context 預填	極低，避免重複運算
訓練吞吐量提升	1x (基準)	達到 2.6x 至 5x 加速
長度記憶能力	受限於壓縮視窗邊界	RL 可激發出循環狀態以保留超限資訊

為什麼重要

長期以來，代理型 LLM 的發展受限於有限的 context 窗口與巨大的 GPU 記憶體開銷。雖然「上下文壓縮」能解決空間問題，卻會大幅降低訓練效率。KV-streams 突破了這個效率壁壘，使長序列的強化學習訓練變得可行且經濟。此外，它證明了僅靠 RL 就能在串流 KV 快取中激發出類似循環網路的記憶能力，為開發具備超長記憶的自主 Agent 鋪平了道路。

對誰有影響

AI 研究人員
AI 開發者
企業決策者

可以怎麼使用

1長時間跨度的自主 Agent 強化學習（RL）訓練
2降低多步驟推理任務中的 GPU 計算與記憶體開銷

限制與注意事項

其湧現的循環記憶機制在更複雜、非控制變因的真實場景中的泛化能力仍待驗證。
雖然相容多種壓縮策略，但加速效果可能因具體的硬體架構或自注意力機制實作而異。