Aivora

#swe-bench

SWE-bench

1 篇文章

TokenCast:精準預測 LLM Agent 執行過程中的 Token 消耗量
arXivAI 代理

TokenCast:精準預測 LLM Agent 執行過程中的 Token 消耗量

TokenCast: Accurate Token Consumption Forecasting for LLM Agents

本研究提出 TokenCast 預測方法,透過可組合的成本表示法,在不增加 LLM 呼叫的前提下,以平均 32.8 毫秒的超低延遲,即時且精準地預測 Agent 執行時的動態 Token 消耗。

2 分鐘閱讀