Hugging FaceAI 硬體進階

告別搶算力惡夢：Ai2 如何透過「時間預算」與平攤調度翻轉 GPU 叢集效率

Impactful GPU Scheduling: How Ai2 Replaced Priority Chaos with Time Budgets and Fair-Share Allocation

2026/10/092 分鐘閱讀

30 秒看懂

面對 GPU 需求超出供給 2 至 3 倍的困境，Allen Institute for AI (Ai2) 舊有優先級系統引發了預先佔位與優先級通膨等公地悲劇。Ai2 團隊改由管理者分配「GPU 時間預算」，並結合 7 天滑動窗口的層級平攤算法與最小執行時間合約（Time-slicing）。新系統讓團隊精準取得 98% 的應得算力，除錯任務中位數排隊時間降至 30 秒，人工維護需求降低 74%。

核心重點

管理者轉型算力投資人

由各層級主管按專案戰略分配「GPU 時間預算」，取代靜態算力獨佔，任何搶佔技巧都會消耗團隊的真實預算。

層級平攤與滑動窗口調度

基於 7 天滑動窗口追蹤算力佔用，額度未用滿的團隊獲得更高優先權，並支援突發算力需求（Bursting）。

時間切片合約與自動排空

任務需宣告最小保護時間（上限 8 小時），期滿可被自動搶佔重排；不健康節點能順暢自動清空，減少 74% 維護工時。

除錯等待時間驟降至 30 秒

短時間小規模的除錯任務 p90 排隊等待時間從 2 小時縮短至 30 秒，大幅改善研究人員的即時開發體驗。

技術圖解

舊版優先級調度 vs. 新版預算平攤調度對比

	舊版優先級調度 (Baseline)	新版預算平攤調度 (New Scheduler)
算力控制機制	按優先級與單一 GPU 上限強行配額	管理者分配「時間預算 %」，層級平攤調度
除錯排隊時間 (p90)	約 2 小時 (2 Hours)	大幅降至 30 秒 (30 Seconds)
算力佔用 (Squatting)	普遍存在（掛載空任務避免被搶佔）	消除（佔用會消耗團隊預算額度）
節點維護工時	需工程師人工談判調度下線	時間切片到期自動排空，人工介入減少 74%
叢集整體稼動率	98%	98%（含 18% 未分配時間填充高稼動）

為什麼重要

在大型 AI 模型訓練中，算力資源極其昂貴且供不應求。傳統優先級調度常導致「公地悲劇」，使資源浪費在預先佔位或無謂的優先級競爭上。Ai2 的實踐證明，透過透明的行政預算管理、層級平攤與時間切片，可以在維持 98% 高集群稼動率的同時，兼顧大任務的穩定訓練與小任務的快速迭代，為 AI 基礎設施運營提供了成熟的實戰範本。

對誰有影響

AI 開發者
企業決策者
產品經理
AI 研究人員

可以怎麼使用

1跨團隊分散式 LLM / VLM 訓練與強化學習模擬的算力調度
2動態處理高優先級緊急實驗與突發性算力需求（Bursting）
3大規模硬體叢集故障節點的無痛自動排空與維護

限制與注意事項

互動式開發會話（Interactive sessions）易受 8 小時保護時間限制而中斷，需要額外建置獨立 CPU 叢集與狀態復原機制。
最小保護時間可能導致算力碎片化（Capacity fragmentation），影響超大型任務排隊情況。
概念轉換初期學習曲線較高，需透過實時研討會與新版視覺化面板輔助溝通。