arXivAI 研究
預調節器空間捨入：重構 4-bit AdamW 優化器狀態量化
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Quantization
研究團隊提出於「預調節器空間」進行捨入的 4-bit AdamW 量化方法 ZIP-SR 與 ZE-EDEN，大幅降低動量遞迴中的量化誤差，將與 32-bit AdamW 的效能差距縮減最高達 70%。
2 分鐘閱讀
#ze-eden
ZE-EDEN
1 篇文章
#ze-eden
1 篇文章
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Quantization
研究團隊提出於「預調節器空間」進行捨入的 4-bit AdamW 量化方法 ZIP-SR 與 ZE-EDEN，大幅降低動量遞迴中的量化誤差，將與 32-bit AdamW 的效能差距縮減最高達 70%。