AdamW

TACO 最佳化器：將 32B 大模型全參數微調帶入單張 GPU 的極簡幾何學

TACO Optimizer: Unleashing Full-Parameter 32B LLM Fine-Tuning on a Single GPU

TACO 是一款新型超低記憶體最佳化器，透過在權重矩陣每行中僅保留最大幅度的梯度符號，將最佳化器狀態記憶體縮減 174 倍，讓單張 GPU 即可微調 32B 模型。