Zeroth-Order

結合零階與一階優化：ZFO 框架為大語言模型微調尋找最佳步長

Decoupling Direction and Step-Size: ZFO Framework for LLM Fine-Tuning

本研究提出 ZFO 框架，透過一階優化器決定模型更新方向，並僅需兩次零階函數評估，即可在該方向上動態計算出最佳的曲率感知步長，解決大模型微調中步長難以設定的問題。