arXivAI 研究
逆向擴散的一階駐點性:連結優化與生成採樣的數學機制
First-Order Stationarity of Reverse Diffusions: Bridging Optimization and Sampling
本研究為擴散模型建立了一階優化理論,證明當前向加噪過程為強凸時,基於隨機微分方程(SDE)的逆向擴散能以指數速率收縮,並為非凸數據提供了一階駐點性保證。
2 分鐘閱讀
#optimization
3 篇文章
First-Order Stationarity of Reverse Diffusions: Bridging Optimization and Sampling
本研究為擴散模型建立了一階優化理論,證明當前向加噪過程為強凸時,基於隨機微分方程(SDE)的逆向擴散能以指數速率收縮,並為非凸數據提供了一階駐點性保證。
Common-Mode Collapse and Recovery in Direct Feedback Alignment
本研究揭示了替代反向傳播的 DFA 演算法在訓練初期,因跨輸入共享誤差導致神經元飽和與學習停滯的「共模崩潰」現象,並提出多種改善方案。
Compact Documentation for Coding Agents: A Benchmark, an Optimizer, and Why It Does Not Transfer
本研究探討精簡的自然語言文件是否能幫助 AI 程式碼代理人解決軟體問題,發現儘管成功開發出高保真度的文件最佳化器,但在實際修復任務中,額外文件並未帶來比僅閱讀原始碼和問題描述更好的效果。