Gradient Clipping

去中心化 SGD 克服重尾雜訊：梯度裁剪如何實現最佳收斂與線性加速

Clipped Decentralized SGD: Achieving Optimal Convergence and Linear Speed-Up Under Heavy-Tailed Noise

本研究證明了在重尾雜訊下，採用梯度裁剪的去中心化 SGD（DSGD）能達到最佳收斂率，並在非凸優化中首次實現了隨節點數量增加的線性加速。