LLaDA

Pivot-SD：針對遮罩擴散語言模型的高效自我蒸餾框架

Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models

Pivot-SD 是一種針對遮罩擴散語言模型（dLMs）的高效離線自我蒸餾框架，透過資訊增益指標精確篩選去噪過程中的「關鍵決策（pivots）」，並對成功與失敗軌跡進行非對稱訓練，顯著提升模型的推理與程式能力。