Weight Tying

差分隱私訓練新發現：解除權重共享能為 LLM 提升 4.74% 準確度並降低 60% 記憶體

Untying Embeddings in LLMs Improves Privacy-Preserving DP-SGD Fine-Tuning Utility and Memory

研究發現在差分隱私（DP-SGD）微調下，解除輸入與輸出嵌入層的權重共享（Weight Tying）能將準確度提升達 4.74%，同時減少 60% 以上的訓練記憶體消耗。