arXivAI 研究
權重配對編碼(WeightPE):將類神經網路權重壓縮為更小、更具彈性的語法結構
Weight Pair Encoding (WeightPE): Inducing a Smaller Grammar in Neural Network Weights
本研究提出 WeightPE,首度將「語法大小」作為訓練目標,利用直通估計器與有損 Re-Pair 壓縮,將權重最佳化為緊湊且可重複利用的階層式變長語法結構。
2 分鐘閱讀
#quantization
1 篇文章
Weight Pair Encoding (WeightPE): Inducing a Smaller Grammar in Neural Network Weights
本研究提出 WeightPE,首度將「語法大小」作為訓練目標,利用直通估計器與有損 Re-Pair 壓縮,將權重最佳化為緊湊且可重複利用的階層式變長語法結構。