權重配對編碼（WeightPE）：將類神經網路權重壓縮為更小、更具彈性的語法結構
Weight Pair Encoding (WeightPE): Inducing a Smaller Grammar in Neural Network Weights
傳統的網路壓縮多採用固定大小的代碼簿。WeightPE 另闢蹊徑，將網路的 int8 權重展平為字串，並在直通估計器（STE）中內嵌有損 Re-Pair 壓縮器。在全域 L2 誤差預算內，它將近似的權重模式強行統一，使網路在微調時主動適應更小的語法結構。實驗顯示，在 ViT 模型上，WeightPE 能將語法體積縮減至標準 QAT 的 38% 到 43%，且僅損失 1.1 至 1.9 個百分點的準確度，並展現出極佳的跨編碼器泛化能力。
核心重點
首創語法訓練目標
這是研究界首次將語法壓縮大小（grammar size）直接作為類神經網路權重的顯式訓練目標。
階層式變長度編碼
與固定尺寸的代碼簿不同，語法編碼允許不同長度的權重模式，並能在更大的模式中進行階層式重複利用。
有損 Re-Pair 與 STE 整合
在直通估計器（STE）中結合有損 Re-Pair 壓縮，在全域 L2 限制內強制將相似的權重模式對齊合一。
優異的壓縮泛化力
即便在微調時未使用 LZ78 或 SEQUITUR 壓縮器，經 WeightPE 優化後的權重在這些壓縮器上依然展現出極佳的壓縮效率。
技術圖解
為什麼重要
這項技術為資源受限設備（邊緣運算、IoT、行動裝置）上的模型壓縮與部署提供了全新的理論與實務路徑。藉由將網路權重優化為極易壓縮的語法結構，不僅能顯著縮減儲存體積，還能大幅減少雲端與終端之間傳輸網路權重所需的頻寬，且其具備的跨壓縮器泛化能力，使其在各種硬體解壓環境下都深具應用潛力。
對誰有影響
- AI 研究人員
- AI 開發者
- 企業決策者
可以怎麼使用
- 1邊緣設備模型部署：顯著降低 Vision Transformer (ViT) 等複雜模型在嵌入式晶片與行動裝置上的儲存空間。
- 2網路傳輸最佳化：透過語法壓縮，降低模型權重在雲端與終端設備之間傳輸時的頻寬消耗。
限制與注意事項
- 在 ViT-B 與 ViT-L 模型上會造成 1.1 至 1.9 個百分點的準確度損失，對精度要求極高的場景需權衡使用。
- 目前實驗主要針對 int8 量化的 MLP 權重與 CIFAR-10 資料集，在超大型語言模型（LLM）上的表現仍待進一步驗證。
延伸閱讀
FurE：免用動物毛髮資料集，實現 10 倍加速的 3D 動物毛髮重建技術
FurE: 10x Faster 3D Animal Fur Reconstruction Without Animal Datasets
FurE 是一種高效的 3D 動物毛髮重建方法，利用人類頭髮資料訓練的 PCA 解碼器與高斯糖霜技術，在無需任何動物毛髮資料集的情況下，實現 10 倍速的細緻且可編輯毛髮重建。
自我監督信心訓練：免於刻意「學會停止」即可提升 LLM 推理效率
Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
研究人員發現，透過自我監督讓推理模型在訓練中預測自身答案的信心度，即使不引入長度限制或提前終止機制，也能在推論時自然減少高達 25% 的 token 消耗並保持相同準確度。
逆向擴散的一階駐點性：連結優化與生成採樣的數學機制
First-Order Stationarity of Reverse Diffusions: Bridging Optimization and Sampling
本研究為擴散模型建立了一階優化理論，證明當前向加噪過程為強凸時，基於隨機微分方程（SDE）的逆向擴散能以指數速率收縮，並為非凸數據提供了一階駐點性保證。