arXivAI 研究專業

蒸餾圖幾何學：縮補 GNN 到 MLP 知識蒸餾的幾何黑洞

Distilling Graph Geometry: Bridging the GNN-to-MLP Knowledge Gap

2026/10/082 分鐘閱讀

30 秒看懂

GNN 雖然強大，但推理時需要圖結構，造成高延遲。將 GNN 蒸餾至不需圖結構的 MLP 是常見解方，但傳統方法常在稀疏圖發生「譜欠擬合」（遺漏邊界特徵），或在稠密圖發生「譜過擬合」（保留冗餘特徵）。本研究提出 G²MLP，利用 Ollivier-Ricci 曲率識別幾何誤差位置，動態分配預測與表示層的對齊權重。最終部署的 MLP 在推理時完全不需圖資料，卻能逼近 GNN 的效能。

核心重點

診斷出兩大譜誤差模式

揭示學生模型在稀疏圖會產生譜欠擬合，在稠密圖則會產生譜過擬合，導致關鍵幾何特徵丟失。

幾何感知蒸餾框架 G²MLP

引入基於 Ollivier-Ricci 曲率的對齊機制，指導學生模型精準保留教師模型的圖幾何特徵。

推理階段完全無圖

訓練時使用圖幾何引導，但部署的依然是標準 MLP，推理時不需任何圖結構或訊息傳遞。

高度通用性

適用於節點分類與連結預測任務，並可無縫轉移至 Graph Transformer 等新型教師模型。

技術圖解

G²MLP 幾何感知蒸餾流程

為什麼重要

此研究克服了圖神經網路（GNN）在實際生產環境中因圖結構依賴導致的高延遲問題。藉由 G²MLP，開發者能將複雜的 GNN 知識完美壓縮至極速的標準 MLP 中。這為即時推薦系統、大規模社交網路分析等低延遲圖學習應用，提供了一套理論與實務兼具的革命性部署方案。

對誰有影響

AI 開發者
AI 研究人員

可以怎麼使用

1即時推薦系統：將複雜圖網路知識轉移至超低延遲的 MLP，進行即時商品或好友推薦。
2大規模連結預測：在邊緣設備或高吞吐量環境中，進行無圖依賴的節點關係預測。

限制與注意事項

訓練階段仍需計算 Ollivier-Ricci 曲率，在大規模圖資料集上可能會帶來額外的算力開銷。
對於動態變化的圖結構，需要重新進行蒸餾訓練以維持幾何特徵的準確性。