解讀擴散 Transformer 中的上下文 Token：用 LLM 拷問 AI 繪圖的「內心世界」
Learning to Read Contextual Tokens in Diffusion Transformers
在多模態擴散 Transformer（MM-DiT）中，文字與影像 token 會在生成過程中不斷進行雙向注意力互動，形成「上下文 token」。本研究訓練了一個輕量級的瓶頸網路，將這些中間層 token 轉換為凍結大語言模型（LLM）看得懂的輸入。如此一來，LLM 就能用自然語言回答關於「正在生成中」影像的問題。實驗發現，這些 token 在去噪非常早期就已建立全域語意，甚至在空提示詞下也能累積豐富的影像細節。基於此發現，團隊推出「Contextual Alignment」技術，有效提升了生成品質。
核心重點
自然語言拷問機制
透過輕量 bottleneck 網路將生成中的上下文 token 傳給凍結的 LLM，首度實現用自然語言直接探查擴散模型內部狀態。
語意於早期驚人顯現
生成過程極早期，即使提示詞未說明的細節語意已被 token 編碼，並隨著去噪進度變得更加精細。
無提示詞亦可累積資訊
即使在完全沒有輸入提示詞的情況下，上下文 token 依然能從演進的影像表徵中主動吸收並累積豐富的視覺資訊。
上下文對齊優化生成
證明 token 的「可讀性」與人類偏好呈正相關，並提出對齊技術，主動加強視覺語意以提升圖像產出品質。
技術圖解
為什麼重要
過去 MM-DiT 的注意力機制運作常被視為黑盒子。此研究不僅解開了上下文 token 的神祕面紗，證明它們是主動吸收視覺資訊的「活容器」，更提供了一套用自然語言進行模型診斷的實用工具。最重要的是，它開創了透過優化內部 token 表徵來直接增強生成模型品質的新方法，對可解釋性 AI 與擴散模型訓練有深遠影響。
對誰有影響
- AI 研究人員
- AI 開發者
可以怎麼使用
- 1影像生成過程的實時語意監控與除錯
- 2利用 LLM 評估擴散模型中間狀態的可讀性與品質
- 3透過 Contextual Alignment 訓練更高畫質與對齊度的 DiT 模型
限制與注意事項
- 需要額外訓練瓶頸網路，且該網路與特定的 MM-DiT 和 LLM 組合綁定
- 解譯結果的品質與深度受限於後端所使用之凍結 LLM 的推理能力
延伸閱讀
BiasFlow：以幾何監控與骨幹正規化解決模型對虛假特徵的依賴
BiasFlow: Geometric Monitoring and Backbone Regularization for Spurious Feature Reliance
本研究提出 BiasFlow 工具包，透過幾何監控與正規化技術（BFR），優化神經網路骨幹的特徵幾何分布，顯著降低模型對虛假特徵的依賴並提升最差群組準確率。
「直接中間初始化」技術：突破傾斜擴散採樣器的有限粒子瓶頸
Direct Intermediate Initialization for Tilted Diffusion Samplers
本研究提出「直接中間初始化」方法，將傾斜擴散採樣器的中間目標回推至弱約束的乾淨空間後驗，並以高斯橋進行解析映射，大幅提升 SMC 採樣器在有限粒子下的生成品質與稀有模式捕捉能力。
減少解碼器反而增強編碼器：從新視角合成中提煉強大三維幾何表徵
Less Decoder is More Encoder: Extracting Robust 3D Geometric Representations via Novel View Synthesis
本研究揭示了新視角合成模型（NVS）中解碼器過強會稀釋幾何表徵的弊端，並提出 SNAP 架構，透過限制解碼器與採用潛在空間重建，大幅提升編碼器的三維幾何學習能力。