「直接中間初始化」技術：突破傾斜擴散採樣器的有限粒子瓶頸
Direct Intermediate Initialization for Tilted Diffusion Samplers
傳統的序列蒙地卡羅（SMC）擴散後驗採樣器（如 MCGDiff）在有限粒子設定下，常因初期採樣流失而難以捕捉稀有模式。本研究發現，中間步驟的高斯傾斜目標分布可被回推（pulled back）至約束較弱的乾淨空間後驗分布。基於此特性，研究者提出了「直接中間初始化（DII）」：先以近似求解器（如 MMPS）對該弱約束後驗進行採樣，再透過高斯橋（Gaussian bridge）解析地將樣本映射回雜訊空間的傾斜目標，最後僅需執行剩餘的 SMC 步驟。此法在結構化高斯混合問題中將切片 Wasserstein 距離降低了約 2 倍，並在稀有模式問題中實現了超過一個數量級的精準度提升。
核心重點
回推至乾淨空間後驗
將中間高斯傾斜目標回推至約束較弱的乾淨空間，其有效觀測變異數最高可達擴散雜訊變異數的兩倍。
解析高斯橋映射
利用高斯橋以解析方式，將採樣自乾淨空間的樣本轉移至對應的雜訊空間傾斜目標分布。
混合式後綴執行
在中間時間點直接初始化並僅執行剩餘的 SMC 步驟，成功以漸近一致性換取更優異的有限粒子效能。
有效攻克稀有模式
在稀有模式逆問題中實現了超過一個數量級的效能提升，解決了重採樣無法復原初始缺失模式的痛點。
技術圖解
為什麼重要
擴散模型後驗採樣在處理複雜逆問題時，常受限於有限粒子數而發生模式崩塌。本研究提出的初始化框架，繞過了前半段耗時且易流失模式的擴散步驟，改以解析的高斯橋接與近似求解器結合。這為計算資源有限的實際場景提供了一條高效且精準的後驗採樣新路徑，特別是在極具挑戰性的多峰與稀有模式分佈上。
對誰有影響
- AI 研究人員
- AI 開發者
可以怎麼使用
- 1結構化高斯混合逆問題的高精度後驗估計
- 2稀有模式後驗採樣，避免傳統擴散採樣器常見的模式遺漏問題
限制與注意事項
- 該方法犧牲了採樣器的漸近一致性，以換取有限粒子數下的即時效能增長。
- 高度依賴近似求解器（如 MMPS）在初始化時對乾淨空間後驗的採樣品質。
延伸閱讀
BiasFlow：以幾何監控與骨幹正規化解決模型對虛假特徵的依賴
BiasFlow: Geometric Monitoring and Backbone Regularization for Spurious Feature Reliance
本研究提出 BiasFlow 工具包，透過幾何監控與正規化技術（BFR），優化神經網路骨幹的特徵幾何分布，顯著降低模型對虛假特徵的依賴並提升最差群組準確率。
解讀擴散 Transformer 中的上下文 Token：用 LLM 拷問 AI 繪圖的「內心世界」
Learning to Read Contextual Tokens in Diffusion Transformers
本研究提出一個全新框架，透過輕量化瓶頸網路將 Multimodal DiT 的隱藏上下文 Token 映射至 LLM，讓我們能用自然語言直接「拷問」影像生成過程中的語意演變與細節。
減少解碼器反而增強編碼器：從新視角合成中提煉強大三維幾何表徵
Less Decoder is More Encoder: Extracting Robust 3D Geometric Representations via Novel View Synthesis
本研究揭示了新視角合成模型（NVS）中解碼器過強會稀釋幾何表徵的弊端，並提出 SNAP 架構，透過限制解碼器與採用潛在空間重建，大幅提升編碼器的三維幾何學習能力。