Aivora
arXivAI 研究專業

SILSA:利用滑動視窗切片潛在特徵實現保持拓撲結構的高解析度 3D 生成

SILSA: Topology-Preserving High-Resolution 3D Generation with Sliding-Window Slice Latents

2 分鐘閱讀
SILSA:利用滑動視窗切片潛在特徵實現保持拓撲結構的高解析度 3D 生成
30 秒看懂

高解析度 3D 生成通常依賴體素(voxel)表徵,這會導致 continuous surface 破碎且計算成本極高。SILSA 拋棄了昂貴的體素 token,改用沿三個正交軸的重疊滑動視窗切片,將局部深度資訊壓縮為二維潛在特徵。配合 Slice VAE、體積錨點網格(Volumetric Anchor Lattice)以及切片級拓撲監督(對齊 Betti 轉換),SILSA 在單階段 rectified-flow 生成中,以極低的資源消耗實現了高精度的 3D 拓撲重建。

核心重點

01

滑動視窗切片特徵

沿三個 canonical 軸使用重疊的滑動視窗切片,將深度資訊壓縮至二維潛在特徵中,維持跨截面的連續性並簡化生成流程。

02

稀疏解碼與多軸協調

藉由 Slice VAE 與體積錨點網格(Volumetric Anchor Lattice),在共享的 3D 空間中協調不同方向的切片流並進行稀疏重建。

03

切片級拓撲監督

引入持久圖(persistence diagrams)匹配,並對齊相鄰切片的 Betti 轉換,避免細小或高度連接的結構在生成時斷裂。

04

大幅降低資源消耗

比最緊湊的基準模型減少 70% 的 token 數,訓練記憶體減少 40.4%,推理時間縮短 58.5%。

技術圖解

SILSA 3D 生成工作流
輸入表面資料投影至三軸滑動視窗協調 3D 空間流計算 Betti 與持久同調融合同步資訊提供結構正確性約束高解析度 3D 重建3D 表面樣本Slice VAE 編碼器多軸切片潛在特徵體積錨點網格協調切片級拓撲監督稀疏體積解碼器拓撲完整之 3D 模型

為什麼重要

在 3D 內容生成(如遊戲、虛擬實境與機器人模擬)中,保持細小物件(如鐵絲網、桌椅細腳)的拓撲結構完整性一直是一大挑戰。傳統體素方法不是解析度不夠,就是計算成本爆炸。SILSA 證明了透過將 3D 投影至多軸 2D 切片,並結合拓撲流引導,能夠以極低成本、單階段生成高品質且結構正確的 3D 模型,這對推動消費級硬體上的高品質 3D 生產具有重大意義。

對誰有影響

  • AI 研究人員
  • AI 開發者
  • 內容創作者

可以怎麼使用

  1. 1高解析度 3D 遊戲與虛擬資產生成,特別是包含大量薄壁、格柵與細密孔洞的複雜物體。
  2. 2機器人操控環境與工業設計中的 3D 數位雙生重建,以極低計算資源換取高幾何精確度。

限制與注意事項

  • 該框架依賴預定義的正交坐標軸進行切片,對於極度不規則、傾斜或非流形(non-manifold)的複雜拓撲,重建效果仍待驗證。
  • 計算持久同調(Persistent Homology)以進行拓撲監督的過程較為繁重,在大規模資料訓練時可能產生 CPU 計算瓶頸。

延伸閱讀

GALA:用線性混合變形蒸餾技術實現 3D Gaussian 虛擬化身即時動畫
arXivAI 研究

GALA:用線性混合變形蒸餾技術實現 3D Gaussian 虛擬化身即時動畫

GALA: Distilling 3D Gaussian Avatars into Linear Blendshapes for Real-Time Animation

本研究提出 GALA 方法,將預訓練 3D Gaussian 虛擬化身複雜的神經解碼蒸餾為輕量化線性 blendshape,在維持渲染品質的同時,將 CPU 動畫運算成本降低高達三個數量級,並在行動裝置上實現 60fps 即時動畫。

2 分鐘閱讀
ScholarCatalyst:評估 AI 是否擁有「科學家直覺」的學術文獻檢索基準
arXivAI 研究

ScholarCatalyst:評估 AI 是否擁有「科學家直覺」的學術文獻檢索基準

ScholarCatalyst: A Benchmark for Testing AI's Intuition in Retrieving Inspiring Research Papers

ScholarCatalyst 是一個新型評估基準,由 184 位電腦科學論文作者親自標記啟發其研究的先前文獻,測試 AI 能否在專案初期僅憑初步構想,精準檢索出關鍵的靈感來源。

2 分鐘閱讀