Sparse Attention

Google TPU 影片生成加速：如何透過「時空稀疏注意力」實現 1.69 倍效能提升

Accelerating Video Diffusion on TPUs: Optimizing Spatio-Temporal Sparse Attention

本文介紹如何透過 Pallas 與 Splash Attention 精細控制 TPU 上的分塊運算，將影片擴散模型的時空稀疏性轉化為實際的硬體加速，在 2K 影片生成中實現 1.69 倍的端到端效能提升。