Aivora

#revit

reViT

1 篇文章

單一區塊實現多重深度:具備深度編程專家庫的循環 Vision Transformer
arXivAI 研究

單一區塊實現多重深度:具備深度編程專家庫的循環 Vision Transformer

One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts

論文提出 reViT 架構,僅利用單一重複使用的 Transformer 區塊,透過動態組合專家權重來模擬不同深度的特徵轉換,在大幅減少 70% 參數量的同時達到與標準全深度模型相當的精準度。

2 分鐘閱讀