Hiera Base 224

🚀 Hiera (hiera_base_224)

Hiera是一種分層Transformer，它是之前一系列分層Transformer（如ConvNeXT和Swin）的更高效替代方案。傳統的Transformer架構（Dosovitskiy等人，2020年）非常流行，它簡單且可擴展，支持諸如MAE（He等人，2022年）之類的預訓練策略。然而，這些架構在整個網絡中使用相同的空間分辨率和通道數量，導致ViT對參數的利用效率不高。這與之前的“分層”或“多尺度”模型（例如Krizhevsky等人（2012年）；He等人（2016年））形成對比，這些模型在早期階段使用較少的通道但較高的空間分辨率來處理較簡單的特徵，而在後期使用更多的通道但較低的空間分辨率來處理更復雜的特徵。不過，這些模型過於複雜，為了在ImageNet - 1k中達到最先進的準確率，增加了額外的操作，導致模型運行速度變慢。Hiera試圖通過使用MAE進行訓練，讓模型學習空間偏差來解決這個問題。

📄 許可證

本項目採用CC - BY - NC - 4.0許可證。