Hiera Base Plus 224 Hf

🚀 Hiera模型（Tiny，在IN1K上微調）

Hiera 是一種 分層 視覺變換器，它快速、強大，最重要的是 簡單。該模型在論文 Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles 中被提出，在眾多圖像和視頻任務中超越了當前的先進水平，同時速度更快。

🚀 快速開始

模型信息

工作原理

像 ViT 這樣的視覺變換器在整個網絡中使用相同的空間分辨率和特徵數量。但這是低效的：早期層不需要那麼多特徵，而後期層不需要那麼高的空間分辨率。像 ResNet 這樣的早期分層模型通過在開始時使用較少的特徵和在結束時使用較低的空間分辨率來解決這個問題。

已經有幾種採用這種分層設計的特定領域視覺變換器被提出，如 Swin 或 MViT。但在追求使用 ImageNet-1K 上的全監督訓練獲得最先進結果的過程中，這些模型變得越來越複雜，因為它們添加了專門的模塊來彌補 ViT 缺乏的空間偏差。雖然這些改變產生了具有吸引力的浮點運算次數（FLOP）的有效模型，但在底層，增加的複雜性使這些模型總體上 更慢。

我們表明，很多這種複雜性實際上是 不必要的。我們沒有通過架構更改手動添加空間基礎，而是選擇 教導 模型這些偏差。通過使用 MAE 進行訓練，我們可以簡化或移除現有變換器中 所有 這些龐大的模塊，並在此過程中 提高準確性。結果就是 Hiera，一種極其高效且簡單的架構，在多個圖像和視頻識別任務中超越了當前的先進水平。

✨ 主要特性

Hiera 可用於圖像分類、特徵提取或掩碼圖像建模。此特定檢查點旨在用於 特徵提取。

💻 使用示例

基礎用法

from transformers import AutoImageProcessor, HieraModel
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-base-plus-224-hf")
model = HieraModel.from_pretrained("facebook/hiera-base-plus-224-hf")

inputs = image_processor(images=image, return_tensors="pt")
outputs = model(**inputs)

高級用法

你還可以使用 HieraBackbone 並在加載模型時設置 out_features 從模型的不同階段提取特徵圖。以下是如何從每個階段提取特徵圖的示例：

from transformers import AutoImageProcessor, HieraBackbone
import torch
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-base-plus-224-hf")
# `out_features` 應該是 ['stem', 'stage1', 'stage2', 'stage3', 'stage4'] 的子集
# 這會引入新的 LayerNorm 層，可能需要在下游任務上進行訓練
model = HieraBackbone.from_pretrained("facebook/hiera-base-plus-224-hf", out_features=['stage1', 'stage2', 'stage3', 'stage4'])

inputs = image_processor(images=image, return_tensors="pt")
outputs = model(**inputs)
feature_maps = outputs.feature_maps

📄 許可證

本項目採用 CC BY-NC 4.0 許可證。

BibTeX 引用和引用信息

如果您在工作中使用 Hiera 或此代碼，請引用：

@article{ryali2023hiera,
  title={Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles},
  author={Ryali, Chaitanya and Hu, Yuan-Ting and Bolya, Daniel and Wei, Chen and Fan, Haoqi and Huang, Po-Yao and Aggarwal, Vaibhav and Chowdhury, Arkabandhu and Poursaeed, Omid and Hoffman, Judy and Malik, Jitendra and Li, Yanghao and Feichtenhofer, Christoph},
  journal={ICML},
  year={2023}
}