Dinov2 With Registers Base

🚀 Vision Transformer (base-sized model) trained using DINOv2, with registers

このモデルは、Darcetらによる論文 Vision Transformers Need Registers で導入され、このリポジトリ で最初に公開されたVision Transformer (ViT) モデルです。

免責事項: レジスタ付きのDINOv2を公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されました。

🚀 クイックスタート

このモデルは、画像の特徴抽出に使用できます。以下に使用方法の例を示します。

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained('facebook/dinov2-with-registers-base')
model = AutoModel.from_pretrained('facebook/dinov2-with-registers-base')

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

✨ 主な機能

• 画像の特徴抽出に適しています。
• 事前学習により、下流タスクに役立つ画像の内部表現を学習します。
• レジスタトークンを追加することで、注意マップのアーティファクトを解消し、解釈可能性と性能を向上させます。

📚 ドキュメント

モデルの説明

Vision Transformer (ViT) は、Transformerエンコーダモデル（BERTのような）で、もともとはImageNetでの教師付き画像分類に導入されました (元論文)。

その後、人々はViTを自己教師付き画像特徴抽出（すなわち、ラベルなしで画像から意味のある特徴、つまり埋め込みを学習する）に非常にうまく適用する方法を見つけました。この分野の例となる論文には、DINOv2 や MAE があります。

DINOv2の著者らは、ViTの注意マップにアーティファクトがあることに気づきました。これは、モデルが一部の画像パッチを「レジスタ」として使用しているためです。著者らは解決策を提案しました：新しいトークン（「レジスタ」トークンと呼ばれる）を追加するだけで、これは事前学習中にのみ使用し（その後は破棄する）、以下の効果が得られます：

• アーティファクトがなくなる
• 解釈可能な注意マップ
• 性能の向上

レジスタの有無で学習された様々なモデルの注意マップの可視化。元論文 から引用。

なお、このモデルには微調整されたヘッドは含まれていません。

モデルを事前学習することで、画像の内部表現を学習し、下流タスクに有用な特徴を抽出することができます。たとえば、ラベル付き画像のデータセットがある場合、事前学習されたエンコーダの上に線形層を配置して標準的な分類器を学習することができます。通常、[CLS] トークンの最後の隠れ状態は画像全体の表現と見なせるため、このトークンの上に線形層を配置します。

想定される用途と制限

このモデルは、生のモデルとして特徴抽出に使用できます。興味のあるタスクで微調整されたバージョンを探すには、モデルハブ を参照してください。

BibTeXエントリと引用情報

@misc{darcet2024visiontransformersneedregisters,
      title={Vision Transformers Need Registers}, 
      author={Timothée Darcet and Maxime Oquab and Julien Mairal and Piotr Bojanowski},
      year={2024},
      eprint={2309.16588},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2309.16588}, 
}

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。