Dinov2 With Registers Base

🚀 視覺變換器（使用DINOv2訓練的基礎尺寸模型，帶寄存器）

本項目是基於DINOv2訓練的視覺變換器（ViT）基礎尺寸模型，帶有寄存器。它能用於圖像特徵提取，為圖像相關的下游任務提供強大的特徵表示。

🚀 快速開始

本模型是由Darcet等人在論文 Vision Transformers Need Registers 中提出的視覺變換器（ViT）模型，並首次在 此倉庫 中發佈。

需要說明的是，發佈帶寄存器的DINOv2的團隊並未為此模型撰寫模型卡片，此模型卡片由Hugging Face團隊編寫。

✨ 主要特性

模型描述

視覺變換器（ViT）是一種類似BERT的變換器編碼器模型，最初被提出 用於在ImageNet上進行有監督的圖像分類任務。

隨後，人們找到了讓ViT在無監督圖像特徵提取（即學習有意義的特徵，也稱為嵌入）方面表現出色的方法，無需任何標籤。相關的論文包括 DINOv2 和 MAE。

DINOv2的作者注意到ViT在注意力圖中存在偽影，這是由於模型使用了一些圖像塊作為“寄存器”。作者提出了一種解決方案：添加一些新的標記（稱為“寄存器”標記），這些標記僅在預訓練期間使用（之後丟棄）。這樣做的結果是：

• 消除了偽影
• 使注意力圖具有可解釋性
• 提高了性能

有寄存器和無寄存器訓練的各種模型的注意力圖可視化。取自 原論文 。

需要注意的是，此模型不包含任何微調的頭部。

通過對模型進行預訓練，它學習到了圖像的內部表示，可用於提取對下游任務有用的特徵。例如，如果你有一個帶標籤的圖像數據集，可以在預訓練的編碼器之上放置一個線性層來訓練一個標準分類器。通常會在 [CLS] 標記之上放置一個線性層，因為該標記的最後隱藏狀態可以看作是整個圖像的表示。

預期用途和侷限性

你可以使用原始模型進行特徵提取。可以在 模型中心 中查找針對你感興趣的任務進行微調的版本。

💻 使用示例

基礎用法

以下是如何使用此模型的示例代碼：

from transformers import AutoImageProcessor, AutoModel
from PIL import Image
import requests

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained('facebook/dinov2-with-registers-base')
model = AutoModel.from_pretrained('facebook/dinov2-with-registers-base')

inputs = processor(images=image, return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state

BibTeX引用

@misc{darcet2024visiontransformersneedregisters,
      title={Vision Transformers Need Registers}, 
      author={Timothée Darcet and Maxime Oquab and Julien Mairal and Piotr Bojanowski},
      year={2024},
      eprint={2309.16588},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2309.16588}, 
}

📄 許可證

本模型採用Apache-2.0許可證。