Webssl Dino2b Light2b 224

🚀 Web-SSL DINO ViT-2B: 軽フィルタリングされた20億規模のMetaCLIPデータ、224解像度

このモデルは、言語の監督なしで軽くフィルタリングされたウェブ規模の画像データを用いて、DINOv2の自己教師あり学習によって訓練された、20億個のパラメータを持つビジョントランスフォーマー（ViT）です。論文 "Scaling Language-Free Visual Representation Learning" (Fan et al., 2025) で紹介されています。

📚 ドキュメント

🔍 モデルの詳細

📋 モデルの説明

Web-SSL DINO 2Bは、言語の監督なしで軽くフィルタリングされたウェブ画像を用いて自己教師あり学習によって訓練された、20億個のパラメータを持つVision Transformerモデルです。「light2b」という名称は、テキストコンテンツを含む画像のサブセットで訓練されたことを示しており、元のMetaCLIPデータセットの約50.3%が保持されています。このフィルタリングにより、OCRやチャートの理解能力が向上し、すべてのビジョンタスクで強力な性能を維持しています。このモデルは、純粋な視覚学習を適切に拡大することで、CLIPのような言語監督モデルと同等またはそれ以上の性能をさまざまなビジョンタスクで達成できることを示しています。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino2b-light2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino2b-light2b-224')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

📄 ライセンス

このライブラリは cc-by-nc-4.0 ライセンスの下で提供されています。

📚 引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}