Webssl Dino3b Heavy2b 224

🚀 Web-SSL DINO ViT-3B: Heavy Filtered 2B MetaCLIP data, 224 Resolution

このモデルは、言語の監督なしで高度にフィルタリングされたウェブ規模の画像データを使用して、DINOv2の自己教師付き学習で学習された30億パラメータのVision Transformer（ViT）です。論文"Scaling Language-Free Visual Representation Learning" (Fan et al., 2025) で紹介されています。

🚀 クイックスタート

このモデルは、言語の監督なしで高度にフィルタリングされたウェブ画像を使用して自己教師付き学習で学習されたVision Transformerモデルです。以下に使用方法のコード例を示します。

✨ 主な機能

• 高度にフィルタリングされたウェブ画像を使用して学習されているため、OCRやチャートの理解能力が向上しています。
• 言語の監督なしで学習されているため、純粋な視覚学習による表現能力を持っています。
• 様々なビジョンタスクで、CLIPのような言語監督モデルと同等またはそれ以上の性能を発揮します。

📦 インストール

このモデルはtransformersライブラリを使用して利用できます。transformersライブラリがインストールされていない場合は、以下のコマンドでインストールしてください。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino3b-heavy2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino3b-heavy2b-224')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

📚 ドキュメント

モデルの詳細

モデルの説明

Web-SSL DINO 3Bは、言語の監督なしで高度にフィルタリングされたウェブ画像を使用して自己教師付き学習で学習された30億パラメータのVision Transformerモデルです。"heavy2b"という指定は、チャート、テーブル、および読み取り可能なテキストを含むドキュメントを含む画像のサブセットで学習されたことを示しており、元のMetaCLIPデータセットのわずか1.3%を占めます。この集中的なフィルタリングにより、OCRとチャートの理解能力が大幅に向上し、他のビジョンタスクでも高い性能を維持しています。このモデルは、適切にスケーリングされた純粋な視覚学習が、様々なビジョンタスクでCLIPのような言語監督モデルと同等またはそれ以上の性能を発揮できることを示しています。

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。

引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}