Webssl Dino5b Full2b 224

🚀 Web-SSL DINO ViT-5B: 2B MetaCLIPデータ、224解像度

このモデルは、言語の監督なしでウェブ規模の画像データを用いてDINOv2自己教師付き学習で学習された、50億パラメータのVision Transformer (ViT) です。論文 "Scaling Language-Free Visual Representation Learning" (Fan et al., 2025) で紹介されています。

🚀 クイックスタート

Web-SSL DINO 5Bは、言語の監督なしで20億枚のウェブ画像を用いた自己教師付き学習によって学習された、50億パラメータのVision Transformerモデルです。このモデルは、適切にスケーリングされた純粋な視覚学習が、様々なビジョンタスクにおいてCLIPのような言語監督モデルと同等またはそれ以上の性能を発揮できることを示しています。従来のビジョンベンチマークや、視覚的質問応答やOCR・チャート理解などのマルチモーダルタスクの両方で良好な性能を発揮します。

✨ 主な機能

• 言語の監督なしでウェブ規模の画像データを用いた自己教師付き学習により、高い汎化性能を持つ。
• 様々なビジョンタスクにおいて、言語監督モデルと同等またはそれ以上の性能を発揮する。
• 従来のビジョンベンチマークやマルチモーダルタスクの両方で良好な性能を発揮する。

📚 ドキュメント

モデルの詳細

モデルの説明

Web-SSL DINO 5Bは、言語の監督なしで20億枚のウェブ画像を用いた自己教師付き学習によって学習された、50億パラメータのVision Transformerモデルです。このモデルは、適切にスケーリングされた純粋な視覚学習が、様々なビジョンタスクにおいてCLIPのような言語監督モデルと同等またはそれ以上の性能を発揮できることを示しています。従来のビジョンベンチマークや、視覚的質問応答やOCR・チャート理解などのマルチモーダルタスクの両方で良好な性能を発揮します。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino5b-full2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino5b-full2b-224')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。

引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}