Webssl Dino2b Heavy2b 224

🚀 Web-SSL DINO ViT-2B: Heavy Filtered 2B MetaCLIP data, 224 Resolution

このモデルは、言語の監督なしで高度にフィルタリングされたウェブ規模の画像データを使用して、DINOv2の自己教師あり学習で学習された20億個のパラメータを持つVision Transformer (ViT) です。論文 "Scaling Language-Free Visual Representation Learning" (Fan et al., 2025) で紹介されています。

🚀 クイックスタート

Web-SSL DINO 2Bは、言語の監督なしで高度にフィルタリングされたウェブ画像を使用して自己教師あり学習で学習された20億個のパラメータを持つVision Transformerモデルです。

✨ 主な機能

• 「heavy2b」という指定は、元のMetaCLIPデータセットのわずか1.3%を占める、チャート、テーブル、および読み取り可能なテキストを含むドキュメントを明示的に含む画像のサブセットでの学習を示しています。
• この重点的なフィルタリングにより、OCRとチャート理解能力が大幅に向上し、他のビジョンタスクでも高い性能を維持します。
• このモデルは、適切にスケーリングされた純粋な視覚学習が、様々なビジョンタスクでCLIPのような言語監督モデルの性能と匹敵するか、それを上回ることができることを示しています。

📦 インストール

このドキュメントには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino2b-heavy2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino2b-heavy2b-224')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

📚 ドキュメント

モデルの詳細

モデルの説明

Web-SSL DINO 2Bは、言語の監督なしで高度にフィルタリングされたウェブ画像を使用して自己教師あり学習で学習された20億個のパラメータを持つVision Transformerモデルです。

🔧 技術詳細

このドキュメントには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。

引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}