Webssl Dino7b Full8b 518

🚀 Web-SSL DINO ViT-7B: 8B MetaCLIPデータ、解像度518

言語の監督なしでウェブ規模の画像データを用いてDINOv2自己教師あり学習で学習された70億パラメータのビジョントランスフォーマー（ViT）です。論文"Scaling Language-Free Visual Representation Learning" (Fan et al., 2025)で紹介されています。

🚀 クイックスタート

Web-SSL DINO 7Bは、言語の監督なしで80億枚のウェブ画像を用いて自己教師あり学習で学習された70億パラメータのビジョントランスフォーマーモデルです。このモデルは、適切にスケーリングされた純粋な視覚学習が、様々なビジョンタスクにおいてCLIPのような言語監督モデルの性能に匹敵または上回ることができることを示しています。従来のビジョンベンチマークと視覚的質問応答やOCRおよびチャート理解を含むマルチモーダルタスクの両方で優れた性能を発揮します。

✨ 主な機能

• アーキテクチャ：ViT（幅4096、深さ32、ヘッド数32）
• パラメータ：70億
• 解像度：518×518ピクセル
• 学習：MetaCLIPウェブデータからの80億枚の画像サンプルを使用した自己教師ありWeb-DINO

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino7b-full8b-518')
model = Dinov2Model.from_pretrained('facebook/webssl-dino7b-full8b-518')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

📚 ドキュメント

Web-SSL DINO 7Bモデルの概要を示す画像です。

📄 ライセンス

このモデルはcc-by-nc-4.0ライセンスの下で提供されています。

引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}