Webssl Dino3b Light2b 224

🚀 Web-SSL DINO ViT-3B：輕過濾2B MetaCLIP數據，224分辨率

本項目是一個具有30億參數的視覺變換器（ViT）模型，它採用DINOv2自監督學習方法，在輕過濾的網絡規模圖像數據上進行訓練，且無需語言監督。該模型在論文"Scaling Language-Free Visual Representation Learning"（Fan等人，2025年）中被提出。

🚀 快速開始

你可以按照以下步驟快速使用該模型：

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino3b-light2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino3b-light2b-224')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

✨ 主要特性

• 輕過濾數據訓練：使用輕過濾的網絡圖像數據進行自監督學習，無需語言監督。
• 特定子集訓練：“light2b”表示在包含任何文本內容的圖像子集上進行訓練，保留了約50.3%的原始MetaCLIP數據集。
• 性能提升：這種過濾方式在提高OCR和圖表理解能力的同時，在所有視覺任務中都保持了強大的性能。
• 純視覺學習優勢：表明適當擴展的純視覺學習在各種視覺任務中可以媲美甚至超越像CLIP這樣的語言監督模型。

📚 詳細文檔

模型詳情

模型描述

Web - SSL DINO 3B是一個具有30億參數的視覺變換器模型，它在輕過濾的網絡圖像上使用自監督學習進行訓練，無需語言監督。“light2b”表示在包含任何文本內容的圖像子集上進行訓練，保留了約50.3%的原始MetaCLIP數據集。這種過濾方式在提高OCR和圖表理解能力的同時，在所有視覺任務中都保持了強大的性能。該模型表明，適當擴展的純視覺學習在各種視覺任務中可以媲美甚至超越像CLIP這樣的語言監督模型。

📄 許可證

本項目使用 cc-by-nc-4.0 許可證。

📖 引用

如果您使用了該模型，請引用以下論文：

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}