Webssl Dino5b Full2b 224

🚀 Web-SSL DINO ViT-5B: 2B MetaCLIP數據，224分辨率

Web-SSL DINO ViT-5B是一個具有50億參數的視覺變換器（ViT）模型，它在無語言監督的情況下，使用DINOv2自監督學習方法在網絡規模的圖像數據上進行訓練。該模型在論文"Scaling Language-Free Visual Representation Learning"（Fan等人，2025年）中被提出。

🚀 快速開始

你可以按照以下步驟使用Web-SSL DINO ViT-5B模型：

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino5b-full2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino5b-full2b-224')

# 處理圖像
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS令牌特徵
patch_features = outputs.last_hidden_state[:, 1:] # 逐塊令牌特徵

✨ 主要特性

• 大規模視覺學習：在20億個網絡圖像上進行自監督學習，無需語言監督，展示了純視覺學習在適當擴展時的強大性能。
• 廣泛的任務適用性：在傳統視覺基準測試和多模態任務（包括視覺問答、OCR和圖表理解）中都表現出色。

📚 詳細文檔

模型詳情

模型描述

Web-SSL DINO 5B是一個具有50億參數的視覺變換器模型，它在無語言監督的情況下，使用自監督學習方法在20億個網絡圖像上進行訓練。該模型表明，當純視覺學習進行適當擴展時，在各種視覺任務中可以達到甚至超過像CLIP這樣的語言監督模型的性能。它在傳統視覺基準測試和多模態任務（包括視覺問答和OCR及圖表理解）中都表現良好。

📄 許可證

本項目採用CC BY-NC 4.0許可證。

📖 引用

如果你在研究中使用了該模型，請引用以下論文：

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}