Webssl Dino2b Full2b 224

🚀 Web-SSL DINO ViT-2B：20億MetaCLIP數據，224分辨率

本項目是一個具有20億參數的視覺變換器（ViT）模型，它採用DINOv2自監督學習方法，在無語言監督的網絡規模圖像數據上進行訓練。該模型在論文"Scaling Language-Free Visual Representation Learning"（Fan等人，2025年）中被首次提出。

🚀 快速開始

Web-SSL DINO 2B是一個擁有20億參數的視覺變換器模型，它在20億張無語言監督的網絡圖像上進行自監督學習訓練。該模型表明，在適當的規模下，純視覺學習在各種視覺任務中可以達到甚至超越像CLIP這樣的語言監督模型的性能。它在傳統視覺基準測試和包括視覺問答、OCR和圖表理解在內的多模態任務中均表現出色。

✨ 主要特性

• 基於自監督學習，無需語言監督，在大規模網絡圖像數據上進行訓練。
• 能夠在多種視覺和多模態任務中達到或超越語言監督模型的性能。

📦 安裝指南

暫未提供相關安裝步驟。

💻 使用示例

基礎用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino2b-full2b-224')
# 'eager' and 'sdpa' attn_implementation supported
model = Dinov2Model.from_pretrained('facebook/webssl-dino2b-full2b-224')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

📚 詳細文檔

模型詳情

模型描述

Web-SSL DINO 2B在多種視覺任務中表現出色，以下是模型的一些效果展示：

📄 許可證

本項目採用CC BY-NC 4.0許可證。

📚 引用

如果您使用了該模型，請引用以下論文：

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}