Webssl Dino2b Heavy2b 224

🚀 Web-SSL DINO ViT-2B：重度過濾的20億參數MetaCLIP數據，224分辨率

本項目是一個擁有20億參數的視覺變換器（ViT）模型，它採用DINOv2自監督學習方法，在經過重度過濾的無語言監督的網絡規模圖像數據上進行訓練。該模型在論文"Scaling Language-Free Visual Representation Learning"（Fan等人，2025年）中被首次提出，能夠在多種視覺任務中展現出優秀的性能。

🚀 快速開始

Web-SSL DINO 2B是一個擁有20億參數的視覺變換器模型，它在經過重度過濾的無語言監督的網絡圖像上進行自監督學習訓練。“heavy2b” 表示該模型是在明確包含圖表、表格和帶有可讀文本的文檔的圖像子集上進行訓練的，這些圖像僅佔原始MetaCLIP數據集的1.3%。這種有針對性的過濾顯著提高了OCR和圖表理解能力，同時在其他視覺任務上也保持了強大的性能。該模型表明，適當擴展的純視覺學習在各種視覺任務中可以達到或超過像CLIP這樣的語言監督模型的性能。

✨ 主要特性

• 高性能架構：採用ViT架構（寬度2688，深度24，21個頭），擁有20億參數，能夠處理複雜的視覺任務。
• 特定分辨率：模型的輸入分辨率為224×224像素，適用於多種圖像場景。
• 自監督學習：通過自監督的Web-DINO方法在經過重度過濾的MetaCLIP數據上進行訓練，無需語言監督。
• 針對性過濾：在特定的圖像子集上訓練，顯著提高了OCR和圖表理解能力。

📦 安裝指南

文檔中未提及安裝步驟，若有需求，請參考相關庫的官方文檔進行安裝。

💻 使用示例

基礎用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino2b-heavy2b-224')
model = Dinov2Model.from_pretrained('facebook/webssl-dino2b-heavy2b-224')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)

cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

高級用法

文檔中未提及高級用法代碼示例，若有更復雜的使用場景需求，可進一步探索模型的API文檔或相關資料。

📚 詳細文檔

模型詳情

模型概述圖

📄 許可證

本項目採用CC BY-NC 4.0許可證。

🔗 引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}