Webssl Dino7b Full8b 518

🚀 Web-SSL DINO ViT-7B: 8B MetaCLIP數據，518分辨率

Web-SSL DINO ViT-7B是一個具有70億參數的視覺變換器（ViT）模型。它在無語言監督的情況下，利用DINOv2自監督學習方法，在網絡規模的圖像數據上進行訓練。該模型在論文"Scaling Language-Free Visual Representation Learning"（Fan等人，2025年）中被提出。

✨ 主要特性

• 此模型展示了在適當擴展規模時，純視覺學習在各種視覺任務中能夠達到甚至超越像CLIP這樣的語言監督模型的性能。
• 在傳統視覺基準測試和多模態任務（包括視覺問答、OCR和圖表理解）中表現出色。

📦 安裝指南

文檔未提及安裝步驟，跳過此章節。

💻 使用示例

基礎用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino7b-full8b-518')
model = Dinov2Model.from_pretrained('facebook/webssl-dino7b-full8b-518')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

高級用法

文檔未提及高級用法代碼示例，跳過此部分。

📚 詳細文檔

模型詳情

模型描述

Web-SSL DINO 7B是一個具有70億參數的視覺變換器模型，它在無語言監督的情況下，對80億張網絡圖像進行自監督學習訓練。

🔧 技術細節

文檔未提供具體技術實現細節，跳過此章節。

📄 許可證

本項目採用CC BY-NC 4.0許可證。

📚 引用

如果您使用了該模型，請引用以下論文：

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}