Webssl Dino7b Full8b 518

🚀 Web-SSL DINO ViT-7B: 8B MetaCLIP数据，518分辨率

Web-SSL DINO ViT-7B是一个具有70亿参数的视觉变换器（ViT）模型。它在无语言监督的情况下，利用DINOv2自监督学习方法，在网络规模的图像数据上进行训练。该模型在论文"Scaling Language-Free Visual Representation Learning"（Fan等人，2025年）中被提出。

✨ 主要特性

• 此模型展示了在适当扩展规模时，纯视觉学习在各种视觉任务中能够达到甚至超越像CLIP这样的语言监督模型的性能。
• 在传统视觉基准测试和多模态任务（包括视觉问答、OCR和图表理解）中表现出色。

📦 安装指南

文档未提及安装步骤，跳过此章节。

💻 使用示例

基础用法

from transformers import AutoImageProcessor, Dinov2Model
import torch
from PIL import Image

processor = AutoImageProcessor.from_pretrained('facebook/webssl-dino7b-full8b-518')
model = Dinov2Model.from_pretrained('facebook/webssl-dino7b-full8b-518')

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
cls_features = outputs.last_hidden_state[:, 0]  # CLS token features
patch_features = outputs.last_hidden_state[:, 1:] # patch-wise token features

高级用法

文档未提及高级用法代码示例，跳过此部分。

📚 详细文档

模型详情

模型描述

Web-SSL DINO 7B是一个具有70亿参数的视觉变换器模型，它在无语言监督的情况下，对80亿张网络图像进行自监督学习训练。

🔧 技术细节

文档未提供具体技术实现细节，跳过此章节。

📄 许可证

本项目采用CC BY-NC 4.0许可证。

📚 引用

如果您使用了该模型，请引用以下论文：

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}