Webssl Mae1b Full2b 224

🚀 Web-SSL MAE ViT-1B: 2B MetaCLIP數據，224分辨率

Web-SSL MAE ViT-1B是一個具有10億參數的視覺Transformer（ViT）模型，它使用掩碼自編碼器（MAE）自監督學習方法，在無語言監督的網絡規模圖像數據上進行訓練。該模型在視覺任務中表現出色，相關研究發表於論文"Scaling Language-Free Visual Representation Learning" (Fan等人, 2025)。

✨ 主要特性

• 採用無語言監督的自監督學習方式，在大規模網絡圖像數據上訓練，展現了純視覺學習的強大能力。
• 在OCR和圖表理解任務中表現尤為突出，同時在傳統視覺基準測試和多模態任務中也具有競爭力。

📦 安裝指南

文檔未提及具體安裝步驟，可參考transformers庫的官方安裝說明進行安裝。

💻 使用示例

基礎用法

from transformers import AutoImageProcessor, ViTModel
import torch
from PIL import Image

# Adjust the size, crop_size, etc. fields to your liking
processor = AutoImageProcessor.from_pretrained('facebook/webssl-mae1b-full2b-224')
model = ViTModel.from_pretrained('facebook/webssl-mae1b-full2b-224').cuda().eval()

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt").to('cuda')
with torch.no_grad():
    outputs = model(**inputs)

# Extract features from the encoder
encoder_hidden_states = outputs.last_hidden_state

📚 詳細文檔

模型詳情

模型描述

Web-SSL MAE 1B是一個具有10億參數的視覺Transformer模型，它使用掩碼自編碼器自監督學習方法，在20億張無語言監督的網絡圖像上進行訓練。該模型表明，適當擴展的純視覺學習在各種視覺任務中可以達到或超過像CLIP這樣的語言監督模型的性能。Web-MAE在OCR和圖表理解任務中表現尤為突出，同時在傳統視覺基準測試和多模態任務中也保持著有競爭力的性能。

📄 許可證

本項目採用CC BY-NC 4.0許可證。

📚 引用

如果您使用了該模型，請引用以下論文：

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}