Webssl Mae1b Full2b 224

🚀 Web-SSL MAE ViT-1B: 2B MetaCLIPデータ、224解像度

このモデルは、言語の監督なしでウェブ規模の画像データを用いて、マスク付きオートエンコーダ（MAE）による自己教師あり学習で学習された、10億個のパラメータを持つビジョントランスフォーマー（ViT）です。論文 "Scaling Language-Free Visual Representation Learning" (Fan et al., 2025) で紹介されています。

📚 ドキュメント

モデルの詳細

モデルの説明

Web-SSL MAE 1Bは、言語の監督なしで20億枚のウェブ画像を用いて、マスク付きオートエンコーダの自己教師あり学習で学習された、10億個のパラメータを持つビジョントランスフォーマーモデルです。このモデルは、純粋な視覚学習を適切に拡張することで、様々なビジョンタスクにおいてCLIPのような言語監督モデルと同等またはそれ以上の性能を発揮できることを示しています。Web-MAEは、OCRやチャート理解タスクで特に強い性能を発揮し、従来のビジョンベンチマークやマルチモーダルタスクでも競争力のある性能を維持しています。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, ViTModel
import torch
from PIL import Image

# Adjust the size, crop_size, etc. fields to your liking
processor = AutoImageProcessor.from_pretrained('facebook/webssl-mae1b-full2b-224')
model = ViTModel.from_pretrained('facebook/webssl-mae1b-full2b-224').cuda().eval()

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt").to('cuda')
with torch.no_grad():
    outputs = model(**inputs)

# Extract features from the encoder
encoder_hidden_states = outputs.last_hidden_state

📄 ライセンス

このモデルは cc-by-nc-4.0 ライセンスの下で提供されています。

引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}