Webssl Mae700m Full2b 224

🚀 Web-SSL MAE ViT-H (700M): 2B MetaCLIPデータ、224解像度

このモデルは、言語の監督なしでウェブ規模の画像データを用いて、マスク付きオートエンコーダ（MAE）の自己教師あり学習で学習された、7億個のパラメータを持つビジョントランスフォーマー（ViT-H）です。論文 "Scaling Language-Free Visual Representation Learning" (Fan et al., 2025) で紹介されています。

🚀 クイックスタート

Web-SSL MAE ViT-Hは、言語の監督なしで20億枚のウェブ画像を用いて、マスク付きオートエンコーダの自己教師あり学習で学習された、7億個のパラメータを持つビジョントランスフォーマーモデルです。このモデルは、適切に拡張すると、純粋な視覚学習が、様々なビジョンタスクにおいて、CLIPのような言語監督モデルと同等またはそれ以上の性能を発揮できることを示しています。Web-MAEは、OCRやチャート理解タスクで特に強い性能を発揮し、同時に従来のビジョンベンチマークやマルチモーダルタスクでも競争力のある性能を維持しています。

✨ 主な機能

• 言語の監督なしでウェブ規模の画像データを用いた自己教師あり学習
• 様々なビジョンタスクでCLIPなどの言語監督モデルと同等またはそれ以上の性能
• OCRやチャート理解タスクで特に強い性能

📚 ドキュメント

モデルの詳細

モデルの説明

Web-SSL MAE ViT-Hは、言語の監督なしで20億枚のウェブ画像を用いて、マスク付きオートエンコーダの自己教師あり学習で学習された、7億個のパラメータを持つビジョントランスフォーマーモデルです。このモデルは、適切に拡張すると、純粋な視覚学習が、様々なビジョンタスクにおいて、CLIPのような言語監督モデルと同等またはそれ以上の性能を発揮できることを示しています。Web-MAEは、OCRやチャート理解タスクで特に強い性能を発揮し、同時に従来のビジョンベンチマークやマルチモーダルタスクでも競争力のある性能を維持しています。

💻 使用例

基本的な使用法

from transformers import AutoImageProcessor, ViTModel
import torch
from PIL import Image

# Adjust the size, crop_size, etc. fields to your liking
processor = AutoImageProcessor.from_pretrained('facebook/webssl-mae700m-full2b-224')
model = ViTModel.from_pretrained('facebook/webssl-mae700m-full2b-224').cuda().eval()

# Process an image
image = Image.open('path/to/image.jpg')
inputs = processor(images=image, return_tensors="pt").to('cuda')
with torch.no_grad():
    outputs = model(**inputs)

# Extract features from the encoder
encoder_hidden_states = outputs.last_hidden_state

📄 ライセンス

このライブラリは cc-by-nc-4.0 ライセンスの下で提供されています。

📚 引用

@article{fan2025scaling,
  title={Scaling Language-Free Visual Representation Learning}, 
  author={David Fan and Shengbang Tong and Jiachen Zhu and Koustuv Sinha and Zhuang Liu and Xinlei Chen and Michael Rabbat and Nicolas Ballas and Yann LeCun and Amir Bar and Saining Xie},
  year={2025},
  eprint={2504.01017},
  archivePrefix={arXiv},
  primaryClass={cs.CV}
}