Vitamin XL 384px

🚀 ViTamin-XL-336pxのモデルカード

ViTaminの公式Hugging Faceモデルです。これは2024年のCVPR論文から派生したものです。

ViTamin: Design Scalable Vision Models in the Vision-language Era.
✨  Jieneng Chen, Qihang Yu, Xiaohui Shen, Alan Yuille そして Liang-Chieh Chen
🏠  Johns Hopkins University, Bytedance

🚀 クイックスタート

transformers.AutoModelを使ってHuggingFaceからモデルをロードすることができます。

import torch
import open_clip
from PIL import Image
from transformers import AutoModel, CLIPImageProcessor
device = "cuda" if torch.cuda.is_available() else "cpu"

model = AutoModel.from_pretrained(
    'jienengchen/ViTamin-XL-384px',
    trust_remote_code=True).to(device).eval()

image = Image.open('./image.png').convert('RGB')
image_processor = CLIPImageProcessor.from_pretrained('jienengchen/ViTamin-XL-384px')

pixel_values = image_processor(images=image, return_tensors='pt').pixel_values
pixel_values = pixel_values.to(torch.bfloat16).cuda()

tokenizer = open_clip.get_tokenizer('hf-hub:laion/CLIP-ViT-L-14-DataComp.XL-s13B-b90K')
text = tokenizer(["a photo of vitamin", "a dog", "a cat"]).to(device)

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features, text_features, logit_scale = model(pixel_values, text)
    text_probs = (100.0 * image_features @ text_features.to(torch.float).T).softmax(dim=-1)

print("Label probs:", text_probs)

✨ 主な機能

DataComp-1BでのCLIP事前学習の主要結果

下流タスクの主要結果

オープンボキャブラリ検出

オープンボキャブラリセグメンテーション

注: パノプティックデータセット（ADE、CityScapes、MV）はPQメトリックを使用しています。セマンティックデータセット（A-150、A-847、PC-459、PC-59、PAS-21）はmIoUメトリックを使用しています。

大規模マルチモーダルモデル

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。

🔖 引用

@inproceedings{chen2024vitamin,
  title={ViTamin: Design Scalable Vision Models in the Vision-language Era},
  author={Chen, Jieneng and Yu, Qihang and Shen, Xiaohui and Yuille, ALan and Chen, Liang-Chieh},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}