Vit L 16 SigLIP2 512

🚀 ViT-L-16-SigLIP2-512のモデルカード

このモデルは、WebLIで学習されたSigLIP 2のビジョン・言語モデルです。OpenCLIPで使用するために、Big Visionの元のJAXチェックポイントから変換されています。

🚀 クイックスタート

このモデルは、WebLIデータセットを使用して学習されたSigLIP 2のビジョン・言語モデルです。元のJAXチェックポイントからOpenCLIPで使用できるように変換されています。

✨ 主な機能

• コントラストive画像-テキストモデルで、ゼロショット画像分類が可能です。
• WebLIデータセットで学習されています。
• 関連する論文があり、それぞれの研究成果が反映されています。

📦 インストール

このモデルを使用するには、open-clip-torch >= 2.31.0 と timm >= 1.0.15 が必要です。

💻 使用例

基本的な使用法

import torch
import torch.nn.functional as F
from urllib.request import urlopen
from PIL import Image
from open_clip import create_model_from_pretrained, get_tokenizer # works on open-clip-torch >= 2.31.0, timm >= 1.0.15

model, preprocess = create_model_from_pretrained('hf-hub:timm/ViT-L-16-SigLIP2-512')
tokenizer = get_tokenizer('hf-hub:timm/ViT-L-16-SigLIP2-512')

image = Image.open(urlopen(
    'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))
image = preprocess(image).unsqueeze(0)

labels_list = ["a dog", "a cat", "a donut", "a beignet"]
text = tokenizer(labels_list, context_length=model.context_length)

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image, normalize=True)
    text_features = model.encode_text(text, normalize=True)
    text_probs = torch.sigmoid(image_features @ text_features.T * model.logit_scale.exp() + model.logit_bias)

zipped_list = list(zip(labels_list, [100 * round(p.item(), 3) for p in text_probs[0]]))
print("Label probabilities: ", zipped_list)

📚 ドキュメント

モデル詳細

• モデルタイプ：コントラストive画像-テキスト、ゼロショット画像分類
• オリジナル：https://github.com/google-research/big_vision
• データセット：WebLI
• 論文：
  • SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features: https://arxiv.org/abs/2502.14786
  • Sigmoid loss for language image pre-training: https://arxiv.org/abs/2303.15343

引用

@article{tschannen2025siglip,
  title={SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features},
  author={Tschannen, Michael and Gritsenko, Alexey and Wang, Xiao and Naeem, Muhammad Ferjad and Alabdulmohsin, Ibrahim and Parthasarathy, Nikhil and Evans, Talfan and Beyer, Lucas and Xia, Ye and Mustafa, Basil and H'enaff, Olivier and Harmsen, Jeremiah and Steiner, Andreas and Zhai, Xiaohua},
  year={2025},
  journal={arXiv preprint arXiv:2502.14786}
}        

@article{zhai2023sigmoid,
  title={Sigmoid loss for language image pre-training},
  author={Zhai, Xiaohua and Mustafa, Basil and Kolesnikov, Alexander and Beyer, Lucas},
  journal={arXiv preprint arXiv:2303.15343},
  year={2023}
}

@misc{big_vision,
  author = {Beyer, Lucas and Zhai, Xiaohua and Kolesnikov, Alexander},
  title = {Big Vision},
  year = {2022},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/google-research/big_vision}}
}

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。