Siglip2 Large Patch16 256

🚀 SigLIP 2 Large

SigLIP 2 は、SigLIP の事前学習目標を、事前に独立して開発された技術と統合し、セマンティック理解、位置特定、および密な特徴量を向上させます。

🚀 クイックスタート

SigLIP 2 Large モデルは、ゼロショット画像分類や画像 - テキスト検索などのタスクに使用できます。また、VLM のビジョンエンコーダとしても利用可能です。

✨ 主な機能

• ゼロショット画像分類や画像 - テキスト検索などのタスクに使用可能。
• VLM のビジョンエンコーダとして機能。
• SigLIP の事前学習目標を拡張し、セマンティック理解や位置特定などを向上。

📦 インストール

本モデルは transformers ライブラリを使用しています。transformers がインストールされていない場合は、以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

ゼロショット画像分類を行うコード例です。

from transformers import pipeline

# load pipeline
ckpt = "google/siglip2-large-patch16-256"
image_classifier = pipeline(model=ckpt, task="zero-shot-image-classification")

# load image and candidate labels
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
candidate_labels = ["2 cats", "a plane", "a remote"]

# run inference
outputs = image_classifier(image, candidate_labels)
print(outputs)

高度な使用法

Vision Tower を使用して画像をエンコードするコード例です。

import torch
from transformers import AutoModel, AutoProcessor
from transformers.image_utils import load_image

# load the model and processor
ckpt = "google/siglip2-large-patch16-256"
model = AutoModel.from_pretrained(ckpt, device_map="auto").eval()
processor = AutoProcessor.from_pretrained(ckpt)

# load the image
image = load_image("https://huggingface.co/datasets/merve/coco/resolve/main/val2017/000000000285.jpg")
inputs = processor(images=[image], return_tensors="pt").to(model.device)

# run infernece
with torch.no_grad():
    image_embeddings = model.get_image_features(**inputs)    

print(image_embeddings.shape)

より多くのコード例については、siglip documentation を参照してください。

🔧 技術詳細

学習手順

SigLIP 2 は SigLIP の上にいくつかの賢い学習目標を追加しています。

1. デコーダ損失
2. グローバル - ローカルおよびマスクされた予測損失
3. アスペクト比と解像度の適応性

学習データ

SigLIP 2 は WebLI データセット (Chen et al., 2023) で事前学習されています。

コンピューティング

このモデルは最大 2048 個の TPU - v5e チップで学習されました。

📚 ドキュメント

評価結果

以下は SigLIP 2 の評価結果です（論文から引用）。

BibTeX 引用

@misc{tschannen2025siglip2multilingualvisionlanguage,
      title={SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features}, 
      author={Michael Tschannen and Alexey Gritsenko and Xiao Wang and Muhammad Ferjad Naeem and Ibrahim Alabdulmohsin and Nikhil Parthasarathy and Talfan Evans and Lucas Beyer and Ye Xia and Basil Mustafa and Olivier Hénaff and Jeremiah Harmsen and Andreas Steiner and Xiaohua Zhai},
      year={2025},
      eprint={2502.14786},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2502.14786}, 
}

📄 ライセンス

本プロジェクトは Apache-2.0 ライセンスの下で提供されています。