Mexma Siglip2

🚀 MEXMA-SigLIP2

MEXMA-SigLIP2は、多言語テキストエンコーダであるMEXMAと、SigLIP2モデルの画像エンコーダを組み合わせたモデルです。これにより、80言語に対応した高性能なCLIPモデルを実現しています。MEXMA-SigLIP2は、Crossmodal-3600データセットで画像検索のR@1が62.54%、テキスト検索のR@1が59.99%という新たな最先端の性能を達成しています。

🚀 クイックスタート

💻 使用例

基本的な使用法

# 元のコードとコメントを保持
from transformers import AutoModel, AutoTokenizer, AutoImageProcessor
from PIL import Image
import requests
import torch

model = AutoModel.from_pretrained("visheratin/mexma-siglip2", torch_dtype=torch.bfloat16, trust_remote_code=True, optimized=True).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("visheratin/mexma-siglip2")
processor = AutoImageProcessor.from_pretrained("visheratin/mexma-siglip2")

img = Image.open(requests.get("https://static.independent.co.uk/s3fs-public/thumbnails/image/2014/03/25/12/eiffel.jpg", stream=True).raw)
img = processor(images=img, return_tensors="pt")["pixel_values"]
img = img.to(torch.bfloat16).to("cuda")
with torch.inference_mode():
    text = tokenizer(["кошка", "a dog", "एफिल टॉवर"], return_tensors="pt", padding=True).to("cuda")
    image_logits, text_logits = model.get_logits(text["input_ids"], text["attention_mask"], img)
    probs = image_logits.softmax(dim=-1)
    print(probs)

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

🔗 関連情報

🙏 謝辞

このモデルの学習に必要なコンピューティングリソースを提供してくれたML Collectiveに感謝します。