Mexma Siglip2

🚀 MEXMA-SigLIP2模型

MEXMA-SigLIP2是一個高性能的零樣本圖像分類模型，它結合了多語言文本編碼器與圖像編碼器，支持80種語言，在跨模態數據集上取得了優異的檢索成績。

🚀 快速開始

模型概述

MEXMA-SigLIP2結合了 MEXMA 多語言文本編碼器和 SigLIP2 模型的圖像編碼器，從而為80種語言提供了高性能的CLIP模型。MEXMA-SigLIP2在 Crossmodal-3600 數據集上創造了新的最優成績，圖像檢索的R@1達到62.54%，文本檢索的R@1達到59.99%。

模型信息

模型評估結果

💻 使用示例

基礎用法

from transformers import AutoModel, AutoTokenizer, AutoImageProcessor
from PIL import Image
import requests
import torch

model = AutoModel.from_pretrained("visheratin/mexma-siglip2", torch_dtype=torch.bfloat16, trust_remote_code=True, optimized=True).to("cuda")
tokenizer = AutoTokenizer.from_pretrained("visheratin/mexma-siglip2")
processor = AutoImageProcessor.from_pretrained("visheratin/mexma-siglip2")

img = Image.open(requests.get("https://static.independent.co.uk/s3fs-public/thumbnails/image/2014/03/25/12/eiffel.jpg", stream=True).raw)
img = processor(images=img, return_tensors="pt")["pixel_values"]
img = img.to(torch.bfloat16).to("cuda")
with torch.inference_mode():
    text = tokenizer(["кошка", "a dog", "एफिल टॉवर"], return_tensors="pt", padding=True).to("cuda")
    image_logits, text_logits = model.get_logits(text["input_ids"], text["attention_mask"], img)
    probs = image_logits.softmax(dim=-1)
    print(probs)

📄 許可證

本項目採用MIT許可證。

🙏 致謝

感謝 ML Collective 提供計算資源來訓練該模型。