Nllb Clip Base Siglip

🚀 NLLB-CLIP-SigLIPモデル

NLLB-CLIP-SigLIPは、NLLBモデルのテキストエンコーダと、SigLIPモデルの画像エンコーダを組み合わせたモデルです。これにより、Flores-200の201言語へのモデルの機能拡張が可能になります。NLLB-CLIPは、低リソース言語でも良好な性能を発揮し、Crossmodal-3600データセットで最先端の結果を達成しています。モデルの詳細については、論文を参照してください。

このバージョンは、標準バージョンよりも大幅に性能が向上しています。結果はこちらとこちらで確認できます。

注意: このモデルには、さらに良いバージョンがあります！

🚀 クイックスタート

このモデルはOpenCLIPに統合されているため、他のモデルと同じように使用することができます。

📦 インストール

!pip install -U open_clip_torch

💻 使用例

基本的な使用法

from open_clip import create_model_from_pretrained, get_tokenizer
from PIL import Image
import requests
import torch

model, transform = create_model_from_pretrained("nllb-clip-base-siglip", "v1", device="cuda")

tokenizer = get_tokenizer("nllb-clip-base-siglip")

class_options = ["бабочка", "butterfly", "kat"]
class_langs = ["rus_Cyrl", "eng_Latn", "afr_Latn"]

text_inputs = []
for i in range(len(class_options)):
    tokenizer.set_language(class_langs[i])
    text_inputs.append(tokenizer(class_options[i]))
text_inputs = torch.stack(text_inputs).squeeze(1).to("cuda")

image_path = "https://huggingface.co/spaces/jjourney1125/swin2sr/resolve/main/samples/butterfly.jpg"
image = Image.open(requests.get(image_path, stream=True).raw)

image_inputs = transform(image).unsqueeze(0).to("cuda")

with torch.inference_mode():
    logits_per_image, logits_per_text = model.get_logits(image_inputs, text_inputs)

print(logits_per_image.softmax(dim=-1))

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。

🔧 謝辞

私は、NLLB-CLIPのOpenCLIP互換バージョンをトレーニングするためのGoogle Cloudのコンピュートリソースを提供してくれたML Collectiveに感謝します。