Nllb Siglip Mrl Large

🚀 NLLB-SigLIP-MRLモデル

NLLB-SigLIP-MRLは、多言語の画像とテキストの検索に特化したモデルです。NLLBモデルのテキストエンコーダとSigLIPモデルの画像エンコーダを組み合わせることで、Flores-200の201言語に対応しています。

🚀 クイックスタート

NLLB-SigLIP-MRLモデルは、多言語の画像とテキストの検索に使用できます。以下のセクションでは、このモデルの使用方法を説明します。

✨ 主な機能

• 多言語対応：Flores-200の201言語に対応しています。
• 可変サイズの埋め込み：[32, 64, 128, 256, 512]のサイズの埋め込みを生成できます。
• 高性能：XTD10とCrossmodal-3600の両方で、多言語画像とテキストの検索において新しい最先端技術を達成しています。

📦 インストール

このモデルを使用するには、以下のライブラリをインストールする必要があります。

Variable resolutionsの場合

!pip install -U transformers open_clip_torch

OpenCLIPの場合

!pip install -U open_clip_torch

💻 使用例

基本的な使用法

Variable resolutions

# 必要なライブラリのインポート
from transformers import AutoModel
from PIL import Image
import requests
import torch

# モデルの読み込み
model = AutoModel.from_pretrained("visheratin/nllb-siglip-mrl-large", device="cpu", trust_remote_code=True)

# 画像の読み込み
image_path = "https://huggingface.co/spaces/jjourney1125/swin2sr/resolve/main/samples/butterfly.jpg"
image = Image.open(requests.get(image_path, stream=True).raw)

# クラスオプションと言語の設定
class_options = ["бабочка", "butterfly", "kat"]
class_langs = ["rus_Cyrl", "eng_Latn", "afr_Latn"]

# ロジットの取得
image_logits, text_logits = model.get_logits(
    images=[image],
    texts=class_options,
    langs=class_langs,
    resolution=512 # 解像度をここで設定するか、`None`を設定して元の解像度を使用する
)

# ソフトマックス関数を適用して確率を表示
print(torch.softmax(image_logits, dim=1))

OpenCLIP

# 必要なライブラリのインポート
from open_clip import create_model_from_pretrained, get_tokenizer
from PIL import Image
import requests
import torch

# モデルとトークナイザーの読み込み
model, transform = create_model_from_pretrained("nllb-clip-large-siglip", "mrl", device="cuda")
tokenizer = get_tokenizer("nllb-clip-large-siglip")

# クラスオプションと言語の設定
class_options = ["бабочка", "butterfly", "kat"]
class_langs = ["rus_Cyrl", "eng_Latn", "afr_Latn"]

# テキスト入力の準備
text_inputs = []
for i in range(len(class_options)):
    tokenizer.set_language(class_langs[i])
    text_inputs.append(tokenizer(class_options[i]))
text_inputs = torch.stack(text_inputs).squeeze(1).to("cuda")

# 画像の読み込み
image_path = "https://huggingface.co/spaces/jjourney1125/swin2sr/resolve/main/samples/butterfly.jpg"
image = Image.open(requests.get(image_path, stream=True).raw)

# 画像入力の準備
image_inputs = transform(image).unsqueeze(0).to("cuda")

# 推論モードでロジットを取得
with torch.inference_mode():
    logits_per_image, logits_per_text = model.get_logits(image_inputs, text_inputs)

# ソフトマックス関数を適用して確率を表示
print(logits_per_image.softmax(dim=-1))

📚 ドキュメント

モデル概要

NLLB-SigLIP-MRLは、NLLBモデルのテキストエンコーダと、SigLIPモデルの画像エンコーダを組み合わせたモデルです。これにより、Flores-200の201言語にモデルの機能を拡張することができます。このバージョンのモデルは、Matryoshka Representation learningの変形を使用して学習され、元の1152に加えて、[32, 64, 128, 256, 512]のサイズの埋め込みを生成できるようになっています。以下のベンチマークに基づくと、サイズ256と512の埋め込みは、完全な埋め込み品質の90%以上を保持しています。

完全な埋め込みモデルは、XTD10とCrossmodal-3600の両方で、多言語画像とテキストの検索において新しい最先端技術を達成しています。

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。

謝辞

私は、Google Cloudのコンピューティングリソースを提供してくれたML Collectiveに感謝します。