Clip Vit Large Patch14 Ko

🚀 clip-vit-large-patch14-ko

Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillationで学習された韓国語CLIPモデルです。

🚀 クイックスタート

このモデルは、Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillationを用いて学習された韓国語CLIPモデルです。学習コードはhttps://github.com/Bing-su/KoCLIP_training_codeにあり、使用されたデータはAIHUBにあるすべての韓国語-英語並列データです。

✨ 主な機能

• ウィジェットでの画像表示と候補ラベルの指定が可能です。
  • ソース画像: cat-dog-music.png
  • 候補ラベル: 기타 치는 고양이, 피아노 치는 강아지
  • サンプルタイトル: Guitar, cat and dog

📦 インストール

このモデルはHugging Faceのtransformersライブラリを使用しています。必要な依存関係をインストールすることで使用できます。

💻 使用例

基本的な使用法

import requests
import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor

repo = "Bingsu/clip-vit-large-patch14-ko"
model = AutoModel.from_pretrained(repo)
processor = AutoProcessor.from_pretrained(repo)

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(text=["고양이 두 마리", "개 두 마리"], images=image, return_tensors="pt", padding=True)
with torch.inference_mode():
    outputs = model(**inputs)
logits_per_image = outputs.logits_per_image
probs = logits_per_image.softmax(dim=1)

>>> probs
tensor([[0.9974, 0.0026]])

高度な使用法

from transformers import pipeline

repo = "Bingsu/clip-vit-large-patch14-ko"
pipe = pipeline("zero-shot-image-classification", model=repo)

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
result = pipe(images=url, candidate_labels=["고양이 한 마리", "고양이 두 마리", "분홍색 소파에 드러누운 고양이 친구들"], hypothesis_template="{}")

>>> result
[{'score': 0.9907576441764832, 'label': '분홍색 소파에 드러누운 고양이 친구들'},
 {'score': 0.009206341579556465, 'label': '고양이 두 마리'},
 {'score': 3.606083555496298e-05, 'label': '고양이 한 마리'}]

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。