Clip Japanese Base

🚀 clip-japanese-base

このモデルは、LY Corporationによって開発された日本語版のCLIP (Contrastive Language-Image Pre-training)モデルです。このモデルは、約10億個のウェブ収集画像テキストペアで学習されており、ゼロショット画像分類、テキストから画像への検索、画像からテキストへの検索など、様々な視覚タスクに適用可能です。

🚀 クイックスタート

📦 インストール

必要なパッケージをインストールします。

pip install pillow requests sentencepiece transformers torch timm

💻 使用例

基本的な使用法

import io
import requests
from PIL import Image
import torch
from transformers import AutoImageProcessor, AutoModel, AutoTokenizer

HF_MODEL_PATH = 'line-corporation/clip-japanese-base'
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(HF_MODEL_PATH, trust_remote_code=True)
processor = AutoImageProcessor.from_pretrained(HF_MODEL_PATH, trust_remote_code=True)
model = AutoModel.from_pretrained(HF_MODEL_PATH, trust_remote_code=True).to(device)

image = Image.open(io.BytesIO(requests.get('https://images.pexels.com/photos/2253275/pexels-photo-2253275.jpeg?auto=compress&cs=tinysrgb&dpr=3&h=750&w=1260').content))
image = processor(image, return_tensors="pt").to(device)
text = tokenizer(["犬", "猫", "象"]).to(device)

with torch.no_grad():
    image_features = model.get_image_features(**image)
    text_features = model.get_text_features(**text)
    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)
# [[1., 0., 0.]]

📚 ドキュメント

🔧 技術詳細

モデルアーキテクチャ

このモデルは、画像エンコーダとしてEva02-B Transformerアーキテクチャを、テキストエンコーダとして12層のBERTを使用しています。テキストエンコーダは、rinna/japanese-clip-vit-b-16から初期化されています。

評価

データセット

• STAIR Captions (MSCOCOのv2014検証セット)を、画像からテキストへの検索(i2t)とテキストから画像への検索(t2i)に使用します。性能は、i2tとt2i検索の平均リコールであるR@1を使用して測定します。
• Recruit Datasetsを画像分類に使用します。
• ImageNet-1Kを画像分類に使用します。すべてのクラス名は日本語に翻訳されています。クラス名とテンプレートは、ja-imagenet-1k-classnames.txtとja-imagenet-1k-templates.txtに記載されています。

結果

📄 ライセンス

The Apache License, Version 2.0

引用

@misc{clip-japanese-base,
    title = {CLIP Japanese Base},
    author={Shuhei Yokoo and Shuntaro Okada and Peifei Zhu and Shuhei Nishimura and Naoki Takayama}
    url = {https://huggingface.co/line-corporation/clip-japanese-base},
}