Chinese Clip Vit Base Patch16

🚀 Chinese-CLIP-ViT-Base-Patch16

このモデルは、画像エンコーダとしてViT - B/16、テキストエンコーダとしてRoBERTa - wwm - baseを使用した、Chinese CLIPのベースバージョンです。Chinese CLIPは、約2億の中国語の画像 - テキストペアの大規模データセットでCLIPを実装したものです。詳細については、技術レポートhttps://arxiv.org/abs/2211.01335 と公式GitHubリポジトリhttps://github.com/OFA-Sys/Chinese-CLIP を参照してください（スターをつけることをおすすめします🔥🔥）。

🚀 クイックスタート

概要

このセクションでは、Chinese - CLIP - ViT - Base - Patch16のAPIを使って画像とテキストの埋め込みと類似度を計算する方法を紹介します。

コード例

from PIL import Image
import requests
from transformers import ChineseCLIPProcessor, ChineseCLIPModel

model = ChineseCLIPModel.from_pretrained("OFA-Sys/chinese-clip-vit-base-patch16")
processor = ChineseCLIPProcessor.from_pretrained("OFA-Sys/chinese-clip-vit-base-patch16")

url = "https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
# Squirtle, Bulbasaur, Charmander, Pikachu in English
texts = ["杰尼龟", "妙蛙种子", "小火龙", "皮卡丘"]

# compute image feature
inputs = processor(images=image, return_tensors="pt")
image_features = model.get_image_features(**inputs)
image_features = image_features / image_features.norm(p=2, dim=-1, keepdim=True)  # normalize

# compute text features
inputs = processor(text=texts, padding=True, return_tensors="pt")
text_features = model.get_text_features(**inputs)
text_features = text_features / text_features.norm(p=2, dim=-1, keepdim=True)  # normalize

# compute image-text similarity scores
inputs = processor(text=texts, images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # probs: [[1.2686e-03, 5.4499e-02, 6.7968e-04, 9.4355e-01]]

追加情報

APIの使用に満足できない場合は、トレーニングと推論に関する詳細を公式GitHubリポジトリhttps://github.com/OFA-Sys/Chinese-CLIP で確認してください。

✨ 主な機能

モデル構成

• 画像エンコーダ：ViT - B/16
• テキストエンコーダ：RoBERTa - wwm - base

データセット

約2億の中国語の画像 - テキストペアの大規模データセットを使用して訓練されています。

📚 ドキュメント

実験結果

MUGE Text - to - Image Retrieval

Flickr30K - CN Retrieval

COCO - CN Retrieval

Zero - shot Image Classification

引用

このChinese CLIPが役に立った場合は、以下の論文を引用してください。ご支援いただきありがとうございます！

@article{chinese-clip,
  title={Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese},
  author={Yang, An and Pan, Junshu and Lin, Junyang and Men, Rui and Zhang, Yichang and Zhou, Jingren and Zhou, Chang},
  journal={arXiv preprint arXiv:2211.01335},
  year={2022}
}