Chinese Clip Vit Base Patch16

🚀 中文CLIP-ViT-Base-Patch16

這是中文CLIP的基礎版本，使用ViT-B/16作為圖像編碼器，RoBERTa-wwm-base作為文本編碼器。中文CLIP是在約2億個中文圖像-文本對的大規模數據集上對CLIP的簡單實現。更多詳細信息，請參考我們的技術報告https://arxiv.org/abs/2211.01335 和我們的官方GitHub倉庫https://github.com/OFA-Sys/Chinese-CLIP （歡迎點亮小星星！🔥🔥）

🚀 快速開始

介紹

這是中文CLIP的基礎版本，以ViT-B/16作為圖像編碼器，RoBERTa-wwm-base作為文本編碼器。中文CLIP是在約2億個中文圖像 - 文本對的大規模數據集上對CLIP的簡單實現。如需更多詳細信息，請參考我們的技術報告https://arxiv.org/abs/2211.01335和官方GitHub倉庫https://github.com/OFA-Sys/Chinese-CLIP（歡迎點亮小星星！🔥🔥）

使用官方API

我們提供了一個簡單的代碼片段，展示如何使用中文CLIP的API來計算圖像和文本的嵌入向量以及相似度。

from PIL import Image
import requests
from transformers import ChineseCLIPProcessor, ChineseCLIPModel

model = ChineseCLIPModel.from_pretrained("OFA-Sys/chinese-clip-vit-base-patch16")
processor = ChineseCLIPProcessor.from_pretrained("OFA-Sys/chinese-clip-vit-base-patch16")

url = "https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
# Squirtle, Bulbasaur, Charmander, Pikachu in English
texts = ["傑尼龜", "妙蛙種子", "小火龍", "皮卡丘"]

# compute image feature
inputs = processor(images=image, return_tensors="pt")
image_features = model.get_image_features(**inputs)
image_features = image_features / image_features.norm(p=2, dim=-1, keepdim=True)  # normalize

# compute text features
inputs = processor(text=texts, padding=True, return_tensors="pt")
text_features = model.get_text_features(**inputs)
text_features = text_features / text_features.norm(p=2, dim=-1, keepdim=True)  # normalize

# compute image-text similarity scores
inputs = processor(text=texts, images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # probs: [[1.2686e-03, 5.4499e-02, 6.7968e-04, 9.4355e-01]]

不過，如果您不滿足於僅使用API，可以查看我們的GitHub倉庫https://github.com/OFA-Sys/Chinese-CLIP，瞭解更多關於訓練和推理的詳細信息。

✨ 主要特性

模型結構

本模型為中文CLIP的基礎版本，圖像編碼器採用ViT-B/16，文本編碼器採用RoBERTa-wwm-base。

訓練數據

在約2億個中文圖像 - 文本對的大規模數據集上進行訓練。

評估結果

MUGE文本到圖像檢索

Flickr30K - CN檢索

COCO - CN檢索

零樣本圖像分類

📚 詳細文檔

引用

如果您覺得中文CLIP有幫助，請引用我們的論文。感謝您的支持！

@article{chinese-clip,
  title={Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese},
  author={Yang, An and Pan, Junshu and Lin, Junyang and Men, Rui and Zhang, Yichang and Zhou, Jingren and Zhou, Chang},
  journal={arXiv preprint arXiv:2211.01335},
  year={2022}
}