Chinese Clip Vit Huge Patch14

🚀 中文CLIP-ViT-Huge-Patch14

这是中文CLIP的超大版本，使用ViT-H/14作为图像编码器，RoBERTa-wwm-large作为文本编码器。中文CLIP是在约2亿个中文图像 - 文本对的大规模数据集上对CLIP的简单实现。

🚀 快速开始

官方API使用方法

我们提供了一个简单的代码片段，展示如何使用中文CLIP的API来计算图像和文本的嵌入以及相似度。

from PIL import Image
import requests
from transformers import ChineseCLIPProcessor, ChineseCLIPModel

model = ChineseCLIPModel.from_pretrained("OFA-Sys/chinese-clip-vit-huge-patch14")
processor = ChineseCLIPProcessor.from_pretrained("OFA-Sys/chinese-clip-vit-huge-patch14")

url = "https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg"
image = Image.open(requests.get(url, stream=True).raw)
# Squirtle, Bulbasaur, Charmander, Pikachu in English
texts = ["杰尼龟", "妙蛙种子", "小火龙", "皮卡丘"]

# compute image feature
inputs = processor(images=image, return_tensors="pt")
image_features = model.get_image_features(**inputs)
image_features = image_features / image_features.norm(p=2, dim=-1, keepdim=True)  # normalize

# compute text features
inputs = processor(text=texts, padding=True, return_tensors="pt")
text_features = model.get_text_features(**inputs)
text_features = text_features / text_features.norm(p=2, dim=-1, keepdim=True)  # normalize

# compute image-text similarity scores
inputs = processor(text=texts, images=image, return_tensors="pt", padding=True)
outputs = model(**inputs)
logits_per_image = outputs.logits_per_image  # this is the image-text similarity score
probs = logits_per_image.softmax(dim=1)  # probs: [[1.1419e-02, 1.0478e-02, 5.2018e-04, 9.7758e-01]]

如果你不满足于仅使用API，可以查看我们的GitHub仓库https://github.com/OFA-Sys/Chinese-CLIP 以获取更多关于训练和推理的详细信息。

✨ 主要特性

模型信息

这是中文CLIP的超大版本，使用ViT-H/14作为图像编码器，RoBERTa-wwm-large作为文本编码器。中文CLIP是在约2亿个中文图像 - 文本对的大规模数据集上对CLIP的简单实现。更多详细信息，请参考我们的技术报告https://arxiv.org/abs/2211.01335 和我们的官方GitHub仓库https://github.com/OFA-Sys/Chinese-CLIP （欢迎点亮小星星！🔥🔥）

实验结果

MUGE文本到图像检索

Flickr30K-CN检索

COCO-CN检索

零样本图像分类

📚 详细文档

引用信息

如果你觉得中文CLIP有帮助，请引用我们的论文。感谢支持！

@article{chinese-clip,
  title={Chinese CLIP: Contrastive Vision-Language Pretraining in Chinese},
  author={Yang, An and Pan, Junshu and Lin, Junyang and Men, Rui and Zhang, Yichang and Zhou, Jingren and Zhou, Chang},
  journal={arXiv preprint arXiv:2211.01335},
  year={2022}
}