Taiyi CLIP Roberta Large 326M Chinese

🚀 太乙-CLIP-Roberta-large-326M-中文

太乙-CLIP-Roberta-large-326M-中文是首个开源的中文CLIP模型，其文本端采用在1.23亿图文对上进行预训练的RoBERTa-large，可用于特征提取等多模态任务。

🚀 快速开始

项目相关链接

• 主页：封神榜
• Github：Fengshenbang-LM

✨ 主要特性

• 首个开源中文CLIP：在Huggingface社区中率先开源，为中文多模态任务提供支持。
• 强大的预训练：在大规模图文数据集上进行预训练，获得强大的视觉 - 语言表征。
• 灵活的下游应用：可用于零样本图像分类、文本到图像检索等任务。

📦 模型分类

📚 详细文档

模型信息

我们遵循CLIP的实验设置，以获得强大的视觉 - 语言表征。在训练中文版的CLIP时，我们使用chinese-roberta-wwm-large作为语言的编码器，并将CLIP中的ViT - L - 14应用于视觉的编码器。为了快速且稳定地进行预训练，我们冻结了视觉编码器并且只微调语言编码器。

此外，我们将Noah - Wukong数据集(100M)和Zero数据集(23M)用作预训练的数据集。我们先在悟空数据集上预训练了10轮，然后接着在悟空数据集和zero数据集上预训练12轮， 在A100x16上训练了7天。据我们所知，我们的Taiyi - CLIP是目前Huggingface社区中首个的开源中文CLIP。

下游效果

零样本分类

零样本文本到图像检索

💻 使用示例

基础用法

from PIL import Image
import requests
import clip
import torch
from transformers import BertForSequenceClassification, BertConfig, BertTokenizer
from transformers import CLIPProcessor, CLIPModel
import numpy as np

query_texts = ["一只猫", "一只狗",'两只猫', '两只老虎','一只老虎']  # 这里是输入文本的，可以随意替换。
# 加载Taiyi 中文 text encoder
text_tokenizer = BertTokenizer.from_pretrained("IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese")
text_encoder = BertForSequenceClassification.from_pretrained("IDEA-CCNL/Taiyi-CLIP-Roberta-large-326M-Chinese").eval()
text = text_tokenizer(query_texts, return_tensors='pt', padding=True)['input_ids']

url = "http://images.cocodataset.org/val2017/000000039769.jpg"  # 这里可以换成任意图片的url
# 加载CLIP的image encoder
clip_model = CLIPModel.from_pretrained("openai/clip-vit-large-patch14")  
processor = CLIPProcessor.from_pretrained("openai/clip-vit-large-patch14")
image = processor(images=Image.open(requests.get(url, stream=True).raw), return_tensors="pt")

with torch.no_grad():
    image_features = clip_model.get_image_features(**image)
    text_features = text_encoder(text).logits
    # 归一化
    image_features = image_features / image_features.norm(dim=1, keepdim=True)
    text_features = text_features / text_features.norm(dim=1, keepdim=True)
    # 计算余弦相似度 logit_scale是尺度系数
    logit_scale = clip_model.logit_scale.exp()
    logits_per_image = logit_scale * image_features @ text_features.t()
    logits_per_text = logits_per_image.t()
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()
    print(np.around(probs, 3))

📄 引用

如果您在您的工作中使用了我们的模型，可以引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}

📄 许可证

本项目采用Apache - 2.0许可证。