Erlangshen SimCSE 110M Chinese

🚀 二郎神SimCSE-110M中文模型

二郎神SimCSE-110M中文模型基于simcse无监督版本，使用搜集整理的中文NLI数据进行有监督任务训练，在中文句子对任务上表现出色，能有效提取句子向量进行相似度判断。

🚀 快速开始

模型主页与代码仓库

• 主页面：封神榜
• GitHub仓库：Fengshenbang-LM

✨ 主要特性

本模型基于bert-base模型，利用大量无监督数据和有监督数据进行对比学习，无需微调即可利用模型输出的[CLS]进行相似度判断，直接具备提取句子向量的能力。

📦 安装指南

本模型可使用transformers库进行加载，以下是加载模型和分词器的代码：

from transformers import AutoTokenizer,AutoModelForMaskedLM
model =AutoModelForMaskedLM.from_pretrained('IDEA-CCNL/Erlangshen-SimCSE-110M-Chinese')
tokenizer = AutoTokenizer.from_pretrained('IDEA-CCNL/Erlangshen-SimCSE-110M-Chinese')

💻 使用示例

基础用法

以下是一个使用本模型计算两个句子相似度的示例代码：

import torch
from sklearn.metrics.pairwise import cosine_similarity

texta = '今天天气真不错，我们去散步吧！'
textb = '今天天气真糟糕，还是在宅家里写bug吧！'
inputs_a = tokenizer(texta,return_tensors="pt")
inputs_b = tokenizer(textb,return_tensors="pt")

outputs_a = model(**inputs_a ,output_hidden_states=True)
texta_embedding = outputs_a.hidden_states[-1][:,0,:].squeeze()

outputs_b = model(**inputs_b ,output_hidden_states=True)
textb_embedding = outputs_b.hidden_states[-1][:,0,:].squeeze()

# if you use cuda, the text_embedding should be textb_embedding.cpu().numpy()
# 或者用torch.no_grad():
with torch.no_grad():
    silimarity_soce = cosine_similarity(texta_embedding.reshape(1,-1),textb_embedding .reshape(1,-1))[0][0]
print(silimarity_soce)

📚 详细文档

模型分类

模型信息

本模型在一些任务上的测评效果如下：

备注：我们的模型是直接用[cls]，无whitening；其余模型是last avg + whitening

📄 许可证

本模型采用Apache-2.0许可证。

🔗 引用

如果您在您的工作中使用了我们的模型，可以引用我们的论文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我们的网站：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}