Gte Small Zh

🚀 gte-small-zh

General Text Embeddings (GTE) 模型是由阿里巴巴达摩院基于 BERT 框架训练的文本嵌入模型。该模型在大规模相关文本对语料库上进行训练，覆盖了广泛的领域和场景，可应用于信息检索、语义文本相似度、文本重排序等多种文本嵌入下游任务。

🚀 快速开始

安装依赖

确保你已经安装了必要的库，如 torch 和 transformers 。你可以使用以下命令进行安装：

pip install torch transformers sentence-transformers

代码示例

import torch.nn.functional as F
from torch import Tensor
from transformers import AutoTokenizer, AutoModel

input_texts = [
    "中国的首都是哪里",
    "你喜欢去哪里旅游",
    "北京",
    "今天中午吃什么"
]

tokenizer = AutoTokenizer.from_pretrained("thenlper/gte-small-zh")
model = AutoModel.from_pretrained("thenlper/gte-small-zh")

# Tokenize the input texts
batch_dict = tokenizer(input_texts, max_length=512, padding=True, truncation=True, return_tensors='pt')

outputs = model(**batch_dict)
embeddings = outputs.last_hidden_state[:, 0]
 
# (Optionally) normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:1] @ embeddings[1:].T) * 100
print(scores.tolist())

使用 sentence-transformers

from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim

sentences = ['That is a happy person', 'That is a very happy person']

model = SentenceTransformer('thenlper/gte-small-zh')
embeddings = model.encode(sentences)
print(cos_sim(embeddings[0], embeddings[1]))

✨ 主要特性

• 多语言支持：提供中文和英文不同大小的模型。
• 广泛适用性：在大规模相关文本对语料库上训练，适用于多种下游任务。
• 多任务表现：在信息检索、语义文本相似度、文本重排序等任务中表现良好。

📦 模型列表

🔍 评估指标

我们在 MTEB（中文使用 CMTEB）基准测试中，将 GTE 模型与其他流行的文本嵌入模型进行了性能比较。更多详细的比较结果，请参考 MTEB 排行榜。

CMTEB 评估结果

⚠️ 注意事项

• 此模型仅适用于中文文本，任何长文本将被截断为最大 512 个标记。

📖 引用

如果您发现我们的论文或模型有帮助，请考虑按以下方式引用：

@article{li2023towards,
  title={Towards general text embeddings with multi-stage contrastive learning},
  author={Li, Zehan and Zhang, Xin and Zhang, Yanzhao and Long, Dingkun and Xie, Pengjun and Zhang, Meishan},
  journal={arXiv preprint arXiv:2308.03281},
  year={2023}
}

📄 许可证

本项目采用 MIT 许可证。