Labse Ru Sts

🚀 用于GPU上语义文本相似度（STS）的基础Bert模型

这是一个高质量的BERT模型，用于计算俄语句子的嵌入向量。该模型基于 cointegrated/LaBSE-en-ru 构建，具有相似的上下文长度（512）、嵌入维度（768）和性能表现。

🚀 快速开始

✨ 主要特性

• 专为俄语句子嵌入计算设计，适用于语义文本相似度（STS）任务。
• 基于成熟的 cointegrated/LaBSE-en-ru 模型，具备相似的性能指标。

📦 安装指南

在使用模型前，你需要安装必要的库：

pip install transformers sentencepiece

💻 使用示例

基础用法

使用 transformers 库调用模型：

# pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sergeyzh/LaBSE-ru-sts")
model = AutoModel.from_pretrained("sergeyzh/LaBSE-ru-sts")
# model.cuda()  # uncomment it if you have a GPU

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('привет мир', model, tokenizer).shape)
# (768,)

高级用法

使用 sentence_transformers 库调用模型：

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('sergeyzh/LaBSE-ru-sts')

sentences = ["привет мир", "hello world", "здравствуй вселенная"]
embeddings = model.encode(sentences)
print(util.dot_score(embeddings, embeddings))

📚 详细文档

指标评估

模型在 encodechka 基准测试中的评估结果如下：

任务说明：

• 语义文本相似度（STS）
• 释义识别（PI）
• 自然语言推理（NLI）
• 情感分析（SA）
• 毒性识别（TI）

性能和规模

模型在 encodechka 基准测试中的性能和规模评估结果如下：

模型在 ruMTEB 基准测试中的评估结果如下：

📄 许可证

本项目采用 MIT 许可证。