Labse Ru Sts

🚀 用於GPU上語義文本相似度（STS）的基礎Bert模型

這是一個高質量的BERT模型，用於計算俄語句子的嵌入向量。該模型基於 cointegrated/LaBSE-en-ru 構建，具有相似的上下文長度（512）、嵌入維度（768）和性能表現。

🚀 快速開始

✨ 主要特性

• 專為俄語句子嵌入計算設計，適用於語義文本相似度（STS）任務。
• 基於成熟的 cointegrated/LaBSE-en-ru 模型，具備相似的性能指標。

📦 安裝指南

在使用模型前，你需要安裝必要的庫：

pip install transformers sentencepiece

💻 使用示例

基礎用法

使用 transformers 庫調用模型：

# pip install transformers sentencepiece
import torch
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("sergeyzh/LaBSE-ru-sts")
model = AutoModel.from_pretrained("sergeyzh/LaBSE-ru-sts")
# model.cuda()  # uncomment it if you have a GPU

def embed_bert_cls(text, model, tokenizer):
    t = tokenizer(text, padding=True, truncation=True, return_tensors='pt')
    with torch.no_grad():
        model_output = model(**{k: v.to(model.device) for k, v in t.items()})
    embeddings = model_output.last_hidden_state[:, 0, :]
    embeddings = torch.nn.functional.normalize(embeddings)
    return embeddings[0].cpu().numpy()

print(embed_bert_cls('привет мир', model, tokenizer).shape)
# (768,)

高級用法

使用 sentence_transformers 庫調用模型：

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer('sergeyzh/LaBSE-ru-sts')

sentences = ["привет мир", "hello world", "здравствуй вселенная"]
embeddings = model.encode(sentences)
print(util.dot_score(embeddings, embeddings))

📚 詳細文檔

指標評估

模型在 encodechka 基準測試中的評估結果如下：

任務說明：

• 語義文本相似度（STS）
• 釋義識別（PI）
• 自然語言推理（NLI）
• 情感分析（SA）
• 毒性識別（TI）

性能和規模

模型在 encodechka 基準測試中的性能和規模評估結果如下：

模型在 ruMTEB 基準測試中的評估結果如下：

📄 許可證

本項目採用 MIT 許可證。