Ru En RoSBERTa

🚀 ru-en-RoSBERTa

ru-en-RoSBERTa 是一個用於俄語的通用文本嵌入模型。該模型基於 ruRoBERTa，並使用約 400 萬對俄語和英語的有監督、合成和無監督數據進行了微調。分詞器支持 RoBERTa 分詞器中的一些英語標記。

如需瞭解更多模型詳情，請參考我們的 文章。

🚀 快速開始

該模型可以直接使用前綴。建議使用 CLS 池化。前綴和池化的選擇取決於具體任務。

我們使用以下基本規則來選擇前綴：

• "search_query: " 和 "search_document: " 前綴用於答案或相關段落檢索。
• "classification: " 前綴用於對稱釋義相關任務（如 STS、NLI、Bitext Mining）。
• "clustering: " 前綴用於依賴主題特徵的任何任務（如主題分類、標題 - 正文檢索）。

為了更好地滿足您的需求，您可以使用相關的高質量俄語和英語數據集對模型進行微調。

💻 使用示例

基礎用法

以下是使用 Transformers 和 SentenceTransformers 庫進行文本編碼的示例。

Transformers

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def pool(hidden_state, mask, pooling_method="cls"):
    if pooling_method == "mean":
        s = torch.sum(hidden_state * mask.unsqueeze(-1).float(), dim=1)
        d = mask.sum(axis=1, keepdim=True).float()
        return s / d
    elif pooling_method == "cls":
        return hidden_state[:, 0]

inputs = [
    # 
    "classification: Он нам и <unk> не нужон ваш Интернет!",
    "clustering: В Ярославской области разрешили работу бань, но без посетителей",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",

    # 
    "classification: What a time to be alive!",
    "clustering: Ярославским баням разрешили работать без посетителей",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.",
]

tokenizer = AutoTokenizer.from_pretrained("ai-forever/ru-en-RoSBERTa")
model = AutoModel.from_pretrained("ai-forever/ru-en-RoSBERTa")

tokenized_inputs = tokenizer(inputs, max_length=512, padding=True, truncation=True, return_tensors="pt")

with torch.no_grad():
    outputs = model(**tokenized_inputs)
    
embeddings = pool(
    outputs.last_hidden_state, 
    tokenized_inputs["attention_mask"],
    pooling_method="cls" # or try "mean"
)

embeddings = F.normalize(embeddings, p=2, dim=1)

sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diag().tolist())
# [0.4796873927116394, 0.9409002065658569, 0.7761015892028809]

SentenceTransformers

from sentence_transformers import SentenceTransformer


inputs = [
    # 
    "classification: Он нам и <unk> не нужон ваш Интернет!",
    "clustering: В Ярославской области разрешили работу бань, но без посетителей",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",

    # 
    "classification: What a time to be alive!",
    "clustering: Ярославским баням разрешили работать без посетителей",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.",
]

# loads model with CLS pooling
model = SentenceTransformer("ai-forever/ru-en-RoSBERTa")

# embeddings are normalized by default
embeddings = model.encode(inputs, convert_to_tensor=True)

sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diag().tolist())
# [0.47968706488609314, 0.940900444984436, 0.7761018872261047]

高級用法

使用提示（sentence-transformers>=2.4.0）：

from sentence_transformers import SentenceTransformer


# loads model with CLS pooling
model = SentenceTransformer("ai-forever/ru-en-RoSBERTa")

classification = model.encode(["Он нам и <unk> не нужон ваш Интернет!", "What a time to be alive!"], prompt_name="classification")
print(classification[0] @ classification[1].T) # 0.47968706488609314

clustering = model.encode(["В Ярославской области разрешили работу бань, но без посетителей", "Ярославским баням разрешили работать без посетителей"], prompt_name="clustering")
print(clustering[0] @ clustering[1].T) # 0.940900444984436

query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
print(query_embedding @ document_embedding.T) # 0.7761018872261047

📚 詳細文檔

模型評估指標

📄 許可證

本項目採用 MIT 許可證。

📚 引用

如果您使用了該模型，請引用以下文獻：

@misc{snegirev2024russianfocusedembeddersexplorationrumteb,
      title={The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design}, 
      author={Artem Snegirev and Maria Tikhonova and Anna Maksimova and Alena Fenogenova and Alexander Abramov},
      year={2024},
      eprint={2408.12503},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2408.12503}, 
}

🔧 技術細節

模型架構

ru-en-RoSBERTa 基於 ruRoBERTa 架構，並使用約 400 萬對俄語和英語的有監督、合成和無監督數據進行了微調。

輸入限制

該模型設計用於處理俄語文本，英語處理質量未知。最大輸入文本長度限制為 512 個標記。

⚠️ 重要提示

• 該模型設計用於處理俄語文本，英語處理質量未知。
• 最大輸入文本長度限制為 512 個標記。

💡 使用建議

• 為了更好地滿足您的需求，您可以使用相關的高質量俄語和英語數據集對模型進行微調。
• 建議使用 CLS 池化，但也可以嘗試均值池化。
• 前綴的選擇取決於具體任務，請根據任務類型選擇合適的前綴。