Ru En RoSBERTa

🚀 ru-en-RoSBERTa

ru-en-RoSBERTa 是一个用于俄语的通用文本嵌入模型。该模型基于 ruRoBERTa，并使用约 400 万对俄语和英语的有监督、合成和无监督数据进行了微调。分词器支持 RoBERTa 分词器中的一些英语标记。

如需了解更多模型详情，请参考我们的 文章。

🚀 快速开始

该模型可以直接使用前缀。建议使用 CLS 池化。前缀和池化的选择取决于具体任务。

我们使用以下基本规则来选择前缀：

• "search_query: " 和 "search_document: " 前缀用于答案或相关段落检索。
• "classification: " 前缀用于对称释义相关任务（如 STS、NLI、Bitext Mining）。
• "clustering: " 前缀用于依赖主题特征的任何任务（如主题分类、标题 - 正文检索）。

为了更好地满足您的需求，您可以使用相关的高质量俄语和英语数据集对模型进行微调。

💻 使用示例

基础用法

以下是使用 Transformers 和 SentenceTransformers 库进行文本编码的示例。

Transformers

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel


def pool(hidden_state, mask, pooling_method="cls"):
    if pooling_method == "mean":
        s = torch.sum(hidden_state * mask.unsqueeze(-1).float(), dim=1)
        d = mask.sum(axis=1, keepdim=True).float()
        return s / d
    elif pooling_method == "cls":
        return hidden_state[:, 0]

inputs = [
    # 
    "classification: Он нам и <unk> не нужон ваш Интернет!",
    "clustering: В Ярославской области разрешили работу бань, но без посетителей",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",

    # 
    "classification: What a time to be alive!",
    "clustering: Ярославским баням разрешили работать без посетителей",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.",
]

tokenizer = AutoTokenizer.from_pretrained("ai-forever/ru-en-RoSBERTa")
model = AutoModel.from_pretrained("ai-forever/ru-en-RoSBERTa")

tokenized_inputs = tokenizer(inputs, max_length=512, padding=True, truncation=True, return_tensors="pt")

with torch.no_grad():
    outputs = model(**tokenized_inputs)
    
embeddings = pool(
    outputs.last_hidden_state, 
    tokenized_inputs["attention_mask"],
    pooling_method="cls" # or try "mean"
)

embeddings = F.normalize(embeddings, p=2, dim=1)

sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diag().tolist())
# [0.4796873927116394, 0.9409002065658569, 0.7761015892028809]

SentenceTransformers

from sentence_transformers import SentenceTransformer


inputs = [
    # 
    "classification: Он нам и <unk> не нужон ваш Интернет!",
    "clustering: В Ярославской области разрешили работу бань, но без посетителей",
    "search_query: Сколько программистов нужно, чтобы вкрутить лампочку?",

    # 
    "classification: What a time to be alive!",
    "clustering: Ярославским баням разрешили работать без посетителей",
    "search_document: Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.",
]

# loads model with CLS pooling
model = SentenceTransformer("ai-forever/ru-en-RoSBERTa")

# embeddings are normalized by default
embeddings = model.encode(inputs, convert_to_tensor=True)

sim_scores = embeddings[:3] @ embeddings[3:].T
print(sim_scores.diag().tolist())
# [0.47968706488609314, 0.940900444984436, 0.7761018872261047]

高级用法

使用提示（sentence-transformers>=2.4.0）：

from sentence_transformers import SentenceTransformer


# loads model with CLS pooling
model = SentenceTransformer("ai-forever/ru-en-RoSBERTa")

classification = model.encode(["Он нам и <unk> не нужон ваш Интернет!", "What a time to be alive!"], prompt_name="classification")
print(classification[0] @ classification[1].T) # 0.47968706488609314

clustering = model.encode(["В Ярославской области разрешили работу бань, но без посетителей", "Ярославским баням разрешили работать без посетителей"], prompt_name="clustering")
print(clustering[0] @ clustering[1].T) # 0.940900444984436

query_embedding = model.encode("Сколько программистов нужно, чтобы вкрутить лампочку?", prompt_name="search_query")
document_embedding = model.encode("Чтобы вкрутить лампочку, требуется три программиста: один напишет программу извлечения лампочки, другой — вкручивания лампочки, а третий проведет тестирование.", prompt_name="search_document")
print(query_embedding @ document_embedding.T) # 0.7761018872261047

📚 详细文档

模型评估指标

📄 许可证

本项目采用 MIT 许可证。

📚 引用

如果您使用了该模型，请引用以下文献：

@misc{snegirev2024russianfocusedembeddersexplorationrumteb,
      title={The Russian-focused embedders' exploration: ruMTEB benchmark and Russian embedding model design}, 
      author={Artem Snegirev and Maria Tikhonova and Anna Maksimova and Alena Fenogenova and Alexander Abramov},
      year={2024},
      eprint={2408.12503},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2408.12503}, 
}

🔧 技术细节

模型架构

ru-en-RoSBERTa 基于 ruRoBERTa 架构，并使用约 400 万对俄语和英语的有监督、合成和无监督数据进行了微调。

输入限制

该模型设计用于处理俄语文本，英语处理质量未知。最大输入文本长度限制为 512 个标记。

⚠️ 重要提示

• 该模型设计用于处理俄语文本，英语处理质量未知。
• 最大输入文本长度限制为 512 个标记。

💡 使用建议

• 为了更好地满足您的需求，您可以使用相关的高质量俄语和英语数据集对模型进行微调。
• 建议使用 CLS 池化，但也可以尝试均值池化。
• 前缀的选择取决于具体任务，请根据任务类型选择合适的前缀。