Roberta Base Russian V0

🚀 类RoBERTa俄语语言模型

本项目是一个类RoBERTa的俄语语言模型，它基于TAIGA语料库的一部分进行训练，能够用于多种自然语言处理任务，如掩码填充等，为俄语相关的文本处理提供了强大的支持。

🚀 快速开始

示例代码

以下是使用该模型进行掩码填充任务的示例代码：

from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("Мозг — это машина <mask>, которая пытается снизить ошибку в прогнозе.")

# {
#     'sequence': '<s>Мозг — это машина города, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.012859329581260681,
#     'token': 2144,
#     'token_str': 'ĠгоÑĢода'
# },
# {
#     'sequence': '<s>Мозг — это машина человека, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.01185101643204689,
#     'token': 1470,
#     'token_str': 'ĠÑĩеловека'
# },
# {
#     'sequence': '<s>Мозг — это машина дома, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.009940559044480324,
#     'token': 1411,
#     'token_str': 'Ġдома'
# },
# {
#     'sequence': '<s>Мозг — это машина женщина, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007794599514454603,
#     'token': 2707,
#     'token_str': 'ĠженÑīина'
# },
# {
#     'sequence': '<s>Мозг — это машина женщины, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007725382689386606,
#     'token': 3546,
#     'token_str': 'ĠженÑīинÑĭ'
# }

🔧 技术细节

训练详情

• 模型大约训练了60k步。

💻 使用示例

基础用法

以下是使用该模型进行掩码填充任务的基础代码示例：

from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("Мозг — это машина <mask>, которая пытается снизить ошибку в прогнозе.")

示例展示

以下是一些使用该模型进行掩码填充的示例：

• 示例标题：brain_example
  • 文本："Мозг — это машина вывода, которая пытается ошибку в прогнозе."
• 示例标题：idiot_example
  • 文本："Никогда не спорьте с идиотами, опуститесь до их уровня, где они вас задавят своим опытом."