Roberta Base Russian V0

🚀 類RoBERTa俄語語言模型

本項目是一個類RoBERTa的俄語語言模型，它基於TAIGA語料庫的一部分進行訓練，能夠用於多種自然語言處理任務，如掩碼填充等，為俄語相關的文本處理提供了強大的支持。

🚀 快速開始

示例代碼

以下是使用該模型進行掩碼填充任務的示例代碼：

from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("Мозг — это машина <mask>, которая пытается снизить ошибку в прогнозе.")

# {
#     'sequence': '<s>Мозг — это машина города, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.012859329581260681,
#     'token': 2144,
#     'token_str': 'ĠгоÑĢода'
# },
# {
#     'sequence': '<s>Мозг — это машина человека, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.01185101643204689,
#     'token': 1470,
#     'token_str': 'ĠÑĩеловека'
# },
# {
#     'sequence': '<s>Мозг — это машина дома, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.009940559044480324,
#     'token': 1411,
#     'token_str': 'Ġдома'
# },
# {
#     'sequence': '<s>Мозг — это машина женщина, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007794599514454603,
#     'token': 2707,
#     'token_str': 'ĠженÑīина'
# },
# {
#     'sequence': '<s>Мозг — это машина женщины, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007725382689386606,
#     'token': 3546,
#     'token_str': 'ĠженÑīинÑĭ'
# }

🔧 技術細節

訓練詳情

• 模型大約訓練了60k步。

💻 使用示例

基礎用法

以下是使用該模型進行掩碼填充任務的基礎代碼示例：

from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("Мозг — это машина <mask>, которая пытается снизить ошибку в прогнозе.")

示例展示

以下是一些使用該模型進行掩碼填充的示例：

• 示例標題：brain_example
  • 文本："Мозг — это машина вывода, которая пытается ошибку в прогнозе."
• 示例標題：idiot_example
  • 文本："Никогда не спорьте с идиотами, опуститесь до их уровня, где они вас задавят своим опытом."