Roberta Base Russian V0

🚀 RoBERTa類似のロシア語言モデル

このプロジェクトはRoBERTaに類似したロシア語言モデルです。TAIGAコーパスの一部を使って訓練され、マスク埋めなどの様々な自然言語処理タスクに使用でき、ロシア語関連のテキスト処理に強力なサポートを提供します。

🚀 クイックスタート

サンプルコード

以下は、このモデルを使ってマスク埋めタスクを行うサンプルコードです。

from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("Мозг — это машина <mask>, которая пытается снизить ошибку в прогнозе.")

# {
#     'sequence': '<s>Мозг — это машина города, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.012859329581260681,
#     'token': 2144,
#     'token_str': 'ĠгоÑĢода'
# },
# {
#     'sequence': '<s>Мозг — это машина человека, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.01185101643204689,
#     'token': 1470,
#     'token_str': 'ĠÑĩеловека'
# },
# {
#     'sequence': '<s>Мозг — это машина дома, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.009940559044480324,
#     'token': 1411,
#     'token_str': 'Ġдома'
# },
# {
#     'sequence': '<s>Мозг — это машина женщина, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007794599514454603,
#     'token': 2707,
#     'token_str': 'ĠженÑīина'
# },
# {
#     'sequence': '<s>Мозг — это машина женщины, которая пытается снизить ошибку в прогнозе.</s>',
#     'score': 0.007725382689386606,
#     'token': 3546,
#     'token_str': 'ĠженÑīинÑĭ'
# }

🔧 技術詳細

訓練の詳細

• モデルは約60kステップで訓練されました。

💻 使用例

基本的な使用法

以下は、このモデルを使ってマスク埋めタスクを行う基本的なコード例です。

from transformers import pipeline
from transformers import RobertaTokenizerFast

tokenizer = RobertaTokenizerFast.from_pretrained('blinoff/roberta-base-russian-v0', max_len=512)

fill_mask = pipeline(
    "fill-mask",
    model="blinoff/roberta-base-russian-v0",
    tokenizer=tokenizer
)

fill_mask("Мозг — это машина <mask>, которая пытается снизить ошибку в прогнозе.")

サンプルの表示

以下は、このモデルを使ったマスク埋めのサンプルです。

• サンプルタイトル：brain_example
  • テキスト："Мозг — это машина вывода, которая пытается ошибку в прогнозе."
• サンプルタイトル：idiot_example
  • テキスト："Никогда не спорьте с идиотами, опуститесь до их уровня, где они вас задавят своим опытом."