Rubert Large

🚀 ruBert-large

このモデルは、ロシア語用の事前学習済みTransformer言語モデルです。モデルのアーキテクチャ設計、事前学習、評価については、プレプリントで詳細に記載されています。

🚀 クイックスタート

モデルのアーキテクチャ設計、事前学習、評価については、当社のプレプリント A Family of Pretrained Transformer Language Models for Russian で文書化されています。

このモデルは SberDevices チームによって事前学習されています。

• タスク: mask filling
• タイプ: encoder
• トークナイザー: BPE
• 辞書サイズ: 120 138
• パラメータ数: 427 M
• 学習データ量: 30 GB

📚 ドキュメント

📄 著者

• NLPコアチームRnD Telegramチャンネル:
  • Dmitry Zmitrovich

📄 引用

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}