Rubert Large

🚀 ruBert-large

ruBert-large是一個用於俄語的預訓練Transformer語言模型，由SberDevices團隊預訓練。該模型可用於掩碼填充任務，相關架構設計、預訓練和評估等內容記錄在預印本論文中。

🚀 快速開始

該模型的架構設計、預訓練和評估等內容記錄在我們的預印本論文中：A Family of Pretrained Transformer Language Models for Russian。

該模型由 SberDevices 團隊進行預訓練。

• 任務：掩碼填充
• 類型：編碼器
• 分詞器：BPE
• 詞典大小：120 138
• 參數數量：4.27億
• 訓練數據量：30GB

👨‍💻 作者

• NLP核心研發團隊 Telegram頻道：
  • Dmitry Zmitrovich

📑 引用我們

如果您使用了該模型，請引用以下文獻：

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}