Rubert Base

🚀 ruBert-base

ruBert-base 是由 SberDevices 团队预训练的模型，可用于解决俄语的掩码填充任务。该模型的架构设计、预训练和评估等详细内容记录在预印本 A Family of Pretrained Transformer Language Models for Russian 中。

📚 详细文档

模型信息

作者信息

• NLP 核心研发团队 Telegram 频道：
  • Dmitry Zmitrovich

引用信息

如果您使用了该模型，请按照以下 BibTeX 格式引用：

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 许可证

本模型采用 Apache-2.0 许可证。