Rut5 Base

🚀 ruT5-base

ruT5-base是由SberDevices訓練的用於俄語的預訓練Transformer語言模型，適用於文本生成任務。

🚀 快速開始

該模型的架構設計、預訓練和評估已在我們的預印本中詳細記錄：A Family of Pretrained Transformer Language Models for Russian。

此模型由 SberDevices 訓練。

👥 作者

• NLP核心研發團隊 Telegram頻道：
  • Dmitry Zmitrovich

📑 引用我們

如果您使用了該模型，請引用以下文獻：

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}