Rut5 Large

🚀 ruT5-large

ruT5-large是一個用於俄語的預訓練Transformer語言模型。該模型的架構設計、預訓練和評估等相關內容記錄在預印本論文中。它由SberDevices團隊訓練，適用於文本生成任務。

🚀 快速開始

模型架構設計、預訓練和評估等內容記錄在我們的預印本論文中：A Family of Pretrained Transformer Language Models for Russian。

該模型由 SberDevices 團隊訓練。

• 任務：文本到文本生成
• 類型：編碼器 - 解碼器
• 分詞器：bpe
• 詞典大小：32 101
• 參數數量：7.37億
• 訓練數據量：300 GB

📚 詳細文檔

作者信息

• NLP核心研發團隊 Telegram頻道：
  • Dmitry Zmitrovich

引用信息

如果您使用了該模型，請按照以下格式引用我們的工作：

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型信息表格