Rugpt3large Based On Gpt2

🚀 rugpt3large基於GPT - 2模型

該項目基於GPT - 2架構，為俄語提供了預訓練的Transformer語言模型。通過特定的訓練和微調，模型在俄語相關任務上展現出了良好的性能，其訓練過程和評估結果記錄在預印本論文中。

🚀 快速開始

模型架構設計、預訓練和評估的相關內容記錄在我們的預印本論文中：俄語預訓練Transformer語言模型家族。

該模型由SberDevices團隊使用transformers庫進行訓練。訓練時，先以1024的序列長度在800億個標記上訓練了3個週期。之後，以2048的序列長度進行了1個週期的微調。

在128個GPU上以1024的上下文長度訓練的總時長約為14天，在16個GPU上以2048的上下文長度訓練則花費了幾天時間。測試集上的最終困惑度為13.6。

📚 詳細文檔

作者信息

• NLP核心研發團隊 Telegram頻道：
  • Dmitry Zmitrovich

引用信息

如果您使用了該模型，請按照以下格式引用我們的工作：

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

📄 信息表格