Rugpt3medium Based On Gpt2

🚀 rugpt3medium基於GPT2模型

本項目是基於GPT2的ruGPT3 Medium模型。該模型架構設計、預訓練和評估的相關內容記錄在我們的預印本論文中，它為俄語提供了一系列預訓練的Transformer語言模型，具有重要的研究和應用價值。

🚀 快速開始

模型架構設計、預訓練和評估的詳細信息記錄在我們的預印本論文中：一系列用於俄語的預訓練Transformer語言模型。

該模型由SberDevices團隊使用Transformers庫進行預訓練，序列長度為1024，在800億個標記上進行了3個週期的訓練。之後，模型在上下文大小為2048個標記的情況下進行了微調。

在64個GPU上的總訓練時間約為16天。測試集上的最終困惑度為17.4。

👥 作者

• NLP核心研發團隊 Telegram頻道：
  • Dmitry Zmitrovich

📚 引用信息

如果您使用了本模型或相關研究，請引用以下論文：

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}