Rugpt3small Based On Gpt2

🚀 rugpt3small基於GPT2模型

該項目基於GPT2構建了rugpt3small模型，為俄語自然語言處理提供了預訓練模型。它通過特定的訓練流程，在俄語語料上進行了充分訓練，具有良好的語言理解和生成能力。

🚀 快速開始

模型的架構設計、預訓練和評估在我們的預印本論文 A Family of Pretrained Transformer Language Models for Russian 中有詳細記錄。

該模型由 SberDevices 團隊使用 transformers 庫進行預訓練，序列長度為1024，在約800億個俄語語料標記上進行了約3個輪次的訓練。之後，模型在上下文大小為2048的情況下進行了微調。

整個訓練過程在32個GPU上進行，大約耗時一週。

✨ 主要特性

• 基於GPT2架構，針對俄語進行預訓練。
• 支持較長的序列長度，預訓練時為1024，微調時上下文大小可達2048。
• 經過大量俄語語料的訓練，具有較好的俄語語言處理能力。

📚 詳細文檔

作者信息

• NLP核心研發團隊 Telegram頻道：
  • Dmitry Zmitrovich

引用說明

如果您使用了該模型，請引用以下論文：

@misc{zmitrovich2023family,
      title={A Family of Pretrained Transformer Language Models for Russian}, 
      author={Dmitry Zmitrovich and Alexander Abramov and Andrey Kalmykov and Maria Tikhonova and Ekaterina Taktasheva and Danil Astafurov and Mark Baushenko and Artem Snegirev and Tatiana Shavrina and Sergey Markov and Vladislav Mikhailov and Alena Fenogenova},
      year={2023},
      eprint={2309.10931},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

模型信息