Phogpt 4B

🚀 PhoGPT：越南語生成式預訓練模型

我們開源了一系列先進的40億參數越南語生成式模型，其中包括基礎預訓練單語模型PhoGPT - 4B及其聊天變體PhoGPT - 4B - Chat。基礎模型PhoGPT - 4B確切包含37億參數，它在一個包含1020億越南語標記的語料庫上從頭開始預訓練，上下文長度為8192，使用的詞彙表包含20480種標記類型。聊天變體PhoGPT - 4B - Chat是在包含7萬個指令提示及其回覆，以及額外29萬個對話的數據集上對PhoGPT - 4B進行微調後得到的模型輸出。我們證明了它與之前的開源模型相比具有更出色的性能。有關PhoGPT的總體架構和實驗結果的更多詳細信息，請參閱我們的技術報告：

@article{PhoGPT,
title     = {{PhoGPT: Generative Pre-training for Vietnamese}},
author    = {Dat Quoc Nguyen and Linh The Nguyen and Chi Tran and Dung Ngoc Nguyen and Dinh Phung and Hung Bui},
journal   = {arXiv preprint},
volume    = {arXiv:2311.02945},
year      = {2023}
}

請在使用PhoGPT幫助產生已發表的研究成果或將其集成到其他軟件中時引用我們的技術報告。

如需更多信息或有相關需求，請訪問PhoGPT主頁！

📄 許可證

本項目採用BSD 3條款許可證。