Phogpt 4B

🚀 PhoGPT: ベトナム語向け生成型事前学習モデル

当社は、ベトナム語向けの最先端の40億パラメータの生成型モデルシリーズをオープンソース化しました。このシリーズには、事前学習された単言語ベースモデルであるPhoGPT-4Bと、そのチャットバリアントであるPhoGPT-4B-Chatが含まれています。ベースモデルのPhoGPT-4Bは、正確には37億パラメータを持ち、1020億トークンのベトナム語コーパスでゼロから事前学習されており、コンテキスト長は8192、トークンタイプの語彙数は20480です。チャットバリアントのPhoGPT-4B-Chatは、PhoGPT-4Bを7万件の指示プロンプトとその応答、および追加の29万件の会話からなるデータセットでファインチューニングしたモデル出力です。当モデルは、以前のオープンソースモデルと比較して優れた性能を示しています。PhoGPTの一般的なアーキテクチャと実験結果の詳細については、技術レポートをご覧ください。

@article{PhoGPT,
title     = {{PhoGPT: Generative Pre-training for Vietnamese}},
author    = {Dat Quoc Nguyen and Linh The Nguyen and Chi Tran and Dung Ngoc Nguyen and Dinh Phung and Hung Bui},
journal   = {arXiv preprint},
volume    = {arXiv:2311.02945},
year      = {2023}
}

引用について：PhoGPTを使用して公開結果を生成したり、他のソフトウェアに組み込んだりする場合は、必ず当社の技術レポートを引用してください。

詳細情報やリクエストについては、PhoGPTのホームページをご覧ください！

📄 ライセンス

このプロジェクトは、BSD 3条項ライセンスの下で公開されています。