Phogpt 4B Chat

🚀 PhoGPT: ベトナム語向け生成型事前学習モデル

我々は、ベトナム語向けの最先端の40億パラメータの生成型モデルシリーズをオープンソースで公開しています。これには、事前学習された単言語ベースモデルのPhoGPT-4Bと、そのチャットバリアントであるPhoGPT-4B-Chatが含まれます。ベースモデルのPhoGPT-4Bは、正確には37億のパラメータを持ち、1020億トークンのベトナム語コーパスでゼロから事前学習されており、コンテキスト長は8192、語彙数は20480トークンタイプです。チャットバリアントのPhoGPT-4B-Chatは、7万件の命令プロンプトとその応答、さらに29万件の会話からなるデータセットでPhoGPT-4Bをファインチューニングすることで得られたモデル出力です。我々は、以前のオープンソースモデルと比較して、その優れた性能を実証しています。PhoGPTの一般的なアーキテクチャと実験結果の詳細については、我々の技術レポートを参照してください。

@article{PhoGPT,
title     = {{PhoGPT: Generative Pre-training for Vietnamese}},
author    = {Dat Quoc Nguyen and Linh The Nguyen and Chi Tran and Dung Ngoc Nguyen and Dinh Phung and Hung Bui},
journal   = {arXiv preprint},
volume    = {arXiv:2311.02945},
year      = {2023}
}

引用してください：PhoGPTを使用して公開された結果を生成したり、他のソフトウェアに組み込んだりする場合は、我々の技術レポートを引用してください。

詳細な情報やリクエストについては、PhoGPTのホームページをご覧ください！

📄 ライセンス

このプロジェクトはBSD 3条項ライセンスの下でライセンスされています。