Phogpt 4B Chat

🚀 PhoGPT：越南语生成式预训练模型

我们开源了一系列最先进的 40 亿参数越南语生成式模型，其中包括基础预训练单语模型 PhoGPT - 4B 及其聊天变体 PhoGPT - 4B - Chat。基础模型 PhoGPT - 4B 确切包含 37 亿参数，它在包含 1020 亿标记的越南语语料库上从头开始预训练，上下文长度为 8192，使用了 20480 种标记类型的词汇表。聊天变体 PhoGPT - 4B - Chat 是通过在包含 7 万个指令提示及其响应以及额外 29 万条对话的数据集上对 PhoGPT - 4B 进行微调得到的模型输出。我们证明了它与之前的开源模型相比具有更出色的性能。有关 PhoGPT 的总体架构和实验结果的更多详细信息，请参阅我们的技术报告：

@article{PhoGPT,
title     = {{PhoGPT: Generative Pre-training for Vietnamese}},
author    = {Dat Quoc Nguyen and Linh The Nguyen and Chi Tran and Dung Ngoc Nguyen and Dinh Phung and Hung Bui},
journal   = {arXiv preprint},
volume    = {arXiv:2311.02945},
year      = {2023}
}

请引用我们的技术报告，当使用 PhoGPT 来帮助产生已发表的研究成果或将其集成到其他软件中时。

如需更多信息或提出请求，请访问 PhoGPT 的主页！

📄 许可证

本项目采用 BSD 3 - 条款许可证。