Vietnamese Gpt2 Medium

🚀 越南语 gpt2-medium 模型

这是一个针对越南语的预训练 gpt2-medium 模型，采用因果语言建模（CLM）目标进行训练。它能有效处理越南语相关的文本生成任务，为越南语的自然语言处理提供了强大的支持。

🚀 快速开始

此模型基于GPT - 2架构，在大量越南语数据上进行了预训练。可以直接使用它进行文本生成等自然语言处理任务。

✨ 主要特性

• 预训练优势：GPT - 2最初是在大规模英语数据上以自监督方式进行预训练的模型，本越南语版本继承了其强大的语言理解和生成能力。
• 参数规模适中：这是GPT - 2的中等版本，拥有3.8亿个参数，在性能和资源消耗之间取得了较好的平衡。
• 多数据集训练：使用多个越南语数据集组合进行预训练，涵盖新闻、百科等多种文本类型，增强了模型的泛化能力。

📚 详细文档

模型描述

GPT - 2最初是一个在大规模英语语料库上以自监督方式进行预训练的Transformer模型。它仅在原始文本上进行训练，无需人工标注（因此可以利用大量公开可用的数据），通过自动流程从这些文本中生成输入和标签。更确切地说，它被训练来预测句子中的下一个单词。

本模型是GPT - 2的中等版本，拥有3.8亿个参数。你还可以从以下链接找到其他预训练版本：[gpt2 - base](https://huggingface.co/chronopt - research/vietnamese - gpt2 - base)，gpt2 - large

预训练使用的数据集

这是多个用于预训练因果语言模型（如GPT、GPT2等）的越南语数据集的组合。

数据集包括：

• vietgpt/covid_19_news_vi
• [hieunguyen1053/binhvq - news - corpus](https://huggingface.co/datasets/hieunguyen1053/binhvq - news - corpus)
• oscar (unshuffled_deduplicated_vi)
• vietgpt/wikipedia_vi

你可以在[duongttr/vi - dataset - for - pretrain](https://huggingface.co/datasets/duongttr/vi - dataset - for - pretrain)找到组合版本。

超参数与结果

我们在来自TRC Program的TPU - VM - 3.8上对模型进行了约100k步的训练，使用lr = 1e - 4，bs = 1920，optimizer = adamw。训练耗时约2.5天。

联系我们

如有任何问题，欢迎通过以下方式联系我们：email

📄 许可证

本模型采用Apache - 2.0许可证。