Gpt2 Spanish Medium

🚀 GPT2-西班牙语

GPT2-西班牙语是一个语言生成模型，它基于11.5GB的西班牙语文本从头开始训练，并使用了专门为此训练的字节对编码（BPE）分词器。其使用的参数与原始OpenAI GPT2模型的中等版本相同。

🚀 快速开始

本项目介绍了GPT2-西班牙语模型，它在西班牙语自然语言生成领域有着重要应用。通过下面的章节，你可以了解该模型的详细信息。

✨ 主要特性

• 基于11.5GB西班牙语文本从头训练，能更好地适应西班牙语语境。
• 使用专门训练的字节对编码（BPE）分词器，解决了英文模型分词器在处理西班牙语语义关系时的局限。
• 除了OpenAI GPT - 2模型中的文本结束特殊标记，还包含额外标记，可用于未来训练的提示。

📚 详细文档

语料库

该模型使用了一个包含11.5GB文本的语料库进行训练，其中包括3.5GB的维基百科文章和8GB的书籍（涵盖叙事、短篇小说、戏剧、诗歌、散文和科普类）。

分词器

文本使用字节级的字节对编码（BPE）版本（针对Unicode字符）进行分词，词汇量大小为50257。输入为1024个连续标记的序列。

由于英语模型的分词器在捕捉西班牙语的语义关系方面存在局限性（这是由于两种语言在形态句法上的差异），因此该分词器是使用西班牙语语料库从头开始训练的。

除了OpenAI GPT - 2模型中用于文本结束的特殊标记 "<|endoftext|>" 之外，还加入了标记 "<|talk|>"、"<|ax1|>"、"<|ax2|>" (..)"<|ax9|>"，以便在未来训练中用作提示。

训练

该模型和分词器是在Google Colab服务器上，使用Hugging Face库，借助具有16GB内存的Nvidia Tesla V100 GPU进行训练的。

作者

该模型由Alejandro Oñate Latorre（西班牙）和Jorge Ortiz Fuentes（智利）训练，他们是 -Deep ESP- 的成员，这是一个专注于西班牙语自然语言处理的开源社区（https://t.me/joinchat/VoEp1bPrDYEexc6h）。

感谢社区中为初始测试提供资金支持的成员。

⚠️ 重要提示

⚠️ 重要提示

该模型会根据训练语料库中学到的模式生成文本。由于这些数据未经过滤，因此模型可能会生成冒犯性或歧视性内容。

📄 许可证

本项目采用MIT许可证。