Gpt2 Small Spanish

🚀 GPT2-small-spanish：用于西班牙语文本生成的语言模型（及更多NLP任务...）

GPT2-small-spanish是一款基于GPT - 2小模型的先进西班牙语语言模型。它能够有效助力西班牙语的文本生成及其他自然语言处理任务，为西班牙语的相关应用提供强大的语言支持。

🚀 快速开始

GPT2-small-spanish是基于GPT - 2小模型的先进西班牙语语言模型。它使用迁移学习和微调技术在西班牙语维基百科上进行训练。训练过程使用了四块配备11GB DDR5的NVIDIA GTX 1080 - Ti GPU，耗时约70小时，使用了约3GB（已处理）的训练数据。

该模型从英语预训练的GPT - 2小模型进行微调，借助了Hugging Face库（Transformers和Tokenizers），并集成到fastai v2深度学习框架中，运用了fastai v2的所有微调技术。

训练完全基于Pierre Guillou开发的GPorTuguese - 2模型。训练细节可参考文章：“比从头开始训练更快 — 使用Hugging Face和fastai v2对任何语言的英语GPT - 2进行微调（葡萄牙语实际案例）”。

该初步版本现已在Hugging Face上可用。

✨ 主要特性

• 基于先进的GPT - 2小模型架构，为西班牙语处理提供有力支持。
• 采用迁移学习和微调技术，在西班牙语维基百科上训练，能更好地适应西班牙语的语言特点。

🔧 技术细节

训练数据

训练数据来源于西班牙语维基百科，约使用了3GB已处理的数据。

训练环境

使用四块配备11GB DDR5的NVIDIA GTX 1080 - Ti GPU进行训练，耗时约70小时。

训练技术

从英语预训练的GPT - 2小模型进行微调，借助Hugging Face库（Transformers和Tokenizers），并集成到fastai v2深度学习框架中，运用了fastai v2的所有微调技术。训练完全基于Pierre Guillou开发的GPorTuguese - 2模型。

⚠️ 局限性和偏差

（摘自原始GPorTuguese - 2模型）此模型使用的训练数据来自西班牙语维基百科。我们知道它包含大量来自互联网的未过滤内容，远非中立。正如OpenAI团队在其模型卡片中指出的：

由于像GPT - 2这样的大规模语言模型无法区分事实与虚构，我们不支持要求生成文本为真实内容的用例。此外，像GPT - 2这样的语言模型反映了其训练系统中固有的偏差，因此我们不建议将它们部署到与人类交互的系统中，除非部署者首先对与预期用例相关的偏差进行研究。我们发现774M和1.5B版本在性别、种族和宗教偏差探测方面没有统计学上的显著差异，这意味着在处理对人类属性偏差敏感的用例时，所有版本的GPT - 2都应采取类似程度的谨慎态度。

📄 许可证

本项目采用Apache - 2.0许可证。

👥 作者

该模型由Josué Obregon和Berny Carrera训练和评估，他们是Datificate的创始人，这是一个用西班牙语学习机器学习的平台。

训练得益于IAI Lab（庆熙大学）的多个GPU（NVIDIA GTX1080 - Ti）的计算能力，Josué作为工业人工智能博士后研究员隶属于该实验室。

如前所述，这项工作主要基于Pierre GUILLOU的工作。