Gpt2 Demo

🚀 GPT - 2 测试副本

GPT - 2是一个基于Transformer架构的模型，它以自监督的方式在大规模英文语料库上进行预训练。这意味着它仅在原始文本上进行预训练，无需人工进行任何标注（因此可以使用大量公开可用的数据），并通过自动流程从这些文本中生成输入和标签。更确切地说，它被训练用于预测句子中的下一个单词。

🚀 快速开始

本项目是openai - community/gpt2的测试副本。GPT - 2模型通过自监督学习方式，在大规模英文语料上进行训练，学习英语语言的内在表示，可用于提取对下游任务有用的特征，尤其擅长根据提示生成文本。

🔧 技术细节

训练方式

GPT - 2以自监督的方式在大规模英文语料库上进行预训练。具体而言，它在原始文本上进行训练，无需人工标注，通过自动流程从文本中生成输入和标签。模型的训练目标是预测句子中的下一个单词。

输入与目标

输入是一定长度的连续文本序列，目标是相同的序列，但向右移动一个标记（单词或词块）。模型内部使用掩码机制，确保对标记i的预测仅使用从1到i的输入，而不使用未来的标记。

模型规模

这是GPT - 2的最小版本，拥有1.24亿个参数。

📄 许可证

本项目使用其他许可证。