Gpt2 1558M Final4 Hf

🚀 GPT - 2模型介绍

这是一个在FineWeb - EDU数据集上使用llm.c训练了330K步（批量大小为100万）的GPT - 2模型。该模型能在自然语言处理任务中展现出一定的性能。

🚀 快速开始

你可以通过以下链接获取更多详细信息：详细信息 。

🔧 技术细节

训练过程

这个模型的训练历程较为复杂。最初计划训练400K步（即 -x 400000），但在训练后期模型变得不稳定，并在大约330K步时出现异常。由于计算配额即将耗尽，于是决定回退到300K步的检查点。之后，没有继续训练到400K步，而是线性退火至330K步完成训练，最终得到了这个模型。

训练成果

这是目前训练时长最长的GPT - 2模型，训练结束时在HellaSwag基准测试中达到了62.7的成绩。