Gpt2 1558M Final4 Hf

🚀 GPT - 2模型介紹

這是一個在FineWeb - EDU數據集上使用llm.c訓練了330K步（批量大小為100萬）的GPT - 2模型。該模型能在自然語言處理任務中展現出一定的性能。

🚀 快速開始

你可以通過以下鏈接獲取更多詳細信息：詳細信息 。

🔧 技術細節

訓練過程

這個模型的訓練歷程較為複雜。最初計劃訓練400K步（即 -x 400000），但在訓練後期模型變得不穩定，並在大約330K步時出現異常。由於計算配額即將耗盡，於是決定回退到300K步的檢查點。之後，沒有繼續訓練到400K步，而是線性退火至330K步完成訓練，最終得到了這個模型。

訓練成果

這是目前訓練時長最長的GPT - 2模型，訓練結束時在HellaSwag基準測試中達到了62.7的成績。