Tinyllama V0

🚀 LlamaアーキテクチャによるTinyStories-1M再現プロジェクト

このプロジェクトは、roneneldan/TinyStories-1MをLlamaアーキテクチャを使って再現した最初のバージョンです。このプロジェクトは、小さな物語データセットを用いた言語モデルの学習を目的としています。

🚀 クイックスタート

• 完全な学習プロセスはノートブックtrain.ipynbに含まれています。再現するには、TinyStoriesV2-GPT4-train.txtとTinyStoriesV2-GPT4-valid.txtをノートブックと同じフォルダにダウンロードし、セルを実行するだけです。スクリプトは検証用の内容を使用しないため、検証用ファイルには何を入れても構いません。

# コードの使用例
from transformers import AutoModelForCausalLM, AutoTokenizer

✨ 主な機能

• バックアップディレクトリには、リモートマシンからローカルに重みをコピーするためのdo_backupスクリプトがあります。重みが生成される速度が速いため、スクリプトが重みN+1をコピーするまでに時間がかかることがあります。
• これは非常にPoC（概念実証）なバージョンです。学習では、コンテキストサイズより長い物語を切り捨て、物語を最初から学習しないためにスライディングウィンドウを使用していません。
• 40GBのA100で学習に約9時間（1エポックあたり3時間）かかりました。約30GBのVRAMが使用されました。
• open_llama_3bのトークナイザーを使用しています。ただし、ローカルでは問題が発生しました（https://github.com/openlm-research/open_llama/issues/69 ）。事前にライブラリがインストールされたクラウドマシンでは問題ありませんでした。
• デモスクリプトはdemo.pyです。
• 検証スクリプトvalid.pyが提供されています。python valid.py path/to/TinyStoriesV2-GPT4-valid.txt [optional-model-id-or-path]のように使用します。学習後、検証データをチャンクに分割する必要がないと判断しました。
• このバージョンでは、学習用の物語をシャッフルするために非常に単純なキャッシュメカニズムを使用しています。最近ロードされたN個のチャンクのキャッシュを保持しているため、ランダムシャッフルで物語が要求された場合、キャッシュを使用するか、チャンクをロードすることがあります。学習データセットが小さすぎるため、次のバージョンではこのキャッシュメカニズムを廃止します。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。