Tinystories Gpt2 3M

🚀 TinyStories-GPT2-3M

このモデルは、TinyStories V2データセットで3エポックの事前学習を行った、小規模（300万の学習可能パラメータ）のGPT - 2モデルです。このモデルは、テキスト生成のタスクに特化しています。

✨ 主な機能

TinyStories-GPT2-3Mは、TinyStoriesモデルをGPT - Neoの代わりにGPT - 2アーキテクチャを使用して再現したものです。GPT - 2アーキテクチャはツール群でより広くサポートされているため、研究を加速するためにこの選択がなされました。このモデルは、サイズに比して驚くほど高い文章の首尾一貫性を示しますが、特段の性能向上は見られません。

📦 インストール

このモデルの再現には、TinyStoriesデータセットのGPT - 4 V2バージョンとHuggingFaceのtrain_clm.pyスクリプトをダウンロードする必要があります。その後、以下のコマンドを実行します。

#! /bin/bash

python train_clm.py \
    --model_type=gpt2 \
    --config_overrides=n_embd=64,n_layer=8,n_head=16 \
    --tokenizer_name=gpt2 \
    --train_file="data/TinyStoriesV2-GPT4-train.txt" \
    --validation_file="data/TinyStoriesV2-GPT4-valid.txt" \
    --block_size=256 \
    --preprocessing_num_workers=8 \
    --output_dir="out" \
    --logging_dir="./log" \
    --logging_steps=100 \
    --logging_strategy=steps \
    --save_steps=5000 \
    --save_total_limit=10 \
    --do_train

📚 ドキュメント

想定される用途と制限

このモデルは研究用途のみを想定しており、OpenAIのAPIを使用してトレーニングデータを取得しているため、OpenAIの利用規約により商用利用には適していません。

このモデルが学習した語彙は非常に限定的です。分布外の入力に対しては、より大規模で汎用的なモデルほど良好な結果を得られません。例えば、「Biology」のような一般的でない単語の後にいくつかのトークンを生成してみると、モデルは学習時に頻繁に登場しなかった単語を物語の登場人物名として扱うことが多いです。

すべてのトレーニングデータは英語です。したがって、他の言語の入力は分布外となり、モデルは以前の入力を登場人物名として扱ったり、完全に無視したり、意味のないトークンを生成したりする可能性があります。

トレーニングと評価データ

このモデルは、GPT - 4によって生成されたTinyStories V2データセットで3エポックのトレーニングを行いました。

トレーニング手順

このモデルは、Runpod上の2xH100 80GB PCIe、32vCPU、500GB RAMで400kステップ（約7時間）のトレーニングを行いました。

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• n_embd: 64
• n_layer: 8
• n_head: 16
• learning_rate: 5e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam（betas=(0.9,0.999)、epsilon=1e-08）
• lr_scheduler_type: linear
• num_epochs: 3.0

フレームワークのバージョン

• Transformers 4.35.0.dev0
• Pytorch 2.0.1+cu118
• Datasets 2.14.5
• Tokenizers 0.14.1

⚠️ 重要提示

このモデルは研究用途のみを想定しており、商用利用には適していません。また、学習データが英語のため、他の言語の入力には対応していません。

💡 使用建议

このモデルの語彙が限定的であることを考慮して、入力する単語を選択することをおすすめします。また、分布外の入力に対する性能が低いことに注意してください。