Tinystories 33M

🚀 モデル：TinyStories データセットで学習されたモデル

このモデルは TinyStories データセットを使用して学習されています。詳細については、こちらの論文を参照してください。GPT - Neo アーキテクチャに基づいています。

🚀 クイックスタート

このモデルは TinyStories データセットで学習され、GPT - Neo アーキテクチャに基づいています。以下の手順で利用することができます。

✨ 主な機能

• TinyStories データセットで学習されたモデルです。
• GPT - Neo アーキテクチャを採用しています。

📦 インストール

この README ではインストール手順が明示されていないため、このセクションを省略します。

💻 使用例

基本的な使用法

# コード例とコメントを保持
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model = AutoModelForCausalLM.from_pretrained('roneneldan/TinyStories-33M')
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M")
prompt = "Once upon a time there was"
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# Generate completion
output = model.generate(input_ids, max_length = 1000, num_beams=1)

# Decode the completion
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

# Print the generated text
print(output_text)

🔧 技術詳細

このモデルを学習する際に使用されたハイパーパラメータは以下の通りです。

lr = 5e-4,
lr_schedule = constant, 
wd=0.1,
adam_beta1=0.9, adam_beta2 = 0.95,
context_length=512,
batch_size=80,
gradient_accumulation_steps=16

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。