Tinystories 33M

🚀 TinyStories-33M模型

本模型基於TinyStories數據集進行訓練，解決了在小型故事生成場景下的文本生成問題，為相關自然語言處理任務提供了一個輕量級且有效的解決方案。

🚀 快速開始

本模型基於TinyStories數據集進行訓練，詳情可查看論文：https://arxiv.org/abs/2305.07759 。它採用了GPT - Neo架構。

✨ 主要特性

• 基於TinyStories數據集訓練，適合小型故事生成任務。
• 採用GPT - Neo架構。

📦 安裝指南

文檔未提供具體安裝步驟，可參考transformers庫的安裝方法來使用本模型。

💻 使用示例

基礎用法

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model = AutoModelForCausalLM.from_pretrained('roneneldan/TinyStories-33M')
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M")
prompt = "Once upon a time there was"
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# Generate completion
output = model.generate(input_ids, max_length = 1000, num_beams=1)

# Decode the completion
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

# Print the generated text
print(output_text)

🔧 技術細節

訓練此模型使用的超參數如下：

lr = 5e-4,
lr_schedule = constant, 
wd=0.1,
adam_beta1=0.9, adam_beta2 = 0.95,
context_length=512,
batch_size=80,
gradient_accumulation_steps=16

📄 許可證

本模型使用的許可證為MIT許可證。