Tinystories 33M

🚀 TinyStories-33M模型

本模型基于TinyStories数据集进行训练，解决了在小型故事生成场景下的文本生成问题，为相关自然语言处理任务提供了一个轻量级且有效的解决方案。

🚀 快速开始

本模型基于TinyStories数据集进行训练，详情可查看论文：https://arxiv.org/abs/2305.07759 。它采用了GPT - Neo架构。

✨ 主要特性

• 基于TinyStories数据集训练，适合小型故事生成任务。
• 采用GPT - Neo架构。

📦 安装指南

文档未提供具体安装步骤，可参考transformers库的安装方法来使用本模型。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model = AutoModelForCausalLM.from_pretrained('roneneldan/TinyStories-33M')
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M")
prompt = "Once upon a time there was"
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# Generate completion
output = model.generate(input_ids, max_length = 1000, num_beams=1)

# Decode the completion
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

# Print the generated text
print(output_text)

🔧 技术细节

训练此模型使用的超参数如下：

lr = 5e-4,
lr_schedule = constant, 
wd=0.1,
adam_beta1=0.9, adam_beta2 = 0.95,
context_length=512,
batch_size=80,
gradient_accumulation_steps=16

📄 许可证

本模型使用的许可证为MIT许可证。