Simplestories 30M

🚀 簡單故事模型家族

簡單故事（SimpleStories）模型是為可解釋性研究而創建的小型模型家族，它基於簡單故事數據集進行訓練。

🚀 快速開始

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, LlamaForCausalLM


MODEL_SIZE = "30M"
model_path = "SimpleStories/SimpleStories-{}".format(MODEL_SIZE)

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(model_path)
model.to("cuda")
model.eval()

prompt = "The curious cat looked at the"

inputs = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)
input_ids = inputs.input_ids.to("cuda")

eos_token_id = 1

with torch.no_grad():
    output_ids = model.generate(
        input_ids=input_ids,
        max_new_tokens=400,
        temperature=0.7,
        do_sample=True,
        eos_token_id=eos_token_id
)

output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(f"\nGenerated text:\n{output_text}")

📚 詳細文檔

🔍 模型變體

📊 性能比較

模型評估的生成質量指標：

📝 分詞器

我們使用了一個自定義的 WordPiece 分詞器，其詞表大小僅為 4096。我們對數據集進行了詞法分析和覆蓋增益分析，以構建一個小型分詞器，同時不影響生成質量。

📦 數據集

簡單故事數據集是由先進的語言模型生成的短故事集合。它具有以下特點：

• 故事標註包含高級概念：主題、話題、風格等。
• 通過種子故事生成實現更高的語義和句法多樣性。
• 由 2024 年的模型生成。
• 預先計算了多個 NLP 指標以輔助篩選。
• 英語數據集僅包含 ASCII 字符。

你可以在 arXiv 上閱讀有關該數據集的論文。

🏋️‍ 訓練

訓練和評估腳本可在 https://github.com/danbraunai/simple_stories_train 訪問。

📄 許可證

本項目採用 MIT 許可證。