Fiction Story Generator

🚀 GPT-Neo 虚构故事生成模型

本模型是 EleutherAI 的 GPT-Neo-125M 模型的微调版本，专为生成虚构故事而优化。它在数据集 https://github.com/facebookresearch/fairseq/tree/main/examples/stories 上进行了训练。

✨ 主要特性

• 创意故事生成：能够生成富有创意的虚构故事，可用于多种场景，如叙事、内容创作和创意写作等。
• 多用途应用：可应用于博客、网站等媒体的内容创作，为作者和写手提供创意启发和叙事发展的帮助。

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

from transformers import GPTNeoForCausalLM, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained(Tincando/fiction_story_generator)
model = GPTNeoForCausalLM.from_pretrained(Tincando/fiction_story_generator)

# Generate a fiction story
input_prompt = "[WP] I can't believe I died the same way twice."
input_ids = tokenizer(input_prompt, add_special_tokens=False, return_tensors="pt").input_ids

output = model.generate(input_ids,
        max_length=300,
        temperature=0.9,
        top_k=2,
        top_p=0.9,
        repetition_penalty=1.2,
        do_sample=True,
        num_return_sequences=2
)

generated_story = tokenizer.batch_decode(output,clean_up_tokenization_spaces=True)[0]
print(generated_story)

📚 详细文档

模型描述

使用与限制

使用场景

• 叙事：生成有趣且富有想象力的虚构故事。
• 内容生成：为博客、网站或其他带有叙事元素的媒体创作内容。
• 创意写作：协助作者和写手构思创意和发展叙事。

限制

• 内容质量：虽然模型可以生成创意故事，但输出的质量和连贯性可能会有所不同，偶尔可能会产生无意义或不适当的内容。
• 偏差：模型可能会表现出训练数据集中存在的偏差，因此在用于敏感主题或内容时要格外谨慎。
• 输出长度：模型生成的文本长度可能不同，并不总是能产生所需的输出长度。
• 微调数据：生成故事的质量取决于微调数据集的质量和多样性。

模型性能

• 训练数据：模型在多样化的虚构故事和提示数据集上进行了训练。
• 评估指标：性能指标（如困惑度或 BLEU 分数）可能因具体任务和数据集而异。

伦理考量

在使用此模型时，请考虑以下伦理准则：

⚠️ 重要提示

• 内容审核：实施内容审核，以确保生成的故事不违反社区准则或标准。
• 偏差与公平性：注意模型输出中可能存在的偏差，并采取措施减轻这些偏差。
• 隐私：避免使用个人或敏感信息作为输入提示。
• 法律合规：确保生成的内容符合版权和知识产权法律。

引用说明

如果您在工作中使用了 GPT-Neo-Fiction，请考虑引用原始的 GPT-Neo 模型和用于微调的数据集：

• GPT-Neo Paper
• Fairseq Repository
• Hierarchical Neural Story Generation

训练超参数

以下是训练期间使用的超参数：

• 学习率：5e-05
• 训练批次大小：8
• 评估批次大小：8
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学习率调度器类型：线性
• 训练轮数：5

训练结果

框架版本

• Transformers 4.28.0
• Pytorch 1.12.1+cu116
• Datasets 2.4.0
• Tokenizers 0.12.1