GOAT 70B Storytelling

🚀 GOAT-70B-Storytelling模型

GOAT-70B-Storytelling模型由GOAT.AI实验室训练，是一个用于自动故事写作代理的核心模型。该模型能够助力生成高质量、连贯且引人入胜的叙事内容，包括故事和书籍等。

🚀 快速开始

本地部署

你可以通过transformers库进行本地部署，示例代码如下：

import torch

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "GOAT-AI/GOAT-70B-Storytelling"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16
)

通过GOAT-Storytelling-Agent使用

目前支持LLM端点生成，你需要向生成端点发送POST请求（推荐使用HuggingFace的Text Generation Inference）。以下是通过GOAT-Storytelling-Agent使用模型的示例：

from goat_storytelling_agent.storytelling_agent import StoryAgent

backend_uri = # 文本生成端点
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('treasure hunt in a jungle')

✨ 主要特性

• 强大的故事生成能力：能够根据情节大纲、人物简介等输入，生成高质量、连贯且引人入胜的叙事内容，包括书籍、小说、电影剧本等。
• 高效的训练架构：基于LLaMA 2 70B架构，在64xH100s的GPU集群上进行训练，采用FSDP ZeRO - 3分片技术，实现高效训练。

📦 安装指南

暂未提供具体安装步骤，你可参考上述使用示例进行操作。

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "GOAT-AI/GOAT-70B-Storytelling"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16
)

高级用法

from goat_storytelling_agent.storytelling_agent import StoryAgent

backend_uri = # 文本生成端点
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('treasure hunt in a jungle')

📚 详细文档

模型描述

• 基础架构：LLaMA 2 70B
• 许可证：llama2
• 上下文窗口长度：4096 tokens

训练细节

训练在64xH100s的GPU集群上进行，采用FSDP ZeRO - 3分片技术以实现高效训练。在包含18K个示例的数据集上进行一个轮次的指令微调，批量大小为336，使用AdamW优化器，学习率为1e - 5。

更多信息

• 博客文章：GOAT-Storytelling: Arbitrarily Long Story Writing Agent
• GitHub仓库：here
• 生成示例：here

用途

GOAT-70B-Storytelling的主要用途是作为GOAT-Storytelling-Agent的一部分，生成书籍、小说、电影剧本等，专为故事创作者设计。

🔧 技术细节

模型基于LLaMA 2 70B架构，在训练过程中，使用了64xH100s的GPU集群，并采用FSDP ZeRO - 3分片技术，以提高训练效率。在一个包含18K个示例的数据集上进行了一个轮次的指令微调，批量大小为336，使用AdamW优化器，学习率为1e - 5，上下文窗口长度为4096 tokens。

📄 许可证

GOAT-70B-Storytelling模型基于Meta's LLaMA-2-70b-hf，并使用了自己的数据集。模型权重遵循LLAMA - 2许可证。

风险与偏差

GOAT-70B-Storytelling模型可能会产生事实错误的输出，因此不能依赖该模型提供准确的事实信息。该模型可能会生成错误、有偏差或冒犯性的输出。

评测结果

Open LLM Leaderboard评估结果

详细结果可查看此处