GOAT 70B Storytelling

🚀 GOAT-70B-Storytelling模型

GOAT-70B-Storytelling模型由GOAT.AI實驗室訓練，是一個用於自動故事寫作代理的核心模型。該模型能夠助力生成高質量、連貫且引人入勝的敘事內容，包括故事和書籍等。

🚀 快速開始

本地部署

你可以通過transformers庫進行本地部署，示例代碼如下：

import torch

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "GOAT-AI/GOAT-70B-Storytelling"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16
)

通過GOAT-Storytelling-Agent使用

目前支持LLM端點生成，你需要向生成端點發送POST請求（推薦使用HuggingFace的Text Generation Inference）。以下是通過GOAT-Storytelling-Agent使用模型的示例：

from goat_storytelling_agent.storytelling_agent import StoryAgent

backend_uri = # 文本生成端點
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('treasure hunt in a jungle')

✨ 主要特性

• 強大的故事生成能力：能夠根據情節大綱、人物簡介等輸入，生成高質量、連貫且引人入勝的敘事內容，包括書籍、小說、電影劇本等。
• 高效的訓練架構：基於LLaMA 2 70B架構，在64xH100s的GPU集群上進行訓練，採用FSDP ZeRO - 3分片技術，實現高效訓練。

📦 安裝指南

暫未提供具體安裝步驟，你可參考上述使用示例進行操作。

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "GOAT-AI/GOAT-70B-Storytelling"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16
)

高級用法

from goat_storytelling_agent.storytelling_agent import StoryAgent

backend_uri = # 文本生成端點
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('treasure hunt in a jungle')

📚 詳細文檔

模型描述

• 基礎架構：LLaMA 2 70B
• 許可證：llama2
• 上下文窗口長度：4096 tokens

訓練細節

訓練在64xH100s的GPU集群上進行，採用FSDP ZeRO - 3分片技術以實現高效訓練。在包含18K個示例的數據集上進行一個輪次的指令微調，批量大小為336，使用AdamW優化器，學習率為1e - 5。

更多信息

• 博客文章：GOAT-Storytelling: Arbitrarily Long Story Writing Agent
• GitHub倉庫：here
• 生成示例：here

用途

GOAT-70B-Storytelling的主要用途是作為GOAT-Storytelling-Agent的一部分，生成書籍、小說、電影劇本等，專為故事創作者設計。

🔧 技術細節

模型基於LLaMA 2 70B架構，在訓練過程中，使用了64xH100s的GPU集群，並採用FSDP ZeRO - 3分片技術，以提高訓練效率。在一個包含18K個示例的數據集上進行了一個輪次的指令微調，批量大小為336，使用AdamW優化器，學習率為1e - 5，上下文窗口長度為4096 tokens。

📄 許可證

GOAT-70B-Storytelling模型基於Meta's LLaMA-2-70b-hf，並使用了自己的數據集。模型權重遵循LLAMA - 2許可證。

風險與偏差

GOAT-70B-Storytelling模型可能會產生事實錯誤的輸出，因此不能依賴該模型提供準確的事實信息。該模型可能會生成錯誤、有偏差或冒犯性的輸出。

評測結果

Open LLM Leaderboard評估結果

詳細結果可查看此處