🚀 GOAT-70B-Storytelling模型
GOAT-70B-Storytelling模型由GOAT.AI實驗室訓練,是一個用於自動故事寫作代理的核心模型。該模型能夠助力生成高質量、連貫且引人入勝的敘事內容,包括故事和書籍等。
🚀 快速開始
本地部署
你可以通過transformers
庫進行本地部署,示例代碼如下:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "GOAT-AI/GOAT-70B-Storytelling"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16
)
通過GOAT-Storytelling-Agent使用
目前支持LLM端點生成,你需要向生成端點發送POST請求(推薦使用HuggingFace的Text Generation Inference)。以下是通過GOAT-Storytelling-Agent使用模型的示例:
from goat_storytelling_agent.storytelling_agent import StoryAgent
backend_uri =
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('treasure hunt in a jungle')
✨ 主要特性
- 強大的故事生成能力:能夠根據情節大綱、人物簡介等輸入,生成高質量、連貫且引人入勝的敘事內容,包括書籍、小說、電影劇本等。
- 高效的訓練架構:基於LLaMA 2 70B架構,在64xH100s的GPU集群上進行訓練,採用FSDP ZeRO - 3分片技術,實現高效訓練。
📦 安裝指南
暫未提供具體安裝步驟,你可參考上述使用示例進行操作。
💻 使用示例
基礎用法
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "GOAT-AI/GOAT-70B-Storytelling"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype=torch.bfloat16
)
高級用法
from goat_storytelling_agent.storytelling_agent import StoryAgent
backend_uri =
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('treasure hunt in a jungle')
📚 詳細文檔
模型描述
- 基礎架構:LLaMA 2 70B
- 許可證:llama2
- 上下文窗口長度:4096 tokens
訓練細節
訓練在64xH100s的GPU集群上進行,採用FSDP ZeRO - 3分片技術以實現高效訓練。在包含18K個示例的數據集上進行一個輪次的指令微調,批量大小為336,使用AdamW優化器,學習率為1e - 5。
更多信息
用途
GOAT-70B-Storytelling的主要用途是作為GOAT-Storytelling-Agent的一部分,生成書籍、小說、電影劇本等,專為故事創作者設計。
🔧 技術細節
模型基於LLaMA 2 70B架構,在訓練過程中,使用了64xH100s的GPU集群,並採用FSDP ZeRO - 3分片技術,以提高訓練效率。在一個包含18K個示例的數據集上進行了一個輪次的指令微調,批量大小為336,使用AdamW優化器,學習率為1e - 5,上下文窗口長度為4096 tokens。
📄 許可證
GOAT-70B-Storytelling模型基於Meta's LLaMA-2-70b-hf,並使用了自己的數據集。模型權重遵循LLAMA - 2許可證。
風險與偏差
GOAT-70B-Storytelling模型可能會產生事實錯誤的輸出,因此不能依賴該模型提供準確的事實信息。該模型可能會生成錯誤、有偏差或冒犯性的輸出。
評測結果
屬性 |
詳情 |
模型類型 |
llama |
訓練數據 |
未提及 |
詳細結果可查看此處
評測指標 |
值 |
平均值 |
67.38 |
AI2推理挑戰(25次少樣本) |
68.77 |
HellaSwag(10次少樣本) |
87.74 |
MMLU(5次少樣本) |
69.92 |
TruthfulQA(0次少樣本) |
53.53 |
Winogrande(5次少樣本) |
83.50 |
GSM8k(5次少樣本) |
40.79 |
