GOAT 70B Storytelling

🚀 GOAT-70B-Storytellingモデル

GOAT-70B-Storytellingモデルは、GOAT.AIラボによって訓練された、自動物語作成エージェントのコアモデルです。このモデルは、高品質で首尾一貫した魅力的な物語や本を生成するのに役立ちます。

🚀 クイックスタート

このモデルは、独自ホストでtransformersを介して使用することも、Spacesで使用することもできます。以下に使用例を示します。

基本的な使用法

import torch

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "GOAT-AI/GOAT-70B-Storytelling"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16
)

高度な使用法

from goat_storytelling_agent.storytelling_agent import StoryAgent

backend_uri = # テキスト生成エンドポイント
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('treasure hunt in a jungle')

✨ 主な機能

• 高品質な物語生成: プロットの概要、キャラクタープロファイル、それらの相互関係などの入力を利用して、高品質で魅力的な物語や本を生成します。
• 多様な形式対応: 本、小説、映画脚本などの様々な形式のテキストを生成できます。

📦 インストール

このモデルは、transformersライブラリを使用してインストールできます。以下のコマンドを実行してください。

pip install transformers

📚 ドキュメント

モデルの説明

訓練の詳細

訓練は64台のH100 GPUクラスターで行われました。効率的な訓練のためにFSDP ZeRO-3シャーディングが採用されています。18Kのサンプルからなるデータセットで1エポック、バッチサイズ336、学習率1e-5のAdamWオプティマイザを使用して命令微調整を行いました。

詳細情報

• ブログ記事: GOAT-Storytelling: Arbitrarily Long Story Writing Agent
• GitHub: こちら
• 生成例: こちら

🔧 技術詳細

• ベースアーキテクチャ: LLaMA 2 70B
• コンテキストウィンドウの長さ: 4096トークン
• 訓練環境: 64台のH100 GPUクラスター
• 訓練手法: FSDP ZeRO-3シャーディング、命令微調整
• データセット: 18Kのサンプル
• バッチサイズ: 336
• オプティマイザ: AdamW
• 学習率: 1e-5

📄 ライセンス

GOAT-70B-Storytellingモデルは、MetaのLLaMA-2-70b-hfをベースに、独自のデータセットを使用して訓練されています。モデルの重みはLLAMA-2ライセンスの下で利用可能です。

リスクとバイアス

GOAT-70B-Storytellingモデルは、事実に誤りのある出力を生成する可能性があり、事実に基づく正確な情報を提供するために依存してはなりません。したがって、このモデルは誤った、偏った、または不快な出力を生成する可能性があります。

Open LLM Leaderboard評価結果

詳細な結果はこちらで確認できます。