Opus V1.2 Llama 3 8b

🚀 Llama 3 DreamGen Opus

このモデルは、ステアラブルなストーリー作成とロールプレイングに特化したモデルです。多様な書き方関連のタスクや一般的なアシスタント機能も備えています。

🚀 クイックスタート

このモデルには問題があります。代わりに以下のプレビューモデルを使用してください。

• New train on top of Llama 3 8B Base
• New train on top of Llama 3 8B Instruct

モデルが出力を停止しない場合は、このディスカッションを必ず読んでください。

✨ 主な機能

• ステアラブルなストーリー作成とロールプレイング
• ストーリーのプロット要約
• ストーリーのキャラクター説明
• ストーリーのスタイル説明
• ストーリー説明からの章の説明生成

📚 ドキュメント

リソース

• Opus V1 プロンプトガイド：多くの（インタラクティブな）例とコピー可能なプロンプトが含まれています。
• Google Colab：opus-v1.2-7b を使用したインタラクティブなロールプレイング用。
• Pythonコード：プロンプトを正しくフォーマットするためのもの。
• Discord でコミュニティに参加し、新しいモデルの早期アクセスを得ましょう。

プロンプト

このモデルは、ChatMLの拡張バージョンを使用しています。

<|im_start|>system
(ここに正しい形式でストーリーの説明を記述)
(通常はプロット説明、スタイル説明、キャラクターが含まれます)<|im_end|>
<|im_start|>user
(ストーリーがどのように続くべきかの指示)<|im_end|>
<|im_start|>text names= Alice
(アリスキャラクターからのストーリーの続き)<|im_end|>
<|im_start|>text
(特定のキャラクターからではないストーリーの続き（純粋なナレーション）)<|im_end|>
<|im_start|>user
(ストーリーがどのように続くべきかの指示)<|im_end|>
<|im_start|>text names= Bob
(ボブキャラクターからのストーリーの続き)<|im_end|>

Opus V1 の拡張は、text ロールの追加と、ロール名の追加/変更です。

以下に注意してください。

• text メッセージには names があってもなくても構いません。名前は、ロールプレイ中の「アクティブ」なキャラクターを示すために使用されます。
• text ロールのメッセージは複数続くことがあります。特に名前が関係する場合には。
• メッセージには複数の名前を付けることができます。
• 名前の形式は names= {{name[0]}}; {{name[1]}} です。names= の後と ; の後のスペースに注意してください。このスペーシングにより、名前のトークン化が最も自然になります。

タスク別のプロンプト方法

ステアラブルなストーリー作成とロールプレイング

• ストーリー作成プロンプトガイド
• ロールプレイングプロンプトガイド
• 入力：
  • システムプロンプト：ストーリー/ロールプレイの説明を提供します。これには、プロット説明、スタイル説明、キャラクターとその説明が含まれます。
  • 会話ターン：
    • テキスト/メッセージターン：これはストーリーまたはロールプレイの一部を表します。
    • 指示：これはモデルに次に何が起こるべきかを伝えます。
• 出力：ストーリー/ロールプレイの続き。

ストーリープロット要約

• プロンプトガイド
• 入力：ストーリーまたはストーリーの数章。
• 出力：ストーリーまたは章の説明。

例

ストーリーのキャラクター説明

• プロンプトガイド
• 入力：ストーリーまたはストーリーの数章、キャラクターのセット。
• 出力：キャラクターの説明。

例

ストーリーのスタイル説明

• プロンプトガイド
• 入力：ストーリーまたはストーリーの数章。
• 出力：ストーリーのスタイルの説明。

ストーリー説明から章の説明へ

• プロンプトガイド
• 入力：簡単なプロット説明と希望する章の数。
• 出力：各章の説明。

サンプリングパラメータ

ストーリー作成とロールプレイングの場合は、min_p を [0.01, 0.1] の範囲、temperature を [0.5, 1.5] の範囲で、「Min P」ベースのサンプリングをおすすめします。適切な開始点は min_p=0.1; temperature=0.8 です。

特に低い温度では、存在ペナルティ、頻度ペナルティ、繰り返しペナルティを設定すると効果的です。

データセット

微調整用のデータセットは、ステアラブルなストーリー作成、ロールプレイング、ライティングアシスタント、一般的なアシスタントの例約1億トークンで構成されています。各例は最大31000トークンまででした。

すべてのストーリー作成とロールプレイングの例は、人間が書いたテキストに基づいています。

モデルの実行

このモデルは、ベースモデルをサポートするソフトウェアと互換性があるはずですが、プロンプトとトークン化に注意してください。

以下のモデルバージョンの使用をおすすめします。

• 7B: no quant (opus-v1.2-7b)
• 34B: no quant (opus-v1-34b) または awq (opus-v1-34b-awq)
• 34B: no quant (opus-v1.2-70b) または awq (opus-v1.2-70b-awq)

DreamGen.comでの実行（無料）

dreamgen.com でモデルを無料で実行できます。ストーリー作成とロールプレイング用の組み込みUIを使用するか、API を使用できます。

ローカルでの実行

• プロンプトをOpus V1にできるだけ近づけることを確認してください
  • 使用するバックエンドに関係なく、プロンプトを適切にフォーマットし、トークン化が正しく機能することが重要です。
  • プロンプトガイドを読む
  • プロンプトフォーマットコードを読む
  • <|im_start|> と <|im_end|> が正しくトークン化されることを確認する
• vLLM
  • Google Colab：7Bモデルでロールプレイを行うためのシンプルなインタラクティブなGoogle Colabで、T4 GPUに収まるはずです。
  • コード：1つのハードコードされたシナリオでインタラクティブなチャットを行うためのシンプルなスクリプトです。
• SillyTavern
  • DreamGen用の公式SillyTavernドキュメント -- APIとローカルモデルの両方に適用されます
  • SillyTavern（staging）には、RP用の組み込みDreamGenプリセットが付属しています。
    • 他のプリセットは ここ で見つけることができます。v2は @MarinaraSpaghetti 氏により提供されています。
    • Skip special tokens を選択解除することを確認してください。そうしないと機能しません。
    • これはOpus V1プロンプトを近似したものであり、完全ではありません。
  • 組み込みのDreamGenプリセット用に特別に書き直されたキャラクターカード：
    • セラフィナ（デフォルトのセラフィナカードに基づいています）
    • ララ・ライトランド（Deffcolony氏によるカードに基づいています）
• LM Studio
  • 設定
  • ChatMLと同じですが、「assistant」を「text」ロールに変更しただけです。
  • LM Studioにはバグがあります。メッセージを削除したり、「続ける」をクリックした場合、詳細はこちら を参照してください。
• HuggingFace
  • チャットテンプレート
  • ChatMLと同じですが、「assistant」を「text」ロールに変更しただけです。

既知の問題

• 34Bの繰り返し問題：34Bモデルは時々同じ単語や同義語を繰り返してしまうことがあります。これは、様々なYi 34Bの微調整モデルで共通する問題のようです。
• GGUF：トークン化がうまくいかないことがあります。一部のユーザーから、<|im_start|> と <|im_end|> が複数のトークンとしてトークン化されると報告されています。また、llama.cppでは正しくトークン化されない場合があります（YiトークナイザーはLlama 2トークナイザーと微妙に異なります）。

📄 ライセンス

このモデルは個人使用のみを目的としており、それ以外の使用は許可されていません。