Opus V1.2 7b

🚀 DreamGen Opus V1

(操縦可能な) ストーリーライティングとロールプレイング 用のモデルです。このモデルは、ストーリーの作成やロールプレイングに最適で、多様なシナリオに対応しています。

[すべてのOpus V1モデル (量子化モデルを含む)](https://huggingface.co/collections/dreamgen/opus-v1-65d092a6f8ab7fc669111b31)

🚀 クイックスタート

このモデルを使って、ストーリーライティングやロールプレイングを始めましょう。以下のリソースを活用して、モデルを最大限に活用しましょう。

✨ 主な機能

• 多様なタスク対応: ストーリーライティング、ロールプレイング、ストーリーの要約、キャラクターの説明、スタイルの説明など、様々なタスクに対応しています。
• 高精度な生成: 人間が書いたテキストをベースにしたデータセットで微調整されており、高精度なテキスト生成が可能です。
• 柔軟なサンプリング: サンプリングパラメータを調整することで、生成されるテキストの特性を柔軟に制御できます。

📦 インストール

このモデルは、ベースモデルをサポートするソフトウェアと互換性があります。ただし、プロンプトとトークン化に注意が必要です。以下のモデルバージョンを推奨します。

• 7B: 量子化なし (opus-v1.2-7b)
• 34B: 量子化なし (opus-v1-34b) または awq (opus-v1-34b-awq)
• 34B: 量子化なし (opus-v1.2-70b) または awq (opus-v1.2-70b-awq)

DreamGen.comでの実行 (無料)

dreamgen.com でモデルを無料で実行できます。ストーリーライティングやロールプレイング用の組み込みUIを使用するか、API を使用できます。

ローカルでの実行

• Opus V1にできるだけ近いプロンプトを使用することを確認する
  • 使用するバックエンドに関係なく、プロンプトを適切にフォーマットし、トークン化が正しく機能することが重要です。
  • プロンプトガイドを読む
  • プロンプトフォーマットコードを読む
  • <|im_start|> と <|im_end|> が正しくトークン化されることを確認する
• vLLM
  • Google Colab: これは、7Bモデルでロールプレイを行うためのシンプルな対話型Google Colabで、T4 GPUに収まるはずです。
  • コード: これは、1つのハードコードされたシナリオの対話型チャット用のシンプルなスクリプトです。
• SillyTavern
  • DreamGenの公式SillyTavernドキュメント -- APIとローカルモデルの両方に適用されます
  • SillyTavern (staging) には、RP用の組み込みDreamGenプリセットが付属しています
    • 他のプリセットは ここ で見つけることができます。v2は @MarinaraSpaghetti 氏により提供されています
    • Skip special tokens を選択解除することを確認する。そうしないと機能しません
    • これはOpus V1プロンプトを近似しようとしたもので、完全ではありません
  • 組み込みDreamGenプリセット用に特別に書き直されたキャラクターカード:
    • Seraphina (デフォルトのSeraphinaカードに基づく)
    • Lara Lightland (Deffcolony氏のカードに基づく)
• LM Studio
  • 設定
  • ChatMLと同じですが、"assistant" を "text" ロールに変更しただけです。
  • LM Studioには、メッセージを削除したり、「続きを生成」をクリックしたりするとバグがあります。詳細はこちら を参照してください。
• HuggingFace
  • チャットテンプレート
  • ChatMLと同じですが、"assistant" を "text" ロールに変更しただけです。

💻 使用例

基本的な使用法

# ここにはPythonコードの例がありませんが、
# もしあればここに表示されます。

高度な使用法

# 高度なシナリオについての説明をここに記載します。
# もし高度なコード例があればここに表示されます。

📚 ドキュメント

リソース

• Opus V1プロンプトガイド 多くの (対話型) 例とコピーできるプロンプトが含まれています。
• Google Colab opus-v1.2-7b を使用した対話型ロールプレイ用。
• Pythonコード プロンプトを正しくフォーマットするためのもの。
• Discord でコミュニティに参加し、新しいモデルの早期アクセスを得ることができます。

プロンプト

<|im_start|>system
(ここに正しい形式のストーリー説明を記載する)
(通常はプロット説明、スタイル説明、キャラクターで構成される)<|im_end|>
<|im_start|>user
(ストーリーがどのように続くべきかの指示を記載する)<|im_end|>
<|im_start|>text names= Alice
(Aliceキャラクターからのストーリーの続きを記載する)<|im_end|>
<|im_start|>text
(特定のキャラクターからではないストーリーの続き (純粋なナレーション))<|im_end|>
<|im_start|>user
(ストーリーがどのように続くべきかの指示を記載する)<|im_end|>
<|im_start|>text names= Bob
(Bobキャラクターからのストーリーの続きを記載する)<|im_end|>

プロンプトの使用方法

操縦可能なストーリーライティングとロールプレイング:

• ストーリーライティングプロンプトガイド
• ロールプレイングプロンプトガイド
• 入力:
  • システムプロンプト: ストーリー/ロールプレイの説明を提供します。これには以下が含まれます。
    • プロット説明
    • スタイル説明
    • キャラクターとその説明
  • 会話ターン:
    • テキスト/メッセージターン: これはストーリーまたはロールプレイの一部を表します。
    • 指示: これは、モデルに次に何が起こるべきかを指示します。
• 出力: ストーリー/ロールプレイの続き。

ストーリープロットの要約

• プロンプトガイド
• 入力: ストーリーまたはストーリーの数章。
• 出力: ストーリーまたは章の説明。

例:

ストーリーキャラクターの説明

• プロンプトガイド
• 入力: ストーリーまたはストーリーの数章、キャラクターのセット。
• 出力: キャラクターの説明。

例:

ストーリースタイルの説明

• プロンプトガイド
• 入力: ストーリーまたはストーリーの数章。
• 出力: ストーリーのスタイルの説明。

ストーリー説明から章の説明へ

• プロンプトガイド
• 入力: 簡単なプロット説明と希望する章の数。
• 出力: 各章の説明。

その他

🔧 技術詳細

サンプリングパラメータ

ストーリーライティングとロールプレイには、min_p を [0.01, 0.1] の範囲、temperature を [0.5, 1.5] の範囲で設定した「Min P」ベースのサンプリングをおすすめします。好みに応じて調整できます。良い開始点は min_p=0.1; temperature=0.8 です。

また、特に低い温度では、存在ペナルティ、頻度ペナルティ、繰り返しペナルティを設定すると効果的です。

データセット

微調整用のデータセットは、操縦可能なストーリーライティング、ロールプレイング、ライティングアシスタント、一般アシスタントの例を約100Mトークン含んでいます。各例は最大31000トークンまででした。

すべてのストーリーライティングとロールプレイングの例は、人間が書いたテキストをベースにしています。

既知の問題

• 34Bの繰り返し問題:
  • 34Bモデルは時々同じ単語や同義語を繰り返してしまうことがあります。これは、様々なYi 34Bの微調整モデルで共通する問題のようです。
• GGUF:
  • トークン化が混乱することがあります。一部のユーザーから、<|im_start|> と <|im_end|> が複数のトークンとしてトークン化されると報告されています。また、llama.cppでは正しくトークン化されないことがあります (YiトークナイザーはLlama 2トークナイザーと微妙に異なります)。

📄 ライセンス

• このモデルは個人使用のみを目的としており、その他の使用は許可されていません。