Psyfighter2 13B Vore GGUF

🚀 Psyfighter2-13B-vore-GGUF モデルカード

このモデルは、SnakyMcSnekFace/Psyfighter2-13B-vore モデルの量子化バージョンです。F16 精度のモデルウェイトと、モデルの学習方法の詳細については、このリポジトリ を参照してください。

このモデルは、KoboldAI/LLaMA2-13B-Psyfighter2 をベースに、vore コンテキストをより理解できるようにファインチューニングされたものです。主な用途は、ストーリーライティングアシスタント、チャットでの会話モデル、インタラクティブなオーナーチョイスアドベンチャーテキストゲームです。

このモデルは、Kobold AI Adventure Mode（二人称のオーナーチョイスアドベンチャーストーリー形式）での動作を念頭にトレーニングされています。

✨ 主な機能

• ストーリーライティングアシスタントとして、少量のプロンプトでも創造的なストーリーを生成します。
• チャットモードでは、会話のスタイルに合わせた応答を生成します。
• Kobold AI Adventure Mode では、二人称形式のアクションに対応し、コヒーレントなストーリーを構築します。

📦 インストール

Koboldcpp Colab Notebook を使用する場合

この方法では、強力なグラフィックカードを持っていなくてもモデルを試すことができます。

1. Koboldcpp Colab Notebook を開きます。
2. Model フィールドにモデルの URL を貼り付けます。
   • Q4_K_M バージョンの場合: https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF/resolve/main/Psyfighter2-13B-vore.Q4_K_M.gguf
   • Q8_0 バージョンの場合: https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF/resolve/main/Psyfighter2-13B-vore.Q8_0.gguf
3. ノートブックを起動し、下部に表示される CloudFlare トンネルの URL をクリックします。
4. "Settings" を選択し、以下のように設定します。
   • "Basic" タブ:
     • Temperature = 0.8
     • Amount to Gen. = 512
     • Top p Sampling = 0.9
     • Repetition Pentalty = 1.1
   • "Advanced" タブ:
     • Min-P = 0.1
     • EOS Token Ban = Unban
     • Placeholder Tags = Checked
5. "Scenarios" -> "New Story" を選択して、モデルをライティングアシスタントとして使用します。

Backyard AI を使用する場合

このアプリケーションを使用すると、モデルをローカルコンピュータで実行できます。快適に使用するには、少なくとも 8GB VRAM のグラフィックカードが必要です。

HuggingFace から直接ダウンロードする場合（ベータ版）

1. 左パネルで Manage Models をクリックし、Hugging face models を選択します。
2. テキストフィールドに https://huggingface.co/SnakyMcSnekFace/Psyfighter2-13B-vore-GGUF を貼り付け、Fetch Models を押します。
3. モデル形式の横にある Download ボタンをクリックします。ダウンロードが完了したら、キャラクターカードで選択するか、デフォルトモデルとして設定できます。

手動でダウンロードする場合

Psyfighter2-13B-vore.Q4_K_M.gguf または Psyfighter2-13B-vore.Q8_0.gguf ファイルをコンピュータの %appdata%\faraday\models フォルダにダウンロードします。モデルは Manage Models メニューの Downloaded Models の下に表示されます。キャラクターカードで選択するか、デフォルトモデルとして設定できます。

💻 使用例

基本的な使用法

このモデルは、.gguf モデル用に設計された任意の AI チャットボットやフロントエンドで使用できます。例えば、以下のように少量のプロンプトでストーリーを生成できます。

高度な使用法

チャットモードでの使用

会話が思った方向に進まない場合は、モデルの出力を編集して、生成を続けさせることができます。モデルは会話のスタイルに合わせた応答を生成します。

Adventure Mode での使用

画面の左下隅にある "Story" を選択してストーリーの前提を生成し、"Action" を選択してキャラクターのアクションを実行します。Adventure Mode では、すべてのプレイヤーアクションは二人称で記述する必要があります。例えば：

湿った洞窟の奥深くに進むと、一人のゴブリンに出会います。その醜い生き物は、洞窟の壁に輝く文字を見つめながら、何かをつぶやいています。あなたの接近に気づいていません。

> あなたはゴブリンの背後に忍び寄り、剣で殴ります。

"Allow Editing" をチェックすると、ストーリーを編集して、モデルの応答の一部を上書きして再生成できます。これは、モデルが間違いを犯した場合や、ストーリーが思った方向に進まない場合に便利です。

📚 詳細ドキュメント

モデルの詳細

このモデルは、KoboldAI/LLaMA2-13B-Psyfighter2 をベースにしており、その振る舞いは似ています。詳細については、ここの README.md を参照してください。

このモデルは、vore テーマを中心とした約 55 MiB のストーリーでファインチューニングされ、さらに約 3 MiB の個人の Kobold AI Adventure Mode のプレイスルーでアライメントが行われました。アライメントの際には、モデルはプレイヤーの行動と主体性を尊重し、コヒーレントな物語を構築し、世界とプレイヤーの行動の結果を描写するために説得力のある言葉を使用するように促されました。

モデルの更新履歴

• 2024年9月14日 - Adventure Mode の流れを改善し、物語の質を向上させるためにモデルをアライメントしました。
• 2024年6月9日 - Kobold AI Adventure Mode 形式に従うようにモデルをファインチューニングしました。
• 2024年6月2日 - トレーニングとマージのエラーを修正し、全体的な文章の質を大幅に向上させました。
• 2024年5月25日 - トレーニングプロセスを更新し、モデルをよりコヒーレントにし、ライティングの質を向上させました。
• 2024年4月13日 - モデルの最初のバージョンをアップロードしました。

📄 ライセンス

このモデルは、llama2 ライセンスの下で提供されています。