Llama2 13B TiefighterLR

🚀 LLaMA2-13B-TiefighterLR

TiefighterLRは、既存の確立されたマージモデルの上に2つの異なるLoRAをマージすることで実現されたマージモデルです。このLRバージョンは、Less Rodeoを含み、元の5%から3%にマージすることで、二人称のアドベンチャーバイアスを軽減しています。テスターは、このモデルが自分自身のキャラクターや指示プロンプトをよりよく理解する一方で、自身の文章のバイアスやスタイルを低下させることを発見しました。

🚀 クイックスタート

このモデルを作成するために、以下のレシピが使用されました。

1. まず、確立されたマージモデルであるUndi95/Xwin-MLewd-13B-V0.2をベースモデルとして使用します。名前とは反対に、このモデルは強いNSFWバイアスを持っていません。
2. 次に、SkeinモデルのChoose your own AdventureデータセットをファインチューニングしたPocketDoc/Dans-RetroRodeo-13b LoRAを適用します。
3. このLoRAを適用した後、元のモデルと新しく作成されたPocketDoc/Dans-RetroRodeo-13bのマージモデルを3%でマージし、新たに導入されたアドベンチャーバイアスを弱めます。
4. 結果として得られたマージモデルを新しいベースモデルとして使用し、Blackroot/Llama-2-13B-Storywriter-LORAを適用し、同じ手法を繰り返します。今回は10%でマージします。

これは、このモデルが上流のモデルから以下の要素を含んでいることを意味します（できる限り追跡した範囲で）。

• Undi95/Xwin-MLewd-13B-V0.2
  • Undi95/ReMM-S-Light (base/private)
  • Undi95/CreativeEngine
  • Brouz/Slerpeno
    • elinas/chronos-13b-v2
    • jondurbin/airoboros-l2-13b-2.1
    • NousResearch/Nous-Hermes-Llama2-13b+nRuaif/Kimiko-v2 LoRA
    • CalderaAI/13B-Legerdemain-L2+lemonilia/limarp-llama2-v2 LoRA
      • KoboldAI/LLAMA2-13B-Holodeck-1
      • NousResearch/Nous-Hermes-13b
      • OpenAssistant/llama2-13b-orca-8k-3319
    • ehartford/WizardLM-1.0-Uncensored-Llama2-13b
    • Henk717/spring-dragon
  • The-Face-Of-Goonery/Huginn-v3-13b
  • zattio770/120-Days-of-LORA-v2-13B
  • PygmalionAI/pygmalion-2-13b
  • Undi95/StoryTelling
  • TokenBender/sakhi_13B_roleplayer_NSFW_chat_adapter
  • nRuaif/Kimiko-v2-13B
  • The-Face-Of-Goonery/Huginn-13b-FP16
  • lemonilia/LimaRP-Llama2-13B-v3-EXPERIMENT
  • Xwin-LM/Xwin-LM-13B-V0.2
• PocketDoc/Dans-RetroRodeo-13b
• Blackroot/Llama-2-13B-Storywriter-LORA

✨ 主な機能

ストーリーの作成

従来の方法での通常のストーリー作成がサポートされています。単にストーリーをコピーして貼り付け、続きを書くことができます。オプションで、メモリ内の指示や作者の注釈を使用して、ストーリーの方向性をガイドすることもできます。

オンデマンドでのストーリー生成

オンデマンドでストーリーを生成するには、（Alpaca形式でテストされた）指示を使用することができます。例えば、「Xについての小説を書いて、章と対話を使う」という指示を与えると、ストーリーが生成されます。生成される形式は、モデルがどのように始めるかによって異なる場合があります。前述の例のように自分が望む内容を書くか、自分でストーリーの冒頭を書いて、モデルに自分のスタイルに沿って続きを書かせることができます。モデルがうまくいかない場合は、何度か試し直すと良いでしょう。

チャットボットとペルソナ

元のTiefighterとは異なり、このモデルは、多くの二人称の文章や二人称の紹介を含まない限り、既存のキャラクターカードをよりうまく扱うことができます。カスタムの停止シーケンスとして>を設定すると、潜在的な誤りを修正するのに役立つ場合があります。また、複数行の返信をオフにすることも有効です。 また、指示を使用してキャラクターを作成することもできます。

例えば、通常のチャットモードで以下の内容をメモリに入れることができます。

### 指示:
アリスとヘンクが言語モデルについて議論する会話を生成してください。
この会話では、ヘンクはアリスにTiefighterについて教えることに興奮しています。
### 応答:

このモデルは様々なモデルをマージしたものであるため、幅広い指示形式や通常のチャットモードをサポートするはずです。もし好きな形式があれば試してみてください。そうでなければ、通常のチャットモードまたはAlpaca形式をお勧めします。

指示プロンプト

このモデルは、様々な指示スタイルの指示モデルを備えています。モデルをテストする際には、私たち自身のテストではAlpaca形式を使用しています。もし別の形式を好む場合は、それが機能する可能性があります。

指示の際には、場合によってはアドベンチャーデータが漏れることが観察されています。ユーザーコマンドの接頭辞として>を使用することでこれを改善することができるかもしれませんが、これはより強いフィクションバイアスを引き起こす可能性があります。

このモデルは事実的な指示モデルとして使用することもできますが、主な焦点はフィクションにあります。モデルが提供する情報は創作されたものである可能性があることに注意してください。

アドベンチャーとアドベンチャーゲーム

このモデルは、KoboldAI Skeinモデルと同じアドベンチャーデータセットで学習されたLoRAを含んでいます。アドベンチャーは、世界の小さな紹介と目的を与え、ユーザーコマンドの接頭辞として>を使用することで（KoboldAIのアドベンチャーモード）、最もうまくいきます。

モデルがすぐにあなたが望むことを理解せず、すぐにアドベンチャーモードの振る舞いを始めない可能性があります。単に出力を手動で修正して余分な会話や望ましくない振る舞いを削除し、適切なモードを使用してアクションを送信し続けてください。モデルはこのスタイルをすぐに理解し、3ターン以内に正しくこの形式に従うはずです。

📄 ライセンス

このモデルはllama2ライセンスの下で提供されています。

💡 お知らせ

素敵なことを発見して、私たちと交流したいですか？

https://koboldai.org/discord で私たちのコミュニティに参加してください！

このモデルは、以下の方々の素晴らしい仕事がなければ不可能です。

Undi95、PocketDoc、Blackroot、Brouz、The Face of Goonery、zattio770、PygmalionAI、TokenBender、nRuaif、lemonilia、およびXwin-LM。