Llama2 13B Tiefighter

🚀 LLaMA2-13B-Tiefighter

Tiefighterは、既存の優れたマージモデルの上に2つの異なるLoRAを適用して作成されたマージモデルです。これを実現するために、以下の手順が使用されました。

• まず、ベースモデルとしてUndi95/Xwin-MLewd-13B-V0.2を使用します。これはよく知られたマージモデルで、名前とは反対に強いNSFWバイアスはありません。
• 次に、PocketDoc/Dans-RetroRodeo-13b LoRAを適用します。これは、SkeinモデルのChoose your own Adventureデータセットをファインチューニングしたものです。
• このLoRAを適用した後、新しいモデルをPocketDoc/Dans-RetroRodeo-13bと5%の比率でマージし、新たに導入されたアドベンチャーバイアスを弱めます。
• 得られたマージモデルを新しいベースモデルとして、Blackroot/Llama-2-13B-Storywriter-LORAを適用し、同じ手法を10%の比率で繰り返します。

これは、このモデルが上流モデルから以下の要素を含んでいることを意味します（可能な限り追跡した範囲で）。

• Undi95/Xwin-MLewd-13B-V0.2
  • Undi95/ReMM-S-Light
  • Undi95/CreativeEngine
  • Brouz/Slerpeno
    • elinas/chronos-13b-v2
    • jondurbin/airoboros-l2-13b-2.1
    • NousResearch/Nous-Hermes-Llama2-13b+nRuaif/Kimiko-v2
    • CalderaAI/13B-Legerdemain-L2+lemonilia/limarp-llama2-v2
      • KoboldAI/LLAMA2-13B-Holodeck-1
      • NousResearch/Nous-Hermes-13b
      • OpenAssistant/llama2-13b-orca-8k-3319
    • ehartford/WizardLM-1.0-Uncensored-Llama2-13b
    • Henk717/spring-dragon
  • The-Face-Of-Goonery/Huginn-v3-13b（未公開のモデルバージョンを含む、可能性のあるものを想定）
    • SuperCOT（未公開バージョン）
    • elinas/chronos-13b-v2（想定バージョン）
    • NousResearch/Nous-Hermes-Llama2-13b
    • stabilityai/StableBeluga-13B（想定バージョン）
  • zattio770/120-Days-of-LORA-v2-13B
  • PygmalionAI/pygmalion-2-13b
  • Undi95/Storytelling-v1-13B-lora
  • TokenBender/sakhi_13B_roleplayer_NSFW_chat_adapter
  • nRuaif/Kimiko-v2-13B
  • The-Face-Of-Goonery/Huginn-13b-FP16
    • "hermes、beluga、airoboros、chronos、limarpなどの多くの異なるモデル"
  • lemonilia/LimaRP-Llama2-13B-v3-EXPERIMENT
  • Xwin-LM/Xwin-LM-13B-V0.2
• PocketDoc/Dans-RetroRodeo-13b
• Blackroot/Llama-2-13B-Storywriter-LORA

このマージモデルに関与するすべてのLoRAやモデルに謝辞を述べることはできないかもしれませんが、この素晴らしいモデルを可能にしたすべての関係者のクリエイターに感謝したいと思います！皆さんのおかげでAIエコシステムが繁栄しており、皆さんの献身的なチューニング努力がなければ、このようなモデルは存在しないでしょう。

🚀 クイックスタート

このモデルは創造性に富んでいます。詳細に埋め尽くすよりも、モデルに即興をさせる方が良い結果が得られます。

✨ 主な機能

ストーリーライティング

伝統的な方法での通常のストーリーライティングがサポートされています。単にストーリーをコピーして貼り付け、続きを書くことができます。必要に応じて、メモリ内に指示や作者の注釈を入れて、ストーリーの方向性をガイドすることもできます。

オンデマンドでストーリーを生成する

オンデマンドでストーリーを生成するには、（Alpaca形式でテスト済みの）指示文を使用することができます。例えば、「Xについての小説を書いて、章と対話を使う」という指示を与えると、ストーリーが生成されます。生成形式は、モデルがどのように始めるかによって異なります。前述の例のように自分が望む内容を書くか、自分でストーリーの冒頭を書いて、モデルに自分のスタイルを追従させることができます。モデルが間違った結果を出した場合は、数回試し直すと良いでしょう。

チャットボットとペルソナ

このモデルは、様々な形式のチャットでテストされています。テスターによると、通常は少ない方が良く、モデルは即興能力に優れています。このような13Bモデルに対して、詳細な情報を段落で渡すのは適切ではありません。むしろ、最初はシンプルにして、モデル自身の能力でキャラクターを把握できるかどうかを確認してください。背景情報の段落をコピーして貼り付けるのは、このような13Bモデルには適していません。コード形式のキャラクターや、会話相手を説明する指示プロンプトの方が効果的です。

例えば、通常のチャットモードでメモリに以下のような内容を入れることができます。

### 指示:
アリスとヘンクが言語モデルについて話す会話を生成してください。
この会話では、ヘンクはアリスにTiefighterについて教えることに興奮しています。
### 応答:

このモデルは様々なモデルをマージしているため、幅広い指示形式や通常のチャットモードをサポートしています。もし好みの形式があれば試してみてください。そうでなければ、通常のチャットモードまたはAlpaca形式をお勧めします。

指示プロンプト

このモデルは、様々な指示スタイルの指示モデルを備えています。モデルをテストする際には、Alpaca形式を使用しています。もし別の形式を好む場合は、それでも動作する可能性があります。

指示の際には、場合によってはアドベンチャーデータが漏れることが観察されています。これを解消するために、ユーザーコマンドの接頭辞として>を使用することも試してみる価値があります。ただし、これによりフィクションバイアスが強まる可能性があります。

このモデルは事実的な指示モデルとしても使用できますが、主な焦点はフィクションにあります。モデルが提供する情報は創作されたものである可能性があることに注意してください。

アドベンチャーとアドベンチャーゲーム

このモデルには、KoboldAI Skeinモデルと同じアドベンチャーデータセットで学習されたLoRAが含まれています。アドベンチャーは、ユーザーコマンドの接頭辞として>を使用し（KoboldAIのアドベンチャーモード）、世界の小さな紹介と目的を与えることで最適に行えます。

モデルがすぐにあなたが望むことを理解せず、すぐにアドベンチャーモードの振る舞いをしない可能性があります。余分な会話や望ましくない振る舞いを手動で修正して、適切なモードでアクションを送信し続けてください。モデルはこのスタイルをすぐに理解し、3ターン以内に正しくこの形式に従うはずです。

何かクールなことを発見して、私たちと交流したいですか？

https://koboldai.org/discord で私たちのコミュニティに参加しましょう！

📄 ライセンス

このモデルは、LLaMA2ライセンスの下で提供されています。