Llama2 13B Estopia

🚀 Estopiaモデル

Estopiaは、インストラクト形式を使用したときの対話と散文の返答を改善することに焦点を当てたモデルです。キャラクターカードなどの表現も向上し、多くの場合で詳細をしっかりと記憶します。また、指示を使って架空の物語を導く「ガイド付きナラティブ」にも特化しています。

🚀 クイックスタート

Estopiaモデルは、主にAlpaca形式を使用してテストされていますが、含まれるモデルの範囲から、他の形式にもある程度の理解があると思われます。以下にテストされた形式の例を示します。

### Instruction:
What colour is the sky?
### Response:
The sky is...

<Story text>
***
Write a summary of the text above
***
The story starts by...

• Kobold Lite AIアドベンチャーモードの使用

User:Hello there!
Assistant:Good morning...

一般的な使用には、以下の設定が推奨されます。

⚠️ 重要提示

応答長は必ずしも指定した長さになるとは限りません。場合によっては、応答が完全に伝われば短くなることもあれば、指定値を超えることもあります。主にキャラクターカードや指示などに依存します。

💡 使用建议

上記の設定は、指示の追従と創造性のバランスを取った一般的に良好な体験を提供します。一般的に、温度を高く設定するほど、創造性が高まりますが、AIの応答に論理的なエラーが生じる可能性も高くなります。

✨ 主な機能

• インストラクト形式での対話と散文の返答を改善
• ガイド付きナラティブに特化
• キャラクターカードや詳細の記憶能力が向上

📚 ドキュメント

モデルの作成レシピ

このモデルは3段階で作成されました。最初の段階はEstopiaV9と呼ばれ、指示の追従性と応答の創造性が高い一方で、応答が一般的に短く、出力の範囲もやや制限されていましたが、微妙なニュアンスをうまく伝えることができました。

merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
- model: TheBloke/Llama-2-13B-fp16
- model: Undi95/UtopiaXL-13B
    parameters:
    weight: 1.0
- model: Doctor-Shotgun/cat-v1.0-13b
    parameters:
    weight: 0.02
- model: PygmalionAI/mythalion-13b
    parameters:
    weight: 0.10
- model: Undi95/Emerhyst-13B
    parameters:
    weight: 0.05
- model: CalderaAI/13B-Thorns-l2
    parameters:
    weight: 0.05
- model: KoboldAI/LLaMA2-13B-Tiefighter
    parameters:
    weight: 0.20
dtype: float16

2番目の段階はEstopiaV13で、応答が長くなりましたが、小説スタイルの散文に依存しすぎるため、指示を追加するための適切な終了点を超えて書き続ける傾向がありました。ただし、上記のように中立性が向上し、V9の多くの詳細追跡能力を保持していました。

merge_method: task_arithmetic
base_model: TheBloke/Llama-2-13B-fp16
models:
  - model: TheBloke/Llama-2-13B-fp16
  - model: Undi95/UtopiaXL-13B
    parameters:
      weight: 1.0
  - model: Doctor-Shotgun/cat-v1.0-13b
    parameters:
      weight: 0.01
  - model: chargoddard/rpguild-chatml-13b
    parameters:
      weight: 0.02
  - model: PygmalionAI/mythalion-13b
    parameters:
      weight: 0.08
  - model: CalderaAI/13B-Thorns-l2
    parameters:
      weight: 0.02
  - model: KoboldAI/LLaMA2-13B-Tiefighter
    parameters:
      weight: 0.20
dtype: float16

3番目の段階では、2つのモデルをマージして、両方の利点をできるだけ保持しました。これは、dareマージ手法を使用して行われました。

# task-arithmetic style
models:
  - model: EstopiaV9
    parameters:
      weight: 1
      density: 1
  - model: EstopiaV13
    parameters:
      weight: 0.05
      density: 0.30
merge_method: dare_ties
base_model: TheBloke/Llama-2-13B-fp16
parameters:
  int8_mask: true
dtype: bfloat16

モデル選択

🔧 技術詳細

このモデルは、内部に異なるモデルが含まれているため、完全なシーケンス終了トークンを持たない可能性があります。これは多くのマージモデルが抱える問題です。これを最小限に抑えるための試みが行われていますが、時折、奇妙な動作をするトークンが表示されることがあります。一度手動で編集すれば、モデルはそれを理解するはずです。 チャットは、このモデルで最もテストされていない領域の1つです。かなりうまく機能しますが、キャラクターカードに依存することがあります。 このモデルは、ナラティブと散文に焦点を当てています。そのため、指示や他のコンテキスト内で、コラボレーターやナレーターとして行動するように指示された場合、話しかけることができます。これは、主に指示を追加して制限するか、チャットモードを使用することで軽減できます。

📄 ライセンス

このモデルのライセンスはcc-by-nc-4.0です。