Nina V2 7B

🚀 Nina-v2-7B

このモデルは、mergekitを使用して作成された事前学習言語モデルのマージです。キャラクターを維持するのに優れた性能を発揮します。

🚀 クイックスタート

このモデルは、キャラクターを維持するのに非常に良い仕事をしています。

Sillytavernのプリセットはこちらのフォルダにあります。

私はadded_tokens.jsonを削除し、config.jsonを編集してggufと互換性を持たせました。何か問題があれば、ご連絡ください。

✨ 主な機能

キャラクターカードを用意しています。これは新しいキャラクターを作成するのに役立つはずです。 形式はhttps://twitter.com/victorianmaidsからコピーしています。

🔧 技術詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• Virt-io/Nina-7B
• NousResearch/Hermes-2-Pro-Mistral-7B

設定

このモデルを生成するために使用されたYAML設定は次のとおりです。

slices:
  - sources:
      - model: NousResearch/Hermes-2-Pro-Mistral-7B
        layer_range: [0, 32]
      - model: Virt-io/Nina-7B
        layer_range: [0, 32]
merge_method: slerp
base_model: NousResearch/Hermes-2-Pro-Mistral-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16