Angelslayer 12B Unslop Mell RPMax DARKNESS V3

🚀 AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-v3

人々は「彼」が終末をもたらすと言う。彼女は破壊ではなく理解を求める。

これは、mergekitを使用して作成された事前学習言語モデルのマージです。

これはv2bに近いものです。前回の出力が退屈だというフィードバックを受け、私も同感してパラメータを調整しました。元のベースモデルはとても良いと思っていますが、v2ではパラメータを低く設定しすぎて、より創造的なモデルの「味付け」が足りませんでした。もしこのモデルの使用感が良くない場合は、v2と比較してみてください。このモデルは必ずしも良いとは限らず、単なる代替案です。現在は新しい面白いマージに取り組んでいるため、テストはまだ行っていません。

これは9番目のモデルです。

🚀 クイックスタート

このモデルは事前学習言語モデルをマージして作成されており、transformersライブラリを使用して操作できます。

✨ 主な機能

• 複数の事前学習言語モデルをマージしています。
• 創造的な文章生成やロールプレイ、チャットなどの用途に適しています。

📚 ドキュメント

🔍 マージの詳細

マージ方法

このモデルは、TheDrummer/UnslopNemo-12B-v4をベースに、線形のDELLAマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています：

• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• inflatebot/MN-12B-Mag-Mell-R1

設定

以下のYAML設定を使用してこのモデルが生成されました：

models:
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight:
        - filter: self_attn
          value: 0.35
        - filter: mlp
          value: 0.2
        - value: 0.25
      density: 0.65
  - model: TheDrummer/UnslopNemo-12B-v4
    parameters:
      weight:
        - filter: self_attn
          value: 0.3
        - filter: mlp
          value: 0.15
        - value: 0.2
      density: 0.6
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.35
        - value: 0.3
      density: 0.75
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight:
        - filter: mlp
          value: 0.35
        - value: 0.25
      density: 0.7
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.05
  lambda: 1

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

📋 モデル情報