Patricide 12B Unslop Mell V2

🚀 patricide-12B-Unslop-Mell-v2

このモデルは、mergekitを使用して作成された事前学習言語モデルのマージです。長期的なコンテキストでの性能はまだ不明ですが、初期テストでは安定性と有効な回答が得られています。

🚀 クイックスタート

このモデルは、mergekitを使用して事前学習言語モデルをマージすることで作成されました。これは作成者の7番目のモデルで、TheDrummer/UnslopNemo-12B-v4を使用しました。このモデルは、知能を犠牲にしてより多くのanti - GPTismの影響を持つとされているため、将来のマージでも使用する予定です。

✨ 主な機能

• 事前学習言語モデルのマージにより作成されています。
• パラメータを調整してバランスを取り、NuSLERPのテストも行っています。
• 初期テストでは安定性と有効な回答が得られています。

📚 ドキュメント

テスト段階: 初期テスト

このモデルが長期的なコンテキストでどのように機能するかは不明です。初期テストでは安定性と有効な回答が得られました。

パラメータ

量子化

静的な GGUF 量子化モデルは以下の場所で入手できます:

• MaziyarPanahi/patricide-12B-Unslop-Mell-v2-GGUF
• mradermacher/patricide-12B-Unslop-Mell-v2-GGUF

マージの詳細

マージ方法

このモデルは、NuSLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています:

• inflatebot/MN-12B-Mag-Mell-R1
• TheDrummer/UnslopNemo-12B-v4

設定

このモデルを作成するために使用されたYAML設定は以下の通りです:

models:
  - model: TheDrummer/UnslopNemo-12B-v4
    parameters:
      weight: [0.6, 0.5, 0.3, 0.5, 0.6]
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: [0.4, 0.5, 0.7, 0.5, 0.4]
merge_method: nuslerp
dtype: bfloat16
chat_template: "chatml"
tokenizer:
  source: union
parameters:
  normalize: true
  int8_mask: true

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。