Magnolia Mell V1 12B GGUF

🚀 Magnolia-Mell-v1-12B-GGUF

これは、mergekitを使用して作成された事前学習言語モデルのマージに関する量子化されたGGUFファイルのセットです。 非対称勾配SLERPを使用して、MN-12B-Mag-Mell-R1をMagnolia-v3-12Bに軽く適用しました。 temperature=1.0 と minP=0.02 でナラティブテキストの補完をテストしました。一貫性はかなり高いですが、時々不具合がある場合があります。繰り返しが問題になる場合は、一時的にtemperatureを上げると改善するかもしれません。このモデルはtemperature=2.0でも耐えられるようです。

🚀 クイックスタート

このモデルは、事前学習言語モデルのマージによって生成された量子化GGUFファイルを提供します。以下の情報を参考に、利用を開始できます。

✨ 主な機能

• 非対称勾配SLERPを用いたモデルマージ
• ナラティブテキスト補完に適している
• 比較的高い一貫性を持つ

📚 ドキュメント

🔍 マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• inflatebot/MN-12B-Mag-Mell-R1
• grimjim/Magnolia-v3-12B

設定

このモデルを生成するために、以下のYAML設定が使用されました。

base_model: grimjim/Magnolia-v3-12B
dtype: bfloat16
merge_method: slerp
slices:
- sources:
  - model: grimjim/Magnolia-v3-12B
    layer_range: [0,40]
  - model: inflatebot/MN-12B-Mag-Mell-R1
    layer_range: [0,40]
parameters:
  t:
    - filter: self_attn
      value: [0.0,0.09]
    - filter: mlp
      value: [0.09,0.0]
    - value: [0.0,0.09]