D AU Mistral 7B Instruct V0.2 Bagel DarkSapling DPO 7B V2.0 Imat Plus GGUF

🚀 「D_AU-Mistral-7B-Instruct-v0.2-Bagel-DarkSapling-DPO-7B-v2.0」のImatrix圧縮

「D_AU-Mistral-7B-Instruct-v0.2-Bagel-DarkSapling-DPO-7B-v2.0」のFPマージのImatrix圧縮についてです。

「Imatrix Plus」は、Imatrixのアップグレード版で、圧縮の特定部分に全精度を使用しています。その結果、すべての圧縮ファイルは標準の7B圧縮よりも少し大きくなります。

この方法は、特に低圧縮率の場合に、より高品質のモデルをもたらします。この方法は、IQ1からQ8までのすべての圧縮に適用されています。

最も圧縮率の高いIQ1_Sでも機能しますが、品質を考慮するとIQ4/Q4を最低限とすることをおすすめします。最高品質はQ6/Q8です。

Q8 Imatrix Plusの品質は、標準のQ8や通常のImatrix Q8を上回ります。

このマージは、「DarkSapling」の既存のロールプレイ、フィクション、ストーリー生成機能を、「Bagel」のいくつかの特性とMistral Instructベースでテストする実験でした。

Imatrix plusについては、モデルの特定領域での高精度をテストし、少し大きな圧縮ファイルを生成しました。さらに、Imatrixプロセス自体では、標準よりも大きな「キャリブレーション」ファイルを使用して品質をさらに向上させました。

このプロセスにより、各圧縮ファイルに約250MBが追加されました。さらなる強化により、各圧縮ファイルにさらに250MBが追加されました。

テキスト生成には、空白または標準のAlpacaテンプレートが使用できます。

コンテキスト長: 32768。

具体的な使用方法、追加のクレジット、ヒントについては、以下の「マージされたモデル」の元のモデルカードを参照してください。

🚀 クイックスタート

このモデルは、テキスト生成に使用できます。空白または標準のAlpacaテンプレートを使用して、コンテキスト長32768で動作します。

✨ 主な機能

• 「Imatrix Plus」を使用した高精度圧縮
• 低圧縮率でも高品質のモデル
• 様々な圧縮率（IQ1 - Q8）に対応
• ロールプレイ、フィクション、ストーリー生成に適している

📚 ドキュメント

マージについて

このモデルは、mergekitを使用して事前学習された言語モデルをマージして作成されました。

マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• TeeZee/DarkSapling-7B-v2.0
• MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp

設定

以下のYAML設定がこのモデルの生成に使用されました。

slices:
  - sources:
      - model: MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp
        layer_range: [0, 32]
      - model: TeeZee/DarkSapling-7B-v2.0
        layer_range: [0, 32]
merge_method: slerp
base_model: MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。