Prodigy 7B GGUF Imatrix

🚀 [ChaoticNeutrals/Prodigy_7BのGGUF-Imatrix量子化]

ChaoticNeutrals/Prodigy_7B のGGUF-Imatrix量子化に関するプロジェクトです。この手法は量子化モデルの品質向上に役立ちます。

🚀 クイックスタート

本プロジェクトは、ChaoticNeutrals/Prodigy_7B のGGUF-Imatrix量子化に関するものです。以下に詳細を説明します。

✨ 主な機能

"Imatrix"の意味

「Imatrix」は Importance Matrix の略で、量子化モデルの品質向上に使用される手法です。Imatrix はキャリブレーションデータに基づいて計算され、量子化プロセス中の異なるモデルアクティベーションの重要度を判断するのに役立ちます。量子化中に最も重要な情報を保持することで、モデルの性能低下を軽減することができます。

Imatrixを使用する利点の1つは、キャリブレーションデータが多様な場合、特にモデルの性能を向上させることができることです。

詳細情報: [1] [2]

量子化オプション

新しい IQ3_S 量子化オプションは、古いQ3_K_Sよりも優れていることが示されているため、後者の代わりに追加しました。これは koboldcpp-1.59.1 以上でのみサポートされています。

使用ライブラリ

llama.cpp-b2277 を使用しています。

--imatrixデータ

imatrix-Prodigy_7B-F16.dat が --imatrixデータとして使用されています。

📚 ドキュメント

元のモデル情報

Wing

このモデルは、mergekit を使用して事前学習された言語モデルをマージしたものです。

マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています。

• macadeliccc/WestLake-7B-v2-laser-truthy-dpo
• ChaoticNeutrals/This_is_fine_7B

設定

以下のYAML設定がこのモデルを生成するために使用されました。

slices:
  - sources:
      - model: ChaoticNeutrals/This_is_fine_7B
        layer_range: [0, 32]
      - model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        layer_range: [0, 32]
merge_method: slerp
base_model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: float16

その他情報

• 特定の量子化を追加してほしい場合は、自由にお問い合わせください。
• すべてのクレジットは creator に帰属します。
• Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

📄 ライセンス

すべてのクレジットは creator に帰属します。

情報テーブル