Prodigy 7B GGUF Imatrix

🚀 GGUF-Imatrix量化版 ChaoticNeutrals/Prodigy_7B

本項目提供了針對 ChaoticNeutrals/Prodigy_7B 的GGUF-Imatrix量化模型。通過使用Importance Matrix技術，提升量化模型的質量，減少量化過程中模型性能的損失。

基礎信息

🚀 快速開始

什麼是 "Imatrix"？

“Imatrix” 代表 Importance Matrix（重要性矩陣），這是一種用於提高量化模型質量的技術。

Imatrix 是基於校準數據計算得出的，它有助於在量化過程中確定不同模型激活的重要性。其核心思想是在量化過程中保留最重要的信息，從而減少模型性能的損失。

使用 Imatrix 的好處之一是可以提升模型性能，特別是在校準數據多樣化的情況下。

更多信息：[1] [2]

如果您希望添加特定的量化方式，請隨時提出。

所有榮譽歸 創作者 所有。

量化流程

基礎模型 ⇢ GGUF(F16) ⇢ Imatrix-Data(F16) ⇢ GGUF(Imatrix-Quants)

新的 IQ3_S 量化選項表現優於舊的 Q3_K_S，因此本項目添加了 IQ3_S 而非 Q3_K_S。該選項僅在 koboldcpp-1.59.1 或更高版本中支持。

本項目使用 llama.cpp-b2277 進行處理。

對於 --imatrix 數據，使用了 imatrix-Prodigy_7B-F16.dat。

📚 詳細文檔

原始模型信息

Wing

此模型是使用 mergekit 合併預訓練語言模型得到的。

合併詳情

合併方法

本模型採用 SLERP 合併方法進行合併。

合併模型

以下模型參與了合併：

• macadeliccc/WestLake-7B-v2-laser-truthy-dpo
• ChaoticNeutrals/This_is_fine_7B

配置

以下是用於生成此模型的 YAML 配置：

slices:
  - sources:
      - model: ChaoticNeutrals/This_is_fine_7B
        layer_range: [0, 32]
      - model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        layer_range: [0, 32]
merge_method: slerp
base_model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: float16