Prodigy 7B GGUF Imatrix

🚀 GGUF-Imatrix量化版 ChaoticNeutrals/Prodigy_7B

本项目提供了针对 ChaoticNeutrals/Prodigy_7B 的GGUF-Imatrix量化模型。通过使用Importance Matrix技术，提升量化模型的质量，减少量化过程中模型性能的损失。

基础信息

🚀 快速开始

什么是 "Imatrix"？

“Imatrix” 代表 Importance Matrix（重要性矩阵），这是一种用于提高量化模型质量的技术。

Imatrix 是基于校准数据计算得出的，它有助于在量化过程中确定不同模型激活的重要性。其核心思想是在量化过程中保留最重要的信息，从而减少模型性能的损失。

使用 Imatrix 的好处之一是可以提升模型性能，特别是在校准数据多样化的情况下。

更多信息：[1] [2]

如果您希望添加特定的量化方式，请随时提出。

所有荣誉归 创作者 所有。

量化流程

基础模型 ⇢ GGUF(F16) ⇢ Imatrix-Data(F16) ⇢ GGUF(Imatrix-Quants)

新的 IQ3_S 量化选项表现优于旧的 Q3_K_S，因此本项目添加了 IQ3_S 而非 Q3_K_S。该选项仅在 koboldcpp-1.59.1 或更高版本中支持。

本项目使用 llama.cpp-b2277 进行处理。

对于 --imatrix 数据，使用了 imatrix-Prodigy_7B-F16.dat。

📚 详细文档

原始模型信息

Wing

此模型是使用 mergekit 合并预训练语言模型得到的。

合并详情

合并方法

本模型采用 SLERP 合并方法进行合并。

合并模型

以下模型参与了合并：

• macadeliccc/WestLake-7B-v2-laser-truthy-dpo
• ChaoticNeutrals/This_is_fine_7B

配置

以下是用于生成此模型的 YAML 配置：

slices:
  - sources:
      - model: ChaoticNeutrals/This_is_fine_7B
        layer_range: [0, 32]
      - model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
        layer_range: [0, 32]
merge_method: slerp
base_model: macadeliccc/WestLake-7B-v2-laser-truthy-dpo
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: float16