Layris 9B GGUF IQ Imatrix

🚀 变形金刚（transformers）

本项目提供了ChaoticNeutrals/Layris_9B模型的GGUF-Imatrix量化方案，可用于文本生成，同时介绍了模型的合并细节等信息。

🚀 快速开始

量化选项代码示例

    quantization_options = [
        "Q4_K_M", "Q4_K_S", "IQ4_XS", "Q5_K_M", 
        "Q5_K_S", "Q6_K", "Q8_0", "IQ3_M", "IQ3_S", "IQ3_XS", "IQ3_XXS"
    ]

✨ 主要特性

模型量化相关

• 提供了ChaoticNeutrals/Layris_9B模型的GGUF-Imatrix量化版本。
• 量化选项丰富，包括 "Q4_K_M"、"Q4_K_S" 等多种类型。
• 新的 IQ3_S 量化选项在 koboldcpp-1.59.1 或更高版本中表现优于旧的 Q3_K_S。

模型合并相关

• 本模型（Layris）是使用 mergekit 对预训练语言模型进行合并得到的。
• 采用了 passthrough 合并方法。
• 合并的模型包括 ChaoticNeutrals/Eris_Remix_7B 和 l3utterfly/mistral-7b-v0.1-layla-v4。

📚 详细文档

支持信息

⚠️ 重要提示

最近我的上传速度很慢且不稳定。实际上，我需要更换网络服务提供商来改善这种情况。如果您愿意并且有能力的话，可以通过这里（Ko-fi）支持我。对于给您带来的不便，我深表歉意。

GGUF-Imatrix 量化说明

所有荣誉归原作者所有。如果您喜欢这些内容，可以查看 FantasiaFoundry's GGUF-IQ-Imatrix-Quantization-Script 的相关工作。

个人说明：由于该模型与无约束的 Layla-V4 进行了合并，因此它的拒绝率应该会更低。

“Imatrix” 的含义

“Imatrix” 代表 Importance Matrix（重要性矩阵），这是一种用于提高量化模型质量的技术。[1]

Imatrix 是根据校准数据计算得出的，它有助于在量化过程中确定不同模型激活的重要性。其理念是在量化过程中保留最重要的信息，这有助于减少模型性能的损失，并实现更好的质量保留，特别是在校准数据多样化的情况下。[2]

对于 --imatrix 数据，使用了包含的 imatrix.dat。

使用 llama.cpp-b2350 进行如下转换：

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

如果您希望添加特定的量化类型，请随时提出。

模型卡片

原始模型信息

Layris

这是一个使用 mergekit 创建的预训练语言模型合并版本。

合并详情

• 合并方法：本模型采用 passthrough 合并方法。
• 合并的模型：
  • ChaoticNeutrals/Eris_Remix_7B
  • l3utterfly/mistral-7b-v0.1-layla-v4
• 配置：使用以下 YAML 配置生成此模型：

slices:
  - sources:
      - model: ChaoticNeutrals/Eris_Remix_7B
        layer_range: [0, 20]
  - sources:
      - model: l3utterfly/mistral-7b-v0.1-layla-v4
        layer_range: [12, 32]
merge_method: passthrough
dtype: float16