Layris 9B GGUF IQ Imatrix

🚀 變形金剛（transformers）

本項目提供了ChaoticNeutrals/Layris_9B模型的GGUF-Imatrix量化方案，可用於文本生成，同時介紹了模型的合併細節等信息。

🚀 快速開始

量化選項代碼示例

    quantization_options = [
        "Q4_K_M", "Q4_K_S", "IQ4_XS", "Q5_K_M", 
        "Q5_K_S", "Q6_K", "Q8_0", "IQ3_M", "IQ3_S", "IQ3_XS", "IQ3_XXS"
    ]

✨ 主要特性

模型量化相關

• 提供了ChaoticNeutrals/Layris_9B模型的GGUF-Imatrix量化版本。
• 量化選項豐富，包括 "Q4_K_M"、"Q4_K_S" 等多種類型。
• 新的 IQ3_S 量化選項在 koboldcpp-1.59.1 或更高版本中表現優於舊的 Q3_K_S。

模型合併相關

• 本模型（Layris）是使用 mergekit 對預訓練語言模型進行合併得到的。
• 採用了 passthrough 合併方法。
• 合併的模型包括 ChaoticNeutrals/Eris_Remix_7B 和 l3utterfly/mistral-7b-v0.1-layla-v4。

📚 詳細文檔

支持信息

⚠️ 重要提示

最近我的上傳速度很慢且不穩定。實際上，我需要更換網絡服務提供商來改善這種情況。如果您願意並且有能力的話，可以通過這裡（Ko-fi）支持我。對於給您帶來的不便，我深表歉意。

GGUF-Imatrix 量化說明

所有榮譽歸原作者所有。如果您喜歡這些內容，可以查看 FantasiaFoundry's GGUF-IQ-Imatrix-Quantization-Script 的相關工作。

個人說明：由於該模型與無約束的 Layla-V4 進行了合併，因此它的拒絕率應該會更低。

“Imatrix” 的含義

“Imatrix” 代表 Importance Matrix（重要性矩陣），這是一種用於提高量化模型質量的技術。[1]

Imatrix 是根據校準數據計算得出的，它有助於在量化過程中確定不同模型激活的重要性。其理念是在量化過程中保留最重要的信息，這有助於減少模型性能的損失，並實現更好的質量保留，特別是在校準數據多樣化的情況下。[2]

對於 --imatrix 數據，使用了包含的 imatrix.dat。

使用 llama.cpp-b2350 進行如下轉換：

Base⇢ GGUF(F16)⇢ Imatrix-Data(F16)⇢ GGUF(Imatrix-Quants)

如果您希望添加特定的量化類型，請隨時提出。

模型卡片

原始模型信息

Layris

這是一個使用 mergekit 創建的預訓練語言模型合併版本。

合併詳情

• 合併方法：本模型採用 passthrough 合併方法。
• 合併的模型：
  • ChaoticNeutrals/Eris_Remix_7B
  • l3utterfly/mistral-7b-v0.1-layla-v4
• 配置：使用以下 YAML 配置生成此模型：

slices:
  - sources:
      - model: ChaoticNeutrals/Eris_Remix_7B
        layer_range: [0, 20]
  - sources:
      - model: l3utterfly/mistral-7b-v0.1-layla-v4
        layer_range: [12, 32]
merge_method: passthrough
dtype: float16