D AU Mistral 7B Instruct V0.2 Bagel DarkSapling DPO 7B V2.0 Imat Plus GGUF

🚀 "D_AU-Mistral-7B-Instruct-v0.2-Bagel-DarkSapling-DPO-7B-v2.0"的Imatrix壓縮模型

本項目是對 "D_AU-Mistral-7B-Instruct-v0.2-Bagel-DarkSapling-DPO-7B-v2.0" 進行FP合併後的Imatrix壓縮。"Imatrix Plus" 是Imatrix的升級版，它在壓縮的特定部分使用了全精度。因此，所有的壓縮文件大小都會比標準的7B壓縮文件略大。

這種方法能夠得到更高質量的模型，尤其是在低壓縮率的情況下。該方法適用於從IQ1到Q8的所有壓縮級別。即使是壓縮率最高的IQ1_S版本也能正常工作，但為保證質量，建議最低使用IQ4/Q4。Q6/Q8能達到最高質量，其中Q8 Imatrix Plus的質量將超過標準Q8和普通Imatrix Q8。

這次合併是一次實驗，旨在測試 "DarkSapling" 已有的角色扮演、小說和故事生成能力，並結合 "Bagel" 的一些特性，以Mistral Instruct為基礎模型。對於Imatrix plus，這是對模型特定區域高精度的一次測試，導致壓縮文件略大。此外，Imatrix過程本身使用了比標準更大的 "校準" 文件，以進一步提高質量。這個過程使每個壓縮文件大約增加了250MB，另外的增強處理又使每個壓縮文件增加了250MB。

使用空白或標準的Alpaca模板進行文本生成即可。模型的上下文長度為32768。具體的使用細節、額外的致謝和提示，請參考下面 "合併的模型" 部分中的原始模型卡片。

🚀 快速開始

使用空白或標準的Alpaca模板即可進行文本生成，模型上下文長度為32768。

✨ 主要特性

• Imatrix Plus升級：在壓縮的特定部分使用全精度，生成更高質量的模型，尤其在低壓縮率下表現出色。
• 多壓縮級別適用：該方法適用於從IQ1到Q8的所有壓縮級別。
• 高質量保證：即使是壓縮率最高的IQ1_S版本也能正常工作，建議最低使用IQ4/Q4，Q6/Q8能達到最高質量。
• 實驗性合併：結合了 "DarkSapling" 和 "Bagel" 的特性，以Mistral Instruct為基礎模型。

📚 詳細文檔

合併詳情

合併方法

本模型使用SLERP合併方法進行合併。

合併的模型

以下模型參與了合併：

• TeeZee/DarkSapling-7B-v2.0
• MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp

配置

以下是用於生成此模型的YAML配置：

slices:
  - sources:
      - model: MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp
        layer_range: [0, 32]
      - model: TeeZee/DarkSapling-7B-v2.0
        layer_range: [0, 32]
merge_method: slerp
base_model: MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.2-slerp
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

📄 許可證

本項目採用MIT許可證。