Llama 3 70b Arimas Story RP V1.6 3.5bpw H6 Exl2

🚀 [Llama-3-70b-Arimas-story-RP-V1.6 EXL2量化模型]

本項目提供了 ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 模型的EXL2量化版本，涵蓋多種比特位的量化模型，方便不同場景下的使用。

🚀 快速開始

EXL2量化模型鏈接

• 3.00 bits per weight
• 3.50 bits per weight
• 4.00 bits per weight
• 4.50 bits per weight
• 6.00 bits per weight
• 8.00 bits per weight

量化參數

• 使用 exllamav2 1.4.0 convert.py 的默認設置創建。
• 3.0bpw 到 6.0bpw 頭部比特數 = 6
• 8.0bpw 頭部比特數 = 8
• 長度 = 8192
• 數據集行數 = 200
• 測量行數 = 32
• 測量長度 = 8192

✨ 主要特性

模型概述

Llama-3-70b-Arimas-story-RP-V1.6 是一個使用 mergekit 合併預訓練語言模型得到的模型。

合併詳情

• 大幅擴展了合併中使用的模型數量，並對不同的想法進行了大量實驗。此版本比 V1.5 更具說服力，希望在量化後長上下文窗口仍能保持良好性能。
• 由於多次合併，從 BFloat 切換回 Float。
• 嘗試了不帶 Ties 的 breadcrums 方法，但效果很差。

合併方法

此模型使用 breadcrumbs_ties 合併方法，以 I:\Llama-3-70B-Instruct-Gradient-262k 為基礎進行合併。

合併模型

以下模型參與了合併：

• \Smaug-Llama-3-70B-Instruct
• \Meta-LLama-3-Cat-Smaug-LLama-70b
• \Meta-LLama-3-Cat-A-LLama-70b
• \Llama-3-70B-Synthia-v3.5
• \Llama-3-70B-Instruct-Gradient-524k
• \Llama-3-70B-Instruct-Gradient-262k
• \Tess-2.0-Llama-3-70B-v0.2
• \Llama-3-Lumimaid-70B-v0.1-alt

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16