Llama 3 70b Arimas Story RP V1.6 4.5bpw H6 Exl2

🚀 [ryzen88/Llama-3-70b-Arimas-story-RP-V1.6的EXL2量化版本]

本项目提供了 ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 模型的EXL2量化版本，涵盖不同比特率的量化模型，能满足多样化的使用需求。

🚀 快速开始

以下是不同比特率的量化模型链接：

• 每权重3.00比特
• 每权重3.50比特
• 每权重4.00比特
• 每权重4.50比特
• 每权重6.00比特
• 每权重8.00比特

这些量化模型使用 exllamav2 1.4.0 的 convert.py 默认参数创建，具体参数如下：

• 3.0bpw 到 6.0bpw 的头部比特数 = 6
• 8.0bpw 的头部比特数 = 8
• 长度 = 8192
• 数据集行数 = 200
• 测量行数 = 32
• 测量长度 = 8192

📚 详细文档

模型信息

模型名称：Llama-3-70b-Arimas-story-RP-V1.6

这是一个使用 mergekit 合并预训练语言模型得到的模型。

合并详情

在本次合并中，大幅增加了所使用的模型数量，并对不同的想法进行了大量实验。这个版本比 V1.5 更具说服力，希望在量化后长上下文窗口的性能依然强劲。由于进行了多次合并，因此从 BFloat 切换回了 Float。尝试在没有 Ties 的情况下使用 breadcrums 方法，结果很不理想。

合并方法

该模型使用 breadcrumbs_ties 合并方法，以 I:\Llama-3-70B-Instruct-Gradient-262k 为基础进行合并。

合并的模型

以下模型参与了合并：

• \Smaug-Llama-3-70B-Instruct
• \Meta-LLama-3-Cat-Smaug-LLama-70b
• \Meta-LLama-3-Cat-A-LLama-70b
• \Llama-3-70B-Synthia-v3.5
• \Llama-3-70B-Instruct-Gradient-524k
• \Llama-3-70B-Instruct-Gradient-262k
• \Tess-2.0-Llama-3-70B-v0.2
• \Llama-3-Lumimaid-70B-v0.1-alt

配置

以下是用于生成该模型的 YAML 配置：

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16