Llama 3 70b Arimas Story RP V1.6 4.5bpw H6 Exl2

🚀 [ryzen88/Llama-3-70b-Arimas-story-RP-V1.6的EXL2量化版本]

本項目提供了 ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 模型的EXL2量化版本，涵蓋不同比特率的量化模型，能滿足多樣化的使用需求。

🚀 快速開始

以下是不同比特率的量化模型鏈接：

• 每權重3.00比特
• 每權重3.50比特
• 每權重4.00比特
• 每權重4.50比特
• 每權重6.00比特
• 每權重8.00比特

這些量化模型使用 exllamav2 1.4.0 的 convert.py 默認參數創建，具體參數如下：

• 3.0bpw 到 6.0bpw 的頭部比特數 = 6
• 8.0bpw 的頭部比特數 = 8
• 長度 = 8192
• 數據集行數 = 200
• 測量行數 = 32
• 測量長度 = 8192

📚 詳細文檔

模型信息

模型名稱：Llama-3-70b-Arimas-story-RP-V1.6

這是一個使用 mergekit 合併預訓練語言模型得到的模型。

合併詳情

在本次合併中，大幅增加了所使用的模型數量，並對不同的想法進行了大量實驗。這個版本比 V1.5 更具說服力，希望在量化後長上下文窗口的性能依然強勁。由於進行了多次合併，因此從 BFloat 切換回了 Float。嘗試在沒有 Ties 的情況下使用 breadcrums 方法，結果很不理想。

合併方法

該模型使用 breadcrumbs_ties 合併方法，以 I:\Llama-3-70B-Instruct-Gradient-262k 為基礎進行合併。

合併的模型

以下模型參與了合併：

• \Smaug-Llama-3-70B-Instruct
• \Meta-LLama-3-Cat-Smaug-LLama-70b
• \Meta-LLama-3-Cat-A-LLama-70b
• \Llama-3-70B-Synthia-v3.5
• \Llama-3-70B-Instruct-Gradient-524k
• \Llama-3-70B-Instruct-Gradient-262k
• \Tess-2.0-Llama-3-70B-v0.2
• \Llama-3-Lumimaid-70B-v0.1-alt

配置

以下是用於生成該模型的 YAML 配置：

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16