Llama-3-70b合併模型開源！專用於故事生成與角色扮演，支持長上下文

首頁

Llama 3 70b Arimas Story RP V1.6 4.0bpw H6 Exl2

由kim512開發

基於Llama 3 70B架構的合併模型，專為故事生成和角色扮演優化，支持長上下文窗口

大型語言模型

Transformers

#長上下文推理 #角色扮演優化 #多模型融合

下載量 20

發布時間 : 4/25/2025

模型概述

這是一個通過mergekit合併多個Llama 3 70B變體而成的模型，專注於故事創作和角色扮演場景，特別優化了長文本生成能力

模型特點

多模型合併

整合了8個不同的Llama 3 70B變體，包括Smaug、Synthia等優秀模型

長上下文支持

特別優化了長上下文窗口表現，支持8192 tokens的上下文長度

角色扮演優化

針對故事創作和角色扮演場景進行了專門優化

多重量化版本

提供從3.0到8.0比特/權重的多種EXL2量化版本，滿足不同硬件需求

模型能力

長文本生成

角色扮演對話

故事創作

指令跟隨

使用案例

創意寫作

故事生成

生成連貫的長篇故事內容

可生成情節豐富的多章節故事

娛樂應用

角色扮演聊天

與AI角色進行沉浸式對話

提供生動的人物互動體驗

🚀 [ryzen88/Llama-3-70b-Arimas-story-RP-V1.6的EXL2量化版本]

本項目提供了 ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 模型的EXL2量化版本，方便不同場景下的使用。

🚀 快速開始

以下是不同比特率的量化版本鏈接：

這些量化版本使用 exllamav2 1.4.0 的 convert.py 默認參數創建，具體參數如下：

3.0bpw 到 6.0bpw 的頭部比特數 = 6
8.0bpw 的頭部比特數 = 8
長度 = 8192
數據集行數 = 200
測量行數 = 32
測量長度 = 8192

✨ 主要特性

本模型 Llama-3-70b-Arimas-story-RP-V1.6 是使用 mergekit 對預訓練語言模型進行合併得到的。

合併詳情

大幅增加了合併中使用的模型數量，並對不同的想法進行了大量實驗。此版本比 V1.5 更具說服力，希望在量化後長上下文窗口的性能依然強勁。
由於多次合併，從 BFloat 切換回了 Float。
嘗試了不帶 Ties 的 breadcrums 方法，但效果很差。

合併方法

該模型使用 breadcrumbs_ties 合併方法，以 I:\Llama-3-70B-Instruct-Gradient-262k 為基礎進行合併。

合併的模型

以下模型參與了合併：

\Smaug-Llama-3-70B-Instruct
\Meta-LLama-3-Cat-Smaug-LLama-70b
\Meta-LLama-3-Cat-A-LLama-70b
\Llama-3-70B-Synthia-v3.5
\Llama-3-70B-Instruct-Gradient-524k
\Llama-3-70B-Instruct-Gradient-262k
\Tess-2.0-Llama-3-70B-v0.2
\Llama-3-Lumimaid-70B-v0.1-alt

配置

以下是用於生成此模型的 YAML 配置：

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16