Llama-3-70b合并模型开源！专用于故事生成与角色扮演，支持长上下文

首页

Llama 3 70b Arimas Story RP V1.6 4.0bpw H6 Exl2

由 kim512 开发

基于Llama 3 70B架构的合并模型，专为故事生成和角色扮演优化，支持长上下文窗口

大型语言模型

Transformers

#长上下文推理 #角色扮演优化 #多模型融合

下载量 20

发布时间 : 4/25/2025

模型简介

这是一个通过mergekit合并多个Llama 3 70B变体而成的模型，专注于故事创作和角色扮演场景，特别优化了长文本生成能力

模型特点

多模型合并

整合了8个不同的Llama 3 70B变体，包括Smaug、Synthia等优秀模型

长上下文支持

特别优化了长上下文窗口表现，支持8192 tokens的上下文长度

角色扮演优化

针对故事创作和角色扮演场景进行了专门优化

多重量化版本

提供从3.0到8.0比特/权重的多种EXL2量化版本，满足不同硬件需求

模型能力

长文本生成

角色扮演对话

故事创作

指令跟随

使用案例

创意写作

故事生成

生成连贯的长篇故事内容

可生成情节丰富的多章节故事

娱乐应用

角色扮演聊天

与AI角色进行沉浸式对话

提供生动的人物互动体验

🚀 [ryzen88/Llama-3-70b-Arimas-story-RP-V1.6的EXL2量化版本]

本项目提供了 ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 模型的EXL2量化版本，方便不同场景下的使用。

🚀 快速开始

以下是不同比特率的量化版本链接：

这些量化版本使用 exllamav2 1.4.0 的 convert.py 默认参数创建，具体参数如下：

3.0bpw 到 6.0bpw 的头部比特数 = 6
8.0bpw 的头部比特数 = 8
长度 = 8192
数据集行数 = 200
测量行数 = 32
测量长度 = 8192

✨ 主要特性

本模型 Llama-3-70b-Arimas-story-RP-V1.6 是使用 mergekit 对预训练语言模型进行合并得到的。

合并详情

大幅增加了合并中使用的模型数量，并对不同的想法进行了大量实验。此版本比 V1.5 更具说服力，希望在量化后长上下文窗口的性能依然强劲。
由于多次合并，从 BFloat 切换回了 Float。
尝试了不带 Ties 的 breadcrums 方法，但效果很差。

合并方法

该模型使用 breadcrumbs_ties 合并方法，以 I:\Llama-3-70B-Instruct-Gradient-262k 为基础进行合并。

合并的模型

以下模型参与了合并：

\Smaug-Llama-3-70B-Instruct
\Meta-LLama-3-Cat-Smaug-LLama-70b
\Meta-LLama-3-Cat-A-LLama-70b
\Llama-3-70B-Synthia-v3.5
\Llama-3-70B-Instruct-Gradient-524k
\Llama-3-70B-Instruct-Gradient-262k
\Tess-2.0-Llama-3-70B-v0.2
\Llama-3-Lumimaid-70B-v0.1-alt

配置

以下是用于生成此模型的 YAML 配置：

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16