Llama-3-70b-Arimas-story-RP-V1.6-3.0bpw-h6-exl2開源模型 - 優化角色扮演與故事生成體驗

首頁

Llama 3 70b Arimas Story RP V1.6 3.0bpw H6 Exl2

由kim512開發

這是Llama-3-70B模型的角色扮演和故事生成專用版本，經過多模型合併優化和EXL2量化處理

大型語言模型

Transformers

#長文本角色扮演 #多模型融合 #高精度故事生成

下載量 25

發布時間 : 4/25/2025

模型概述

基於Llama-3-70B的多模型合併版本，專注於故事生成和角色扮演任務，提供不同比特率的EXL2量化選項

模型特點

多模型合併優化

採用breadcrumbs_ties方法合併8個不同Llama-3-70B變體，優化故事生成和角色扮演能力

EXL2量化選項

提供從3.0到8.0比特/權重的多種量化版本，平衡模型大小與性能

長上下文支持

支持8192標記的上下文長度，適合長篇故事創作和複雜角色扮演

模型能力

創意故事生成

角色扮演對話

長文本連貫性保持

多輪對話理解

使用案例

娛樂創作

互動式故事創作

與模型互動共同創作長篇故事

生成連貫、富有創意的故事情節

角色扮演遊戲

作為虛擬角色與用戶進行沉浸式對話

提供個性鮮明的角色回應和劇情發展

內容創作

小說寫作輔助

幫助作家生成創意段落或克服寫作障礙

提供多樣化的寫作靈感和內容建議

🚀 [ryzen88/Llama-3-70b-Arimas-story-RP-V1.6的EXL2量化模型]

本項目提供了 ryzen88/Llama-3-70b-Arimas-story-RP-V1.6 的EXL2量化模型，這些量化模型在不同的比特率下提供了不同的性能和精度平衡，可滿足多種應用場景的需求。

🚀 快速開始

這裡提供了不同比特率的EXL2量化版本鏈接：

這些量化模型是使用exllamav2 1.4.0的convert.py默認參數創建的，具體參數如下：

3.0bpw到6.0bpw的頭部比特數 = 6
8.0bpw的頭部比特數 = 8
長度 = 8192
數據集行數 = 200
測量行數 = 32
測量長度 = 8192

📚 詳細文檔

模型介紹

模型名稱為 Llama-3-70b-Arimas-story-RP-V1.6，它是使用 mergekit 對預訓練語言模型進行合併得到的。

合併詳情

在這次合併中，大幅增加了所使用的模型數量，並對不同的想法進行了大量實驗。這個版本比V1.5更有說服力，希望在量化後長上下文窗口的性能依然強勁。由於進行了多次合併，因此從BFloat切換回了Float。嘗試在沒有Ties的情況下使用breadcrums，結果非常糟糕。

合併方法

該模型使用breadcrumbs_ties合併方法，以 I:\Llama-3-70B-Instruct-Gradient-262k 為基礎進行合併。

合併的模型

合併中包含了以下模型：

\Smaug-Llama-3-70B-Instruct
\Meta-LLama-3-Cat-Smaug-LLama-70b
\Meta-LLama-3-Cat-A-LLama-70b
\Llama-3-70B-Synthia-v3.5
\Llama-3-70B-Instruct-Gradient-524k
\Llama-3-70B-Instruct-Gradient-262k
\Tess-2.0-Llama-3-70B-v0.2
\Llama-3-Lumimaid-70B-v0.1-alt

配置

以下是用於生成此模型的YAML配置：

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16