GodSlayer-12B-ABYSS开源语言模型 - 减少偏见实现多样化、稳定连贯回应

首页

Godslayer 12B ABYSS

由 redrix 开发

GodSlayer-12B-ABYSS 是一个通过 mergekit 合并多个预训练语言模型得到的12B参数模型，旨在保持稳定性和连贯性的同时，减少积极性偏见，提高现实主义和多样化响应能力。

大型语言模型

Transformers

#多模型融合 #现实主义响应 #角色扮演优化

下载量 78

发布时间 : 4/25/2025

模型简介

该模型专注于聊天、角色扮演和创意写作任务，通过合并多个高质量模型来优化响应质量和多样性。

模型特点

多样化响应

通过合并多个模型，减少积极性偏见，提供更现实和多样化的响应。

稳定性与连贯性

优化合并方法，确保生成的文本在保持连贯性的同时具有高稳定性。

角色扮演优化

特别适合角色扮演任务，能够生成富有表现力和个性化的对话。

模型能力

文本生成

聊天对话

角色扮演

创意写作

多样化响应生成

使用案例

娱乐

角色扮演游戏

用于生成游戏中的NPC对话，增强玩家沉浸感。

生成自然、个性化的角色对话

创意写作助手

帮助作家生成创意内容或故事灵感。

提供多样化的写作建议和内容

对话系统

聊天机器人

构建能够进行自然、多样化对话的聊天机器人。

生成更真实和有趣的对话响应

🚀 GodSlayer-12B-ABYSS

这是一个使用 mergekit 合并预训练语言模型得到的模型。该模型的目标是保持相当的稳定性和连贯性，同时消除正向偏差，提高回复的真实性和多样性。这是第12号模型。

🚀 快速开始

本模型使用 mergekit 完成合并，你可参考该工具的文档进行使用。

📚 详细文档

🔍 合并详情

📋 合并方法

此模型采用 NuSLERP 合并方法，以 IntervitensInc/Mistral-Nemo-Base-2407-chatml 为基础模型进行合并。

📑 参与合并的模型

以下模型参与了合并：

⚙️ 配置

以下是用于生成此模型的 YAML 配置：

# P1:
models:
  - model: PocketDoc/Dans-PersonalityEngine-V1.1.0-12b
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.2
        - value: 0.2
      density: 0.6
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight:
        - filter: self_attn
          value: 0.15
        - filter: mlp
          value: 0.15
        - value: 0.15
      density: 0.55
  - model: HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407
    parameters:
      weight:
        - filter: self_attn
          value: 0.1
        - filter: mlp
          value: 0.1
        - value: 0.1
      density: 0.5
  - model: LatitudeGames/Wayfarer-12B
    parameters:
      weight:
        - filter: self_attn
          value: 0.25
        - filter: mlp
          value: 0.25
        - value: 0.25
      density: 0.65
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.1
  lambda: 1

# P2:
models:
  - model: rAIfle/Questionable-MN-bf16
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.2
        - value: 0.2
      density: 0.6
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight:
        - filter: self_attn
          value: 0.3
        - filter: mlp
          value: 0.3
        - value: 0.3
      density: 0.7
  - model: allura-org/MN-12b-RP-Ink
    parameters:
      weight:
        - filter: self_attn
          value: 0.35
        - filter: mlp
          value: 0.35
        - value: 0.35
      density: 0.75
  - model: romaingrx/red-teamer-mistral-nemo
    parameters:
      weight:
        - filter: self_attn
          value: 0.25
        - filter: mlp
          value: 0.25
        - value: 0.25
      density: 0.65
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.1
  lambda: 1

# Final:
models:
  - model: P1
    parameters:
      weight: 0.5
  - model: P2
    parameters:
      weight: 0.5
base_model: IntervitensInc/Mistral-Nemo-Base-2407-chatml
merge_method: nuslerp
dtype: bfloat16
chat_template: "chatml"
tokenizer:
  source: union
parameters:
  normalize: true
  int8_mask: true

📄 模型信息

属性	详情
基础模型	LatitudeGames/Wayfarer-12B、ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2、PocketDoc/Dans-PersonalityEngine-V1.1.0-12b、HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407、TheDrummer/UnslopNemo-12B-v4、romaingrx/red-teamer-mistral-nemo、DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS、rAIfle/Questionable-MN-bf16、allura-org/MN-12b-RP-Ink、IntervitensInc/Mistral-Nemo-Base-2407-chatml
库名称	transformers
标签	mergekit、merge、12b、chat、roleplay、creative-writing、DELLA-linear