GodSlayer-12B-ABYSS開源語言模型 - 減少偏見實現多樣化、穩定連貫回應

首頁

Godslayer 12B ABYSS

由redrix開發

GodSlayer-12B-ABYSS 是一個通過 mergekit 合併多個預訓練語言模型得到的12B參數模型，旨在保持穩定性和連貫性的同時，減少積極性偏見，提高現實主義和多樣化響應能力。

大型語言模型

Transformers

#多模型融合 #現實主義響應 #角色扮演優化

下載量 78

發布時間 : 4/25/2025

模型概述

該模型專注於聊天、角色扮演和創意寫作任務，通過合併多個高質量模型來優化響應質量和多樣性。

模型特點

多樣化響應

通過合併多個模型，減少積極性偏見，提供更現實和多樣化的響應。

穩定性與連貫性

優化合並方法，確保生成的文本在保持連貫性的同時具有高穩定性。

角色扮演優化

特別適合角色扮演任務，能夠生成富有表現力和個性化的對話。

模型能力

文本生成

聊天對話

角色扮演

創意寫作

多樣化響應生成

使用案例

娛樂

角色扮演遊戲

用於生成遊戲中的NPC對話，增強玩家沉浸感。

生成自然、個性化的角色對話

創意寫作助手

幫助作家生成創意內容或故事靈感。

提供多樣化的寫作建議和內容

對話系統

聊天機器人

構建能夠進行自然、多樣化對話的聊天機器人。

生成更真實和有趣的對話響應

🚀 GodSlayer-12B-ABYSS

這是一個使用 mergekit 合併預訓練語言模型得到的模型。該模型的目標是保持相當的穩定性和連貫性，同時消除正向偏差，提高回覆的真實性和多樣性。這是第12號模型。

🚀 快速開始

本模型使用 mergekit 完成合並，你可參考該工具的文檔進行使用。

📚 詳細文檔

🔍 合併詳情

📋 合併方法

此模型採用 NuSLERP 合併方法，以 IntervitensInc/Mistral-Nemo-Base-2407-chatml 為基礎模型進行合併。

📑 參與合併的模型

以下模型參與了合併：

⚙️ 配置

以下是用於生成此模型的 YAML 配置：

# P1:
models:
  - model: PocketDoc/Dans-PersonalityEngine-V1.1.0-12b
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.2
        - value: 0.2
      density: 0.6
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight:
        - filter: self_attn
          value: 0.15
        - filter: mlp
          value: 0.15
        - value: 0.15
      density: 0.55
  - model: HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407
    parameters:
      weight:
        - filter: self_attn
          value: 0.1
        - filter: mlp
          value: 0.1
        - value: 0.1
      density: 0.5
  - model: LatitudeGames/Wayfarer-12B
    parameters:
      weight:
        - filter: self_attn
          value: 0.25
        - filter: mlp
          value: 0.25
        - value: 0.25
      density: 0.65
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.1
  lambda: 1

# P2:
models:
  - model: rAIfle/Questionable-MN-bf16
    parameters:
      weight:
        - filter: self_attn
          value: 0.2
        - filter: mlp
          value: 0.2
        - value: 0.2
      density: 0.6
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight:
        - filter: self_attn
          value: 0.3
        - filter: mlp
          value: 0.3
        - value: 0.3
      density: 0.7
  - model: allura-org/MN-12b-RP-Ink
    parameters:
      weight:
        - filter: self_attn
          value: 0.35
        - filter: mlp
          value: 0.35
        - value: 0.35
      density: 0.75
  - model: romaingrx/red-teamer-mistral-nemo
    parameters:
      weight:
        - filter: self_attn
          value: 0.25
        - filter: mlp
          value: 0.25
        - value: 0.25
      density: 0.65
base_model: TheDrummer/UnslopNemo-12B-v4
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: true
  int8_mask: true
  epsilon: 0.1
  lambda: 1

# Final:
models:
  - model: P1
    parameters:
      weight: 0.5
  - model: P2
    parameters:
      weight: 0.5
base_model: IntervitensInc/Mistral-Nemo-Base-2407-chatml
merge_method: nuslerp
dtype: bfloat16
chat_template: "chatml"
tokenizer:
  source: union
parameters:
  normalize: true
  int8_mask: true

📄 模型信息

屬性	詳情
基礎模型	LatitudeGames/Wayfarer-12B、ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2、PocketDoc/Dans-PersonalityEngine-V1.1.0-12b、HumanLLMs/Human-Like-Mistral-Nemo-Instruct-2407、TheDrummer/UnslopNemo-12B-v4、romaingrx/red-teamer-mistral-nemo、DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS、rAIfle/Questionable-MN-bf16、allura-org/MN-12b-RP-Ink、IntervitensInc/Mistral-Nemo-Base-2407-chatml
庫名稱	transformers
標籤	mergekit、merge、12b、chat、roleplay、creative-writing、DELLA-linear