Angelslayer 12B Unslop Mell RPMax DARKNESS

🚀 AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS

他们说“他”将带来世界末日。她寻求的是理解，而非毁灭。

这是一个使用 mergekit 合并预训练语言模型得到的模型。这是作者的第四个模型，旨在测试 della_linear 方法。该模型的目的是利用 DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS 的负面特性来抵消潜在的积极偏差，同时保持稳定性。

🚀 快速开始

本模型是通过特定方式合并多个预训练语言模型得到的，你可以根据以下信息来使用和了解该模型。

✨ 主要特性

• 基于多个优质预训练模型合并，利用不同模型的特性。
• 尝试使用 della_linear 方法进行合并，探索新的模型组合方式。
• 在测试阶段表现出较好的上下文保持能力和角色贴合度，输出的散文丰富多样，较少出现 GPT 风格表述。

📦 安装指南

文档未提供具体安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

测试阶段情况

(2024 年 12 月 18 日)： 该模型在处理上下文方面表现出色，能很好地贴合角色和提示。输出的散文丰富多样，大多没有 GPT 风格的表述。唯一的问题是，模型似乎总是以相似的方式解释输入（可能是由于 self_attn 层的原因）。因此，即使每次滑动的措辞不同，输出也总是倾向于遵循某个特定的主题或方向（响应越长，开头设定的方向偏差越大）。一个奇特的现象是，错误是可预测的——如果模型错误拼写了用户的名字（比如打乱字母顺序等；作者自己的名字比较复杂），那么在后续的滑动中，它总是会错误拼写这个名字。但它会自动修正。不过，如果名字的第一次出现拼写错误，后续的实例会被修正。重复情况较少，如果出现重复，可以启用 DRY。XTC 似乎效果不错。

作者考虑通过调整模型顺序来平衡 inflatebot/MN-12B-Mag-Mell-R1 的影响，或者使用该模型的基础模型，通过不同的合并方法重新合并整个模型，以缓解这个问题。

参数设置

• 上下文大小： 建议不超过 20k，否则连贯性可能会下降。
• 聊天模板： ChatML
• 采样器： Temperature-Last 设置为 1 - 1.25，Min-P 设置为 0.1 - 0.25 是可行的，但尚未进行微调。如果出现重复情况，启用 DRY。XTC 似乎效果良好。

量化信息

• 静态 GGUF 量化版本可在 mradermacher/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-GGUF 获取。
• iMatrix 量化版本可在 mradermacher/AngelSlayer-12B-Unslop-Mell-RPMax-DARKNESS-i1-GGUF 获取。

合并详情

合并方法

该模型使用 della_linear 合并方法，以 TheDrummer/UnslopNemo-12B-v4.1 为基础模型进行合并。

合并的模型

以下模型参与了合并：

• inflatebot/MN-12B-Mag-Mell-R1
• ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
• DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS

配置信息

以下是用于生成该模型的 YAML 配置：

models:
  - model: TheDrummer/UnslopNemo-12B-v4.1
    parameters:
      weight: 0.25
      density: 0.6
  - model: ArliAI/Mistral-Nemo-12B-ArliAI-RPMax-v1.2
    parameters:
      weight: 0.25
      density: 0.6
  - model: DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS
    parameters:
      weight: 0.2
      density: 0.4
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: 0.30
      density: 0.7
base_model: TheDrummer/UnslopNemo-12B-v4.1
merge_method: della_linear
dtype: bfloat16
chat_template: "chatml"
tokenizer_source: union
parameters:
  normalize: false
  int8_mask: true
  epsilon: 0.05
  lambda: 1

🔧 技术细节

该模型是使用 mergekit 工具，通过 della_linear 方法合并多个预训练语言模型得到的。在合并过程中，不同模型的权重和密度等参数被精心设置，以达到预期的效果。同时，在测试过程中发现了模型在输入解释和输出方向上的一些特点，并针对这些问题提出了可能的解决方案。

📄 许可证

本模型采用 apache-2.0 许可证。

模型信息表格

今天我们努力奋斗，每天我们都在拼搏，但今晚我们尽情玩乐。