Patricide 12B Unslop Mell V2

🚀 patricide-12B-Unslop-Mell-v2

这是一个基于预训练语言模型合并的项目，旨在创造出具有特定特性的语言模型，可应用于聊天、角色扮演、创意写作等场景。

本模型是使用 mergekit 合并预训练语言模型得到的。这是作者的第七个模型。作者决定使用 TheDrummer/UnslopNemo-12B-v4 而非 TheDrummer/UnslopNemo-12B-v4.1，因为前者据说在牺牲一定智能的情况下，具有更强的反GPT倾向，作者打算在未来的合并中继续使用它，并且可以通过添加更智能的模型来抵消这种影响。TheDrummer 表示 Metharme/Pygmalion 模板具有更高的反GPT效果，但这些特定的标记在分词器中并未强制使用或不存在，作者更喜欢 ChatML，因此选择了在基础状态下具有更强反GPT倾向的模型。作者调整了参数以使其更加平衡，同时也在测试 NuSLERP。如果找到更好的参数，可能会发布 V2B 版本。目前作者还没有太多时间对该模型进行全面测试，并且还在进行其他项目的工作。

🚀 快速开始

本模型处于早期测试阶段，目前还不清楚该模型在长期上下文情况下的表现。早期测试显示出了稳定性，并能给出可行的答案。

✨ 主要特性

模型参数

量化

静态 GGUF 量化版本可在以下链接获取：

• MaziyarPanahi/patricide-12B-Unslop-Mell-v2-GGUF
• mradermacher/patricide-12B-Unslop-Mell-v2-GGUF

🔧 技术细节

合并方法

本模型使用 NuSLERP 合并方法进行合并。

合并的模型

以下模型参与了合并：

• inflatebot/MN-12B-Mag-Mell-R1
• TheDrummer/UnslopNemo-12B-v4

配置

以下是用于生成此模型的 YAML 配置：

models:
  - model: TheDrummer/UnslopNemo-12B-v4
    parameters:
      weight: [0.6, 0.5, 0.3, 0.5, 0.6]
  - model: inflatebot/MN-12B-Mag-Mell-R1
    parameters:
      weight: [0.4, 0.5, 0.7, 0.5, 0.4]
merge_method: nuslerp
dtype: bfloat16
chat_template: "chatml"
tokenizer:
  source: union
parameters:
  normalize: true
  int8_mask: true

📄 许可证

本项目采用 apache-2.0 许可证。