Nemomix Unleashed 12B

🚀 NemoMix-Unleashed-12B

NemoMix-Unleashed-12B 是一个使用 mergekit 合并预训练语言模型得到的项目。它在对话生成方面有一定优势，尤其在高上下文场景下减少了重复问题，适合角色扮演和故事讲述。

🚀 快速开始

信息详情

我曾努力改进 ChatML 合并，但结果很糟糕。因为大家添加的特殊标记 ID 不同，甚至无法为它们创建一个合适的联合分词器。此外，我还在一些模型的上下文长度方面有了有趣的发现。你可以在这个链接查看具体情况：https://www.captiongenerator.com/v/2303039/marinaraspaghetti's-merging-experience 。

这次合并与我之前的尝试有所不同，它似乎不太容易出现重复问题，尤其是在高上下文场景下，这对我来说很棒！我可能会进一步改进它，但目前感觉已经很不错了，非常适合角色扮演和故事讲述。

指令格式

唉，是关于 Mistral Instruct 的问题。

更新：原来我们一直使用的格式是错误的，刚刚从 MistralAI 官方团队成员那里得知了正确的格式。

这让我开始怀疑自己之前所了解的一切。

指令格式如下：

<s>[INST]{system}[/INST]{response}</s>[INST]{user's message}[/INST]{response}</s>

参数设置

我建议将温度（Temperature）设置为 1.0 - 1.25，Top A 设置为 0.1 或 Min P 设置为 0.01 - 0.1，DRY 设置为 0.8/1.75/2/0。温度低于 1.0 时也适用。无需更多设置。

具体设置

你可以从这个链接使用我确切的设置（使用 Mistral Base/Customized 文件夹中的设置，也建议查看 Mistral Improved 文件夹）：https://huggingface.co/MarinaraSpaghetti/SillyTavern-Settings/tree/main 。

GGUF 模型

https://huggingface.co/bartowski/NemoMix-Unleashed-12B-GGUF

EXL2 模型

https://huggingface.co/Statuo/NemoMix-Unleashed-EXL2-8bpw

📚 详细文档

合并详情

合并方法

该模型使用 della_linear 合并方法，以 E:\mergekit\mistralaiMistral-Nemo-Base-2407 为基础进行合并。

合并的模型

合并中包含以下模型：

• E:\mergekit\intervitens_mini-magnum-12b-v1.1
• E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
• E:\mergekit\Sao10K_MN-12B-Lyra-v1
• E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
• E:\mergekit\mistralaiMistral-Nemo-Instruct-2407

配置文件

以下是用于生成该模型的 YAML 配置：

models:
  - model: E:\mergekit\mistralaiMistral-Nemo-Instruct-2407
    parameters:
      weight: 0.1
      density: 0.4
  - model: E:\mergekit\nbeerbower_mistral-nemo-bophades-12B
    parameters:
      weight: 0.12
      density: 0.5
  - model: E:\mergekit\nbeerbower_mistral-nemo-gutenberg-12B
    parameters:
      weight: 0.2
      density: 0.6
  - model: E:\mergekit\Sao10K_MN-12B-Lyra-v1
    parameters:
      weight: 0.25
      density: 0.7
  - model: E:\mergekit\intervitens_mini-magnum-12b-v1.1
    parameters:
      weight: 0.33
      density: 0.8
merge_method: della_linear
base_model: E:\mergekit\mistralaiMistral-Nemo-Base-2407
parameters:
  epsilon: 0.05
  lambda: 1
dtype: bfloat16
tokenizer_source: base

📄 许可证

本项目采用 apache-2.0 许可证。

💰 捐赠支持

如果你喜欢我的工作，可以考虑在此处捐赠，感谢！ https://ko-fi.com/spicy_marinara