Starcannon Unleashed 12B V1.0

🚀 Starcannon-Unleashed-12B-v1.0-GGUF

Starcannon-Unleashed-12B-v1.0-GGUF 是一个融合模型，结合了不同预训练语言模型的优点，在角色回复和长上下文稳定性方面表现出色。

🚀 快速开始

本模型支持 ChatML 和 Mistral 格式，个人建议使用 ChatML 进行测试，你可以根据喜好选择合适的格式。同时，推荐使用以下设置：Starcannon-Unleashed-12B-v1.0-ST-Formatting-2024-10-29.json。

重要提示

• 打开 Silly Tavern 并使用“Master Import”（可在“A”标签 - 高级格式中找到），将“INSERT WORLD HERE”占位符替换为角色所属的世界/宇宙。若不适用，可直接删除该部分。
• 检查用户设置，将“Example Messages Behavior”设置为“Never include examples”，以防止对话示例在上下文中发送两次。若未设置，可能会输出 <|im_end|> 标记。更多信息请参考 此帖子。

温度设置

温度设置在 1.15 - 1.25 效果较好，但较低的温度也可能适用，只要同时调整 Min P 和 XTC 以确保模型不会卡顿。你可以根据喜好进行调整。

✨ 主要特性

• 融合优势：融合了 Starcannon v3 和 NemoMix Unleashed 两个模型的优点，既具备 Starcannon v3 角色回复的出色表现，又拥有 NemoMix Unleashed 在长上下文下的稳定性。
• 格式支持：支持 ChatML 和 Mistral 两种格式，可根据个人喜好选择。

📦 量化版本

GGUF 版本

• VongolaChouko/Starcannon-Unleashed-12B-v1.0-GGUF
• mradermacher/Starcannon-Unleashed-12B-v1.0-GGUF
• bartowski/Starcannon-Unleashed-12B-v1.0-GGUF

特别感谢 mradermacher 和 bartowski 提供的 GGUF 量化版本！

EXL2 版本

• 8bpw
• 6bpw
• 4bpw

感谢 Statuo 提供的 EXL2 量化版本！

💻 使用示例

输出示例

使用建议

• 输出长度控制：对话示例和第一条消息非常重要，模型会模仿这些部分的风格。如果你想要短输出，可使对话示例和第一条消息简短；若想要长输出，确保示例包含完整段落和多个句子。
• 调整温度：如果对话示例和第一条消息简短，但模型仍输出冗长内容，可逐步降低温度，先保持 Min P 和 XTC 不变，测试结果后再根据喜好调整。若仍有问题，可提高 XTC 阈值。
• 利用作者笔记：若希望指令对下一次回复产生更大影响，可在聊天中使用深度为 2 的作者笔记作为系统消息。例如，测试模型时使用的笔记：“Scenario: Spontaneous. {{char}} has full autonomy to do anything they wish and progress the interaction in any way they like.”

📚 详细文档

免责声明

这是作者首次尝试合并模型，且并非编码专家。在合并过程中，大部分时间可能并不理解具体操作，但在执行合并代码后，对模型进行了严格测试，结果令人满意。

合并目标

作者希望创建一个能融合各个微调/合并模型优点的模型，使一个模型能够弥补另一个模型的弱点。

模型选择原因

• Starcannon v3：作者非常喜欢该模型角色回复的表现，感觉模型就像角色本身，而非扮演角色。但该模型在达到 16K 上下文时会出现连贯性问题。
• NemoMix Unleashed：该模型在长上下文中具有出色的稳定性，即使超过设置的上下文大小，仍能保持连贯和稳定，且具备理解言外之意的能力。

未来计划

作者希望学习微调模型，但由于个人电脑性能有限，可能会在有更多时间和资源时再进行尝试。

🔧 技术细节

合并方法

本模型使用 mergekit 工具，采用 della_linear 合并方法，以 G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B 为基础进行合并。

合并模型

• G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3

配置文件

base_model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
dtype: bfloat16
merge_method: della_linear
parameters:
  epsilon: 0.05
  int8_mask: 1.0
  lambda: 1.0
slices:
- sources:
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\MarinaraSpaghetti_NemoMix-Unleashed-12B
    parameters:
      density: 0.65
      weight: 0.4
  - layer_range: [0, 40]
    model: G:\text-generation-webui\models\Nothingiisreal_MN-12B-Starcannon-v3
    parameters:
      density: 0.55
      weight: 0.6

📄 许可证

本模型采用 CC BY-NC 4.0 许可证。

🙏 致谢

非常感谢 MarinaraSpaghetti 和 Nothing is Real，他们的模型激发了作者学习合并模型的兴趣，且最终成果令人满意！