Stellar Odyssey 12b V0.0

🚀 Stellar Odyssey 12b v0.0

这是一个模型合并项目，通过合并多个基础模型得到新的模型，适用于角色扮演场景，采用ChatML指令格式。

🚀 快速开始

聆听主题曲：点击在Youtube收听

这是我第二次尝试进行模型合并，此次合并使用了以下模型：

• mistralai/Mistral-Nemo-Base-2407
• Sao10K/MN-12B-Lyra-v4
• nothingiisreal/MN-12B-Starcannon-v2
• Gryphe/Pantheon-RP-1.5-12b-Nemo

预期用例：角色扮演 指令格式：ChatML

感谢AuriAetherwiing帮助我合并模型。

✨ 主要特性

数据相关

这是一个较难回答的问题，我并未向模型本身添加任何数据，它是其他模型的合并结果，因此其他模型使用的数据也适用于此模型，尽管不会完全相同。

许可证

本模型采用cc - by - nc - 4.0许可证，除非您与我联系并获得我明确许可用于商业服务。我不会接受以下任何一方的合作请求：

• Infermatic AI
• “AI女友”应用程序或任何利用孤独感吸引客户的应用程序。
• 任何拒绝透露身份和运营者的个人或组织，即使签署了保密协议。
• 任何掠夺性或剥削他人的服务。

我仅授权Featherless.AI/Recursal、ArliAI和WyvernChat托管我的模型。

📚 详细文档

合并详情

本模型使用della_linear合并方法，以mistralai/Mistral-Nemo-Base-2407为基础进行合并。

合并的模型

以下模型参与了合并：

• Sao10K/MN-12B-Lyra-v4
• Gryphe/Pantheon-RP-1.5-12b-Nemo
• nothingiisreal/MN-12B-Starcannon-v2

配置

以下YAML配置用于生成此模型：

models:
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\Sao10K_MN-12B-Lyra-v4
    parameters:
      weight: 0.3
      density: 0.25
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\nothingiisreal_MN-12B-Starcannon-v2
    parameters:
      weight: 0.1
      density: 0.4
  - model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\Gryphe_Pantheon-RP-1.5-12b-Nemo
    parameters:
      weight: 0.4
      density: 0.5
merge_method: della_linear
base_model: C:\Users\\Downloads\Mergekit-Fixed\mergekit\mistralai_Mistral-Nemo-Base-2407
parameters:
  epsilon: 0.05
  lambda: 1
merge_method: della_linear
dtype: bfloat16

注意事项

• Della_Linear：请参考https://arxiv.org/abs/2406.11617和https://arxiv.org/abs/2212.04089，因为解释Della_Linear是什么相当冗长。
• BFloat16：Brain Floating Point 16，一种在Nvidia GPU上更快运行模型的方式。
• Density：保留与基础模型差异权重的比例。
• Epsilon：基于幅度的丢弃概率的最大变化。分配的丢弃概率范围为...