Captain Eris Violet Toxic Magnum 12B

🚀 模型融合项目

本项目使用 mergekit 对预训练语言模型进行融合，旨在结合不同模型的优势，提升模型的性能和适用性。

🚀 快速开始

本项目主要是对预训练语言模型进行融合操作，以下是关于融合的详细信息。

✨ 主要特性

• 模型融合：使用 mergekit 工具将多个预训练语言模型融合为一个新模型。
• 特定融合方法：采用 SLERP 融合方法，以实现更有效的模型融合。

📚 详细文档

🔍 融合详情

融合方法

本模型使用 SLERP 融合方法进行融合。这种方法在模型融合领域具有一定的优势，能够更好地平衡不同模型的特性。

参与融合的模型

以下模型参与了本次融合：

• Nitral-AI/Captain-Eris_Violet-Toxic-GRPO-alt-v.02
• anthracite-org/magnum-v2-12b

配置信息

以下是用于生成此模型的 YAML 配置：

slices:
  - sources:
      - model: Nitral-AI/Captain-Eris_Violet-Toxic-GRPO-alt-v.02
        layer_range: [0, 40]
      - model: anthracite-org/magnum-v2-12b
        layer_range: [0, 40]
merge_method: slerp
base_model: Nitral-AI/Captain-Eris_Violet-Toxic-GRPO-alt-v.02
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.420
dtype: bfloat16

此配置文件详细定义了参与融合的模型、融合方法、基础模型以及相关参数，确保了融合过程的可重复性和准确性。