Captain Eris Violet Toxic Magnum 12B

🚀 模型融合項目

本項目使用 mergekit 對預訓練語言模型進行融合，旨在結合不同模型的優勢，提升模型的性能和適用性。

🚀 快速開始

本項目主要是對預訓練語言模型進行融合操作，以下是關於融合的詳細信息。

✨ 主要特性

• 模型融合：使用 mergekit 工具將多個預訓練語言模型融合為一個新模型。
• 特定融合方法：採用 SLERP 融合方法，以實現更有效的模型融合。

📚 詳細文檔

🔍 融合詳情

融合方法

本模型使用 SLERP 融合方法進行融合。這種方法在模型融合領域具有一定的優勢，能夠更好地平衡不同模型的特性。

參與融合的模型

以下模型參與了本次融合：

• Nitral-AI/Captain-Eris_Violet-Toxic-GRPO-alt-v.02
• anthracite-org/magnum-v2-12b

配置信息

以下是用於生成此模型的 YAML 配置：

slices:
  - sources:
      - model: Nitral-AI/Captain-Eris_Violet-Toxic-GRPO-alt-v.02
        layer_range: [0, 40]
      - model: anthracite-org/magnum-v2-12b
        layer_range: [0, 40]
merge_method: slerp
base_model: Nitral-AI/Captain-Eris_Violet-Toxic-GRPO-alt-v.02
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.420
dtype: bfloat16

此配置文件詳細定義了參與融合的模型、融合方法、基礎模型以及相關參數，確保了融合過程的可重複性和準確性。