Community Request 03 12B

🚀 預訓練語言模型合併項目

本項目利用預訓練語言模型進行合併操作，旨在結合不同模型的優勢，創造出更強大、更適合特定任務的語言模型。通過使用 mergekit 工具，我們能夠高效、靈活地完成模型合併工作。

🚀 快速開始

本項目使用了 transformers 庫進行模型操作。以下是項目的基本信息：

✨ 主要特性

• 模型合併：使用 mergekit 工具將多個預訓練語言模型合併為一個。
• 特定合併方法：採用 SLERP 合併方法，確保模型合併的質量和效果。

📚 詳細文檔

合併詳情

合併方法

本模型使用 SLERP 合併方法進行合併。這種方法在模型合併中具有良好的效果，能夠平衡不同模型的特徵。

參與合併的模型

以下模型參與了合併：

• Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
• Nitral-AI/Wayfarer_Eris_Noctis-12B

配置信息

以下是用於生成此模型的 YAML 配置：

slices:
  - sources:
      - model: Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
        layer_range: [0, 40]
      - model: Nitral-AI/Wayfarer_Eris_Noctis-12B
        layer_range: [0, 40]
merge_method: slerp
base_model: Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.420
dtype: bfloat16