Community Request 03 12B

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをマージすることで新しいモデルを作成するものです。mergekit を使用して、複数のモデルを統合しています。

🚀 クイックスタート

このマージされたモデルは、事前学習された言語モデルを統合することで作成されました。以下の情報を参考に、モデルの詳細を確認してください。

✨ 主な機能

• 複数の事前学習モデルをマージして新しいモデルを作成します。
• SLERP マージ手法を使用して、モデルを統合します。

📚 ドキュメント

📦 マージ詳細

マージ方法

このモデルは、SLERP マージ手法を使用してマージされました。

マージされたモデル

以下のモデルがマージに含まれています：

• Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
• Nitral-AI/Wayfarer_Eris_Noctis-12B

設定

以下のYAML設定を使用して、このモデルが生成されました：

slices:
  - sources:
      - model: Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
        layer_range: [0, 40]
      - model: Nitral-AI/Wayfarer_Eris_Noctis-12B
        layer_range: [0, 40]
merge_method: slerp
base_model: Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.420
dtype: bfloat16

📄 モデル情報