Mmrexcev GRPO V0.420

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをマージすることで新しいモデルを作成します。mergekitを使用してモデルのマージを行っています。

🚀 クイックスタート

このマージされたモデルは、事前学習された複数の言語モデルを組み合わせることで生成されています。以下にマージの詳細を説明します。

✨ 主な機能

• 複数の事前学習モデルをマージして新しいモデルを作成できます。
• SLERPマージ方法を使用しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このREADMEには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

マージの詳細

マージ方法

このモデルは、SLERPマージ方法を使用してマージされています。

マージされたモデル

以下のモデルがマージに含まれています。

• Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
• Nitral-AI/MMR-E1

設定

以下のYAML設定を使用してこのモデルが生成されています。

slices:
  - sources:
      - model: Nitral-AI/MMR-E1
        layer_range: [0, 40]
      - model: Nitral-AI/Captain-Eris_Violet-GRPO-v0.420
        layer_range: [0, 40]
merge_method: slerp
base_model: Nitral-AI/MMR-E1
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.420
dtype: bfloat16

🔧 技術詳細

このREADMEには具体的な技術詳細が50文字以上記載されていないため、このセクションは省略されます。

📄 ライセンス

このREADMEにはライセンス情報が記載されていないため、このセクションは省略されます。