Qwen2.5 7B Fuse Exp

🚀 モデルマージプロジェクト

このプロジェクトは、事前学習された言語モデルをmergekitを使用してマージするものです。マージにより、複数のモデルの特性を組み合わせた新しいモデルを作成します。

🚀 クイックスタート

このマージモデルは、transformersライブラリを使用して操作できます。

✨ 主な機能

• 複数の事前学習モデルをマージし、新しいモデルを生成します。
• SCEマージ手法を用いて、効果的なモデルマージを実現します。

📚 ドキュメント

📋 マージ詳細

マージ手法

このモデルは、Qwen/Qwen2.5-7B-Instructをベースとして、SCEマージ手法を使用してマージされました。

マージ対象のモデル

以下のモデルがマージに含まれています。

• open-r1/OlympicCoder-7B
• Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview
• gz987/qwen2.5-7b-cabs-v0.3

設定

このモデルを生成するために使用されたYAML設定は次の通りです。

models:
  # Pivot model
  - model: Qwen/Qwen2.5-7B-Instruct
  # Target models
  - model: Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview
  - model: gz987/qwen2.5-7b-cabs-v0.3
  - model: open-r1/OlympicCoder-7B
merge_method: sce
base_model: Qwen/Qwen2.5-7B-Instruct
parameters:
  select_topk: 1.0
dtype: bfloat16

📄 モデル情報