Qwen2.5 7B Fuse Exp

🚀 預訓練語言模型合併項目

本項目使用 mergekit 對預訓練語言模型進行合併，旨在結合不同模型的優勢，以獲得更好的性能和更廣泛的應用場景。

🚀 快速開始

本項目主要是對預訓練語言模型進行合併操作。下面為你詳細介紹合併的相關信息。

✨ 主要特性

• 模型合併：利用 mergekit 工具將多個預訓練語言模型合併為一個。
• 特定合併方法：採用 SCE 合併方法，以 Qwen/Qwen2.5 - 7B - Instruct 為基礎模型進行合併。

📚 詳細文檔

🔍 合併詳情

合併方法

本模型使用 SCE 合併方法，以 Qwen/Qwen2.5 - 7B - Instruct 作為基礎模型進行合併。

參與合併的模型

以下模型參與了合併：

• open - r1/OlympicCoder - 7B
• Xiaojian9992024/Qwen2.5 - Dyanka - 7B - Preview
• gz987/qwen2.5 - 7b - cabs - v0.3

配置信息

以下是用於生成此模型的 YAML 配置：

models:
  # 主模型
  - model: Qwen/Qwen2.5-7B-Instruct
  # 目標模型
  - model: Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview
  - model: gz987/qwen2.5-7b-cabs-v0.3
  - model: open-r1/OlympicCoder-7B
merge_method: sce
base_model: Qwen/Qwen2.5-7B-Instruct
parameters:
  select_topk: 1.0
dtype: bfloat16

📄 信息表格