Qwen2.5 7B Fuse Exp

🚀 预训练语言模型合并项目

本项目使用 mergekit 对预训练语言模型进行合并，旨在结合不同模型的优势，以获得更好的性能和更广泛的应用场景。

🚀 快速开始

本项目主要是对预训练语言模型进行合并操作。下面为你详细介绍合并的相关信息。

✨ 主要特性

• 模型合并：利用 mergekit 工具将多个预训练语言模型合并为一个。
• 特定合并方法：采用 SCE 合并方法，以 Qwen/Qwen2.5 - 7B - Instruct 为基础模型进行合并。

📚 详细文档

🔍 合并详情

合并方法

本模型使用 SCE 合并方法，以 Qwen/Qwen2.5 - 7B - Instruct 作为基础模型进行合并。

参与合并的模型

以下模型参与了合并：

• open - r1/OlympicCoder - 7B
• Xiaojian9992024/Qwen2.5 - Dyanka - 7B - Preview
• gz987/qwen2.5 - 7b - cabs - v0.3

配置信息

以下是用于生成此模型的 YAML 配置：

models:
  # 主模型
  - model: Qwen/Qwen2.5-7B-Instruct
  # 目标模型
  - model: Xiaojian9992024/Qwen2.5-Dyanka-7B-Preview
  - model: gz987/qwen2.5-7b-cabs-v0.3
  - model: open-r1/OlympicCoder-7B
merge_method: sce
base_model: Qwen/Qwen2.5-7B-Instruct
parameters:
  select_topk: 1.0
dtype: bfloat16

📄 信息表格