Qwen2.5 Coder 32B YOYO

🚀 预训练语言模型合并项目

本项目使用 mergekit 工具对预训练语言模型进行合并，旨在结合不同模型的优势，提升模型的性能和适用性。

🚀 快速开始

本项目是使用 mergekit 创建的预训练语言模型合并项目。

✨ 主要特性

• 模型合并：将多个预训练语言模型合并为一个，以获得更好的性能。
• 特定合并方法：采用 DELLA 合并方法，以 Qwen/Qwen2.5-Coder-32B 为基础模型进行合并。

📚 详细文档

合并详情

合并方法

本模型使用 DELLA 合并方法，以 Qwen/Qwen2.5-Coder-32B 为基础进行合并。

参与合并的模型

以下模型参与了合并：

• Qwen/Qwen2.5-Coder-32B-instruct

配置信息

以下是用于生成此模型的 YAML 配置文件：

models:
  - model: Qwen/Qwen2.5-Coder-32B-instruct
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-Coder-32B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: bfloat16

信息表格