Qwen2.5 Coder 32B YOYO

🚀 預訓練語言模型合併項目

本項目使用 mergekit 工具對預訓練語言模型進行合併，旨在結合不同模型的優勢，提升模型的性能和適用性。

🚀 快速開始

本項目是使用 mergekit 創建的預訓練語言模型合併項目。

✨ 主要特性

• 模型合併：將多個預訓練語言模型合併為一個，以獲得更好的性能。
• 特定合併方法：採用 DELLA 合併方法，以 Qwen/Qwen2.5-Coder-32B 為基礎模型進行合併。

📚 詳細文檔

合併詳情

合併方法

本模型使用 DELLA 合併方法，以 Qwen/Qwen2.5-Coder-32B 為基礎進行合併。

參與合併的模型

以下模型參與了合併：

• Qwen/Qwen2.5-Coder-32B-instruct

配置信息

以下是用於生成此模型的 YAML 配置文件：

models:
  - model: Qwen/Qwen2.5-Coder-32B-instruct
    parameters:
      density: 1 
      weight: 1
      lambda: 0.9
merge_method: della
base_model: Qwen/Qwen2.5-Coder-32B
parameters:
  density: 1
  weight: 1
  lambda: 0.9
  normalize: true
  int8_mask: true
dtype: bfloat16

信息表格