QWQ Stock

🚀 模型合併項目

本項目使用 mergekit 對預訓練語言模型進行合併。該項目支持多種語言，包括中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韓文、越南文、泰文和阿拉伯文。

模型信息

🚀 快速開始

合併詳情

合併方法

本模型採用 Model Stock 合併方法，以 Qwen/Qwen2.5-32B-Instruct 為基礎模型進行合併。

參與合併的模型

以下模型參與了合併：

• Qwen/Qwen2.5-32B
• Qwen/QwQ-32B
• maldv/Awqward2.5-32B-Instruct
• huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated
• Qwen/QwQ-32B-Preview
• tanliboy/lambda-qwen2.5-32b-dpo-test

配置信息

以下是用於生成此模型的 YAML 配置：

models:
  - model: Qwen/QwQ-32B 
  - model: huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated 
  - model: Qwen/Qwen2.5-32B 
  - model: maldv/Awqward2.5-32B-Instruct
  - model: Qwen/Qwen2.5-32B-Instruct 
  - model: Qwen/QwQ-32B-Preview 
  - model: tanliboy/lambda-qwen2.5-32b-dpo-test
merge_method: model_stock
base_model: Qwen/Qwen2.5-32B-Instruct
normalize: true
int8_mask: true
dtype: bfloat16