Qwq DeepSeek R1 SkyT1 Flash Lightest 32B

🚀 QwQ-DeepSeek-R1-SkyT1-Flash-Lightest-32B

这是一个使用 mergekit 合并预训练语言模型得到的模型。它结合了多个优秀模型的特点，为用户提供更强大的语言处理能力。

🚀 快速开始

本模型基于 transformers 库构建，你可以使用该库轻松加载和使用此模型。

✨ 主要特性

• 多模型融合：整合了多个预训练语言模型的优势。
• 特定合并方法：采用 sce 合并方法，以 Qwen/Qwen2.5-32B 为基础模型进行合并。

📚 详细文档

🔍 合并详情

合并方法

本模型采用 sce 合并方法，以 Qwen/Qwen2.5-32B 作为基础模型进行合并。

合并的模型

以下模型参与了合并：

• deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
• Qwen/QwQ-32B
• NovaSky-AI/Sky-T1-32B-Flash

配置

以下是用于生成此模型的 YAML 配置：

merge_method: sce
base_model: Qwen/Qwen2.5-32B  # 主模型（权重为零）
dtype: bfloat16
parameters:
  select_topk: 1.0
models:
  # 主模型（显式设置权重为零）
  - model: Qwen/Qwen2.5-32B
    parameters:
      weight: 0.0  # 对合并后的权重无贡献
      # sparsity: 0.0  # 可选：必要时强制稀疏性
  # 具有指定权重的目标模型
  - model: Qwen/QwQ-32B
    parameters:
      weight: 0.95  # 主要贡献者
  - model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
    parameters:
      weight: 0.01  # 最小贡献者
  - model: NovaSky-AI/Sky-T1-32B-Flash
    parameters:
      weight: 0.04  # 最小贡献者

📋 信息表格