Qwq DeepSeek R1 SkyT1 Flash Lightest 32B

🚀 QwQ-DeepSeek-R1-SkyT1-Flash-Lightest-32B

這是一個使用 mergekit 合併預訓練語言模型得到的模型。它結合了多個優秀模型的特點，為用戶提供更強大的語言處理能力。

🚀 快速開始

本模型基於 transformers 庫構建，你可以使用該庫輕鬆加載和使用此模型。

✨ 主要特性

• 多模型融合：整合了多個預訓練語言模型的優勢。
• 特定合併方法：採用 sce 合併方法，以 Qwen/Qwen2.5-32B 為基礎模型進行合併。

📚 詳細文檔

🔍 合併詳情

合併方法

本模型採用 sce 合併方法，以 Qwen/Qwen2.5-32B 作為基礎模型進行合併。

合併的模型

以下模型參與了合併：

• deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
• Qwen/QwQ-32B
• NovaSky-AI/Sky-T1-32B-Flash

配置

以下是用於生成此模型的 YAML 配置：

merge_method: sce
base_model: Qwen/Qwen2.5-32B  # 主模型（權重為零）
dtype: bfloat16
parameters:
  select_topk: 1.0
models:
  # 主模型（顯式設置權重為零）
  - model: Qwen/Qwen2.5-32B
    parameters:
      weight: 0.0  # 對合並後的權重無貢獻
      # sparsity: 0.0  # 可選：必要時強制稀疏性
  # 具有指定權重的目標模型
  - model: Qwen/QwQ-32B
    parameters:
      weight: 0.95  # 主要貢獻者
  - model: deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
    parameters:
      weight: 0.01  # 最小貢獻者
  - model: NovaSky-AI/Sky-T1-32B-Flash
    parameters:
      weight: 0.04  # 最小貢獻者

📋 信息表格