M1 32b

🚀 M1-32B大語言模型

M1-32B是一個具有320億參數的大語言模型，它基於Qwen2.5-32B-Instruct在M500數據集（一個跨學科的多智能體協作推理數據集）上進行微調。該模型針對多智能體系統（MAS）中的推理、討論和決策進行了優化，適用於AgentVerse等框架。

🚀 快速開始

本模型的代碼可在https://github.com/jincan333/MAS-TTS獲取。

✨ 主要特性

• 🧠 增強的協作推理能力
  基於涉及不同角色（如專家招聘者、問題解決者和評估者）的真實多智能體軌跡進行訓練。

• 🗣️ 角色感知的對話生成
  能夠根據結構化提示，從不同專家的角度進行推理和回應。

• ⚙️ 針對多智能體系統進行優化
  作為MAS智能體表現出色，具備自適應協作和令牌預算管理能力。

📦 安裝指南

文檔未提供具體安裝步驟，暫不展示。

📚 詳細文檔

🏗️ 模型訓練

• 基礎模型：Qwen2.5-32B-Instruct
• 數據集：M500（500條精心策劃的多智能體推理軌跡）
• 目標：在角色條件提示上進行監督微調（SFT）
• 訓練設置：
  • 8 × A100 GPU
  • 5個訓練週期
  • 學習率：1e-5
  • 框架：DeepSpeed、FlashAttention、LLaMA-Factory

📊 性能

表格說明： 在AgentVerse框架內，使用強推理和非推理模型在通用理解、數學推理和編碼任務上的性能比較。我們的方法在所有任務上都比Qwen2.5和s1.1 - 32B有顯著改進，並且在MATH - 500和MBPP - S上達到了與o3 - mini和DeepSeek - R1相當的性能，證明了其在增強MAS協作推理方面的有效性。請注意，s1.1 - 32B的結果是在不使用預算強制的情況下獲得的。

💬 預期用途

M1 - 32B旨在用於多智能體系統中多智能體推理和協作的研究。

📄 許可證

本模型採用Apache - 2.0許可證。

引用

如果您使用此模型，請引用相關論文：

@article{jin2025two,
  title={Two Heads are Better Than One: Test-time Scaling of Multi-agent Collaborative Reasoning},
  author={Jin, Can and Peng, Hongwu and Zhang, Qixin and Tang, Yujin and Metaxas, Dimitris N and Che, Tong},
  journal={arXiv preprint arXiv:2504.09772},
  year={2025}
}

模型信息