M1 32b

🚀 M1-32B

M1-32Bは、320億パラメータの大規模言語モデルです。Qwen2.5-32B-InstructをM500データセット（学際的なマルチエージェント協調推論データセット）でファインチューニングしています。M1-32Bは、AgentVerseなどのフレームワークを含むマルチエージェントシステム（MAS）における推論、議論、意思決定の向上のために最適化されています。

論文: Two Heads are Better Than One: Test-time Scaling of Multi-agent Collaborative Reasoning コード: https://github.com/jincan333/MAS-TTS

🚀 クイックスタート

M1-32Bは、マルチエージェントシステムにおける研究や開発に使用できる大規模言語モデルです。以下の情報を参考に、モデルを利用してください。

✨ 主な機能

• 🧠 強化された協調推論
  専門家採用担当者、問題解決者、評価者などの多様な役割を含む実際のマルチエージェントトレースで学習されています。

• 🗣️ 役割認識型対話生成
  構造化されたプロンプトに基づいて、異なる専門家の視点から推論し、応答することができます。

• ⚙️ マルチエージェントシステム向け最適化
  適応的な協調とトークン予算管理を備えたMASエージェントとして良好な性能を発揮します。

📦 インストール

このセクションでは、原READMEにインストール手順が記載されていないため、省略します。

📚 ドキュメント

🏗️ モデルの学習

• ベースモデル: Qwen2.5-32B-Instruct
• データセット: M500 (500件の精選されたマルチエージェント推論トレース)
• 目的: 役割条件付きプロンプトでの教師ありファインチューニング（SFT）
• 学習設定:
  • 8 × A100 GPU
  • 5エポック
  • 学習率: 1e-5
  • フレームワーク: DeepSpeed、FlashAttention、LLaMA-Factory

📊 性能

表の説明:
AgentVerseフレームワーク内での一般的な理解、数学的推論、コーディングタスクにおける性能比較です。当モデルは、すべてのタスクでQwen2.5およびs1.1-32Bよりも大幅な改善を達成し、MATH-500およびMBPP-Sではo3-miniおよびDeepSeek-R1と同等の性能を達成しており、MASにおける協調推論の強化における有効性を示しています。なお、s1.1-32Bの結果は、予算制限を使用せずに得られたものです。

💬 意図された用途

M1-32Bは、マルチエージェントシステムにおけるマルチエージェント推論と協調の研究に使用することを意図しています。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

引用

このモデルを使用する場合は、関連する論文を引用してください。

@article{jin2025two,
  title={Two Heads are Better Than One: Test-time Scaling of Multi-agent Collaborative Reasoning},
  author={Jin, Can and Peng, Hongwu and Zhang, Qixin and Tang, Yujin and Metaxas, Dimitris N and Che, Tong},
  journal={arXiv preprint arXiv:2504.09772},
  year={2025}
}