Mmada 8B MixCoT

🚀 MMaDA-8B-MixCoT

MMaDAは、テキスト推論、マルチモーダル理解、テキストから画像生成など、多様な領域で優れた性能を達成するために設計された、新しいクラスのマルチモーダル拡散基礎モデルです。MMaDAには、以下の3つの重要な革新点があります。

1. MMaDAは、共通の確率的定式化とモダリティ非依存の設計を持つ統一拡散アーキテクチャを採用しており、モダリティ固有のコンポーネントを必要としません。
2. MMaDAは、モダリティ間で統一された思考連鎖（CoT）形式を策定する混合長思考連鎖（CoT）微調整戦略を導入しています。
3. MMaDAは、拡散基礎モデルに特化した、統一的な方策勾配ベースの強化学習アルゴリズムを採用しています。これをUniGRPOと呼びます。多様な報酬モデリングを利用して、UniGRPOは推論と生成タスクの両方における事後学習を統一し、一貫した性能向上を保証します。

MMaDA-8B-Baseと比較すると、MMaDA-8B-MixCoTは、命令に対する追従能力がより優れており、CoT生成性能もより安定しています。

論文 | コード | デモ

✨ 主な機能

MMaDAは、多様なマルチモーダルタスクで優れた性能を発揮する革新的なモデルです。統一拡散アーキテクチャ、混合長思考連鎖（CoT）微調整戦略、統一的な方策勾配ベースの強化学習アルゴリズム（UniGRPO）を採用することで、モダリティ固有のコンポーネントを必要とせず、一貫した性能向上を実現しています。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

📚 ドキュメント

引用

@article{yang2025mmada,
  title={MMaDA: Multimodal Large Diffusion Language Models},
  author={Yang, Ling and Tian, Ye and Li, Bowen and Zhang, Xinchen and Shen, Ke and Tong, Yunhai and Wang, Mengdi},
  journal={arXiv preprint arXiv:2505.15809},
  year={2025}
}