Mmada 8B Base

🚀 MMaDA-8B-Base

MMaDAは、テキスト推論、マルチモーダル理解、テキストから画像生成などの多様なドメインで優れたパフォーマンスを達成するために設計された、新しいクラスのマルチモーダル拡散基礎モデルです。MMaDAには3つの主要な革新的な要素があります。

1. MMaDAは、共通の確率的定式化とモダリティ非依存の設計を持つ統一拡散アーキテクチャを採用しており、モダリティ固有のコンポーネントを必要としません。
2. MMaDAは、モダリティを横断した統一的な思考連鎖（CoT）形式を策定する混合長思考連鎖（CoT）微調整戦略を導入しています。
3. MMaDAは、拡散基礎モデルに特化した統一的な方策勾配ベースの強化学習アルゴリズム、UniGRPOを採用しています。多様な報酬モデリングを利用して、UniGRPOは推論と生成タスクの両方の事後学習を統一し、一貫したパフォーマンス向上を保証します。

論文 | コード | デモ

📚 ドキュメント

引用

@article{yang2025mmada,
  title={MMaDA: Multimodal Large Diffusion Language Models},
  author={Yang, Ling and Tian, Ye and Li, Bowen and Zhang, Xinchen and Shen, Ke and Tong, Yunhai and Wang, Mengdi},
  journal={arXiv preprint arXiv:2505.15809},
  year={2025}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。