Mmada 8B Base

🚀 MMaDA-8B-Base

MMaDA是一類新穎的多模態擴散基礎模型，旨在文本推理、多模態理解和文本到圖像生成等多個領域實現卓越性能。該模型有三項關鍵創新：

1. 採用統一的擴散架構，具備共享概率公式和模態無關設計，無需特定模態組件。
2. 引入混合長思維鏈（CoT）微調策略，在各模態間精心設計統一的CoT格式。
3. 採用基於統一策略梯度的強化學習算法UniGRPO，專為擴散基礎模型量身定製。通過多樣化的獎勵建模，UniGRPO統一了推理和生成任務的後訓練過程，確保性能持續提升。

論文 | 代碼 | 演示

✨ 主要特性

• 統一的擴散架構，無需特定模態組件。
• 混合長思維鏈（CoT）微調策略，統一各模態的CoT格式。
• 基於統一策略梯度的強化學習算法UniGRPO，統一推理和生成任務的後訓練過程。

📄 許可證

本項目採用MIT許可證。

📚 詳細文檔

引用信息

如果您使用了本項目的相關內容，請引用以下論文：

@article{yang2025mmada,
  title={MMaDA: Multimodal Large Diffusion Language Models},
  author={Yang, Ling and Tian, Ye and Li, Bowen and Zhang, Xinchen and Shen, Ke and Tong, Yunhai and Wang, Mengdi},
  journal={arXiv preprint arXiv:2505.15809},
  year={2025}
}