Reasongen R1 SFT

🚀 ReasonGen-R1（仅SFT）模型卡片

ReasonGen-R1（仅SFT）是一个文本到图像的模型，它通过监督微调（SFT）在图像提示和推理依据的数据集上进行了微调。该模型基于 deepseek-ai/Janus-Pro-7B 模型，相关内容在论文“ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL”中有描述。

官网：https://aka.ms/reasongen

代码：https://github.com/Franklin-Zhang0/Image-RL

预印本：https://arxiv.org/abs/2505.24875

🚀 快速开始

模型简介

虽然思维链（CoT）推理和强化学习（RL）在自然语言处理（NLP）领域取得了突破，但将它们集成到生成式视觉模型中的研究仍相对较少。我们推出了 ReasonGen-R1，这是一个两阶段的框架。首先，通过在新生成的书面推理依据数据集上进行监督微调（SFT），使自回归图像生成器具备基于文本的显式“思考”能力；然后，使用组相对策略优化（GRPO）来优化其输出。

为了让模型在生成图像之前能够通过文本进行推理，我们自动生成并发布了一个与视觉提示配对的模型生成推理依据语料库，从而可以对物体布局、风格和场景组合进行可控规划。

我们的 GRPO 算法利用预训练的视觉 - 语言模型的奖励信号来评估整体视觉质量，并在每次更新时优化策略。

在 Geneval、DPG 和文本到图像（T2I）基准测试中的评估表明，ReasonGen-R1 始终优于强大的基线模型和先前的最先进模型。我们将开源生成的推理数据集和训练代码，以加速基于文本推理驱动的图像生成技术的进一步发展。

📄 许可证

本项目采用 apache-2.0 许可证。

4. 致谢

我们要感谢 Verl，我们的仓库是基于它构建的。