Reasongen R1 SFT

🚀 ReasonGen-R1（僅SFT）模型卡片

ReasonGen-R1（僅SFT）是一個文本到圖像的模型，它通過監督微調（SFT）在圖像提示和推理依據的數據集上進行了微調。該模型基於 deepseek-ai/Janus-Pro-7B 模型，相關內容在論文“ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL”中有描述。

官網：https://aka.ms/reasongen

代碼：https://github.com/Franklin-Zhang0/Image-RL

預印本：https://arxiv.org/abs/2505.24875

🚀 快速開始

模型簡介

雖然思維鏈（CoT）推理和強化學習（RL）在自然語言處理（NLP）領域取得了突破，但將它們集成到生成式視覺模型中的研究仍相對較少。我們推出了 ReasonGen-R1，這是一個兩階段的框架。首先，通過在新生成的書面推理依據數據集上進行監督微調（SFT），使自迴歸圖像生成器具備基於文本的顯式“思考”能力；然後，使用組相對策略優化（GRPO）來優化其輸出。

為了讓模型在生成圖像之前能夠通過文本進行推理，我們自動生成併發布了一個與視覺提示配對的模型生成推理依據語料庫，從而可以對物體佈局、風格和場景組合進行可控規劃。

我們的 GRPO 算法利用預訓練的視覺 - 語言模型的獎勵信號來評估整體視覺質量，並在每次更新時優化策略。

在 Geneval、DPG 和文本到圖像（T2I）基準測試中的評估表明，ReasonGen-R1 始終優於強大的基線模型和先前的最先進模型。我們將開源生成的推理數據集和訓練代碼，以加速基於文本推理驅動的圖像生成技術的進一步發展。

📄 許可證

本項目採用 apache-2.0 許可證。

4. 致謝

我們要感謝 Verl，我們的倉庫是基於它構建的。