Textflux

🚀 TextFlux：用於高保真多語言場景文本合成的無OCR DiT模型

TextFlux是一個無OCR的DiT模型，用於高保真多語言場景文本合成。它通過將渲染的字形與場景圖像進行空間拼接，為模型提供直接的視覺字形指導，簡化了學習任務，使模型能夠專注於上下文推理和視覺融合。

🚀 快速開始

克隆/下載

獲取必要的代碼和模型權重。

安裝依賴

conda create -n textflux python==3.11.4 -y
conda activate textflux
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

pip install -r requirements.txt
# 確保 diffusers >= 0.32.1

Gradio演示

提供“正常模式”（用於預組合輸入）和“自定義模式”（上傳場景、繪製掩碼、輸入文本以自動生成和拼接模板）。

python demo.py

✨ 主要特性

• 無OCR：簡化架構，無需OCR編碼器。
• 高保真與上下文風格：精確渲染，與場景風格一致。
• 多語言與低資源：跨語言表現出色，只需少量數據（如<1000個樣本）即可適應新語言。
• 零樣本泛化：能夠渲染訓練期間未見的字符。
• 可控多行文本：靈活的多行合成，支持行級控制。
• 數據高效：與其他方法相比，僅需使用一小部分數據（如~1%）。

📚 詳細文檔

更新日誌

• 2025/05/27：我們的全參數權重和LoRA權重現已可用🤗！
• 2025/05/25：我們的arXiv論文已發佈🥳！

致謝

我們的代碼基於Diffusers修改。我們採用black-forest-labs/FLUX.1-Fill-dev作為基礎模型。感謝所有貢獻者的有益討論！

📄 許可證

TextFlux模型的使用受FLUX.1 [dev] 非商業許可協議（或適用於TextFlux所基於的FLUX.1-Fill-dev的特定版本）的約束。

📚 引用

@misc{xie2025textfluxocrfreeditmodel,
      title={TextFlux: An OCR-Free DiT Model for High-Fidelity Multilingual Scene Text Synthesis}, 
      author={Yu Xie and Jielei Zhang and Pengyu Chen and Ziyue Wang and Weihang Wang and Longwen Gao and Peiyi Li and Huyang Sun and Qiang Zhang and Qian Qiao and Jiaqing Fan and Zhouhui Lian},
      year={2025},
      eprint={2505.17778},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2505.17778}, 
}