URAE

🚀 URAE: Your Free FLUX Pro Ultra

URAE（Ultra-Resolution Adaptation with Ease）旨在从数据和参数效率两个关键视角出发，探索高分辨率图像生成的实际问题，并提出了一套名为URAE的超分辨率适配关键准则，能在有限的训练数据和计算资源下实现高质量的高分辨率图像生成。

🚀 快速开始

如果你还未安装相关库，请先安装 PyTorch、diffusers、transformers 和 peft。

将此仓库克隆到你的项目目录：

git clone https://github.com/Huage001/URAE.git
cd URAE

你只需要进行最小程度的修改！

import torch
- from diffusers import FluxPipeline
+ from pipeline_flux import FluxPipeline
+ from transformer_flux import FluxTransformer2DModel

bfl_repo = "black-forest-labs/FLUX.1-dev"
+ transformer = FluxTransformer2DModel.from_pretrained(bfl_repo, subfolder="transformer", torch_dtype=torch.bfloat16)
- pipe = FluxPipeline.from_pretrained(bfl_repo, torch_dtype=torch.bfloat16)
+ pipe = FluxPipeline.from_pretrained(bfl_repo, transformer=transformer, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload() #save some VRAM by offloading the model to CPU. Remove this if you have enough GPU power

+ pipe.load_lora_weights("Huage001/URAE", weight_name="urae_2k_adapter.safetensors")

prompt = "An astronaut riding a green horse"
image = pipe(
    prompt,
-    height=1024,
-    width=1024,
+    height=2048,
+    width=2048,
    guidance_scale=3.5,
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-urae.png")

⚠️ 重要提示

FLUX在2K分辨率下运行至少需要28GB的GPU内存。为了实现URAE的全部功能（包括2K和4K），建议使用48GB的GPU。我们正在积极将模型轻量化策略集成到URAE中！如果你有好的想法，请随时提交PR！

如果你不想运行代码，别担心！可以在Huggingface Space上试用该模型：

• URAE w. FLUX1.schnell （更快）
• URAE w. FLUX1.dev （更高质量）

✨ 主要特性

• 易于使用的高质量高分辨率生成😊：URAE（Ultra-Resolution Adaptation with Ease）能够借助FLUX生成高分辨率图像，只需对代码进行最小程度的修改。
• 易于训练🚀：URAE使用来自 FLUX1.1 Pro Ultra 的少量合成数据来训练轻量级适配器。

📦 安装指南

将此仓库克隆到你的项目目录：

git clone https://github.com/Huage001/URAE.git
cd URAE

📚 详细文档

文本到图像的扩散模型近年来取得了显著进展。然而，训练用于高分辨率图像生成的模型仍然具有挑战性，特别是在训练数据和计算资源有限的情况下。在本文中，我们从数据和参数效率两个关键视角探讨了这个实际问题，并提出了一套名为 URAE 的超分辨率适配关键准则。

为了提高数据效率，我们从理论和实证上证明了一些教师模型生成的合成数据可以显著促进训练收敛。为了提高参数效率，我们发现当合成数据不可用时，调整权重矩阵的次要组件比广泛使用的低秩适配器效果更好，在保持效率的同时提供了显著的性能提升。此外，对于利用引导蒸馏的模型，如FLUX，我们表明在适配过程中禁用无分类器引导（即将引导比例设置为1）对于获得令人满意的性能至关重要。大量实验验证了URAE仅使用3K样本和2K迭代就可以实现与最先进的闭源模型（如FLUX1.1 [Pro] Ultra）相当的2K生成性能，同时为4K分辨率生成设定了新的基准。

🔥 最新消息

[2025/03/20] 我们发布了URAE的训练和推理模型及代码。

📄 许可证

本项目采用Apache-2.0许可证。

项目相关图片

项目相关链接

• arXiv论文
• 🤗 HuggingFace模型
• 🤗 HuggingFace Space 1
• 🤗 HuggingFace Space 2

作者信息

Ultra-Resolution Adaptation with Ease
Ruonan Yu* Songhua Liu* Zhenxiong Tan 和 Xinchao Wang
xML Lab，新加坡国立大学