URAE

🚀 URAE: Your Free FLUX Pro Ultra

URAE（Ultra-Resolution Adaptation with Ease）旨在從數據和參數效率兩個關鍵視角出發，探索高分辨率圖像生成的實際問題，並提出了一套名為URAE的超分辨率適配關鍵準則，能在有限的訓練數據和計算資源下實現高質量的高分辨率圖像生成。

🚀 快速開始

如果你還未安裝相關庫，請先安裝 PyTorch、diffusers、transformers 和 peft。

將此倉庫克隆到你的項目目錄：

git clone https://github.com/Huage001/URAE.git
cd URAE

你只需要進行最小程度的修改！

import torch
- from diffusers import FluxPipeline
+ from pipeline_flux import FluxPipeline
+ from transformer_flux import FluxTransformer2DModel

bfl_repo = "black-forest-labs/FLUX.1-dev"
+ transformer = FluxTransformer2DModel.from_pretrained(bfl_repo, subfolder="transformer", torch_dtype=torch.bfloat16)
- pipe = FluxPipeline.from_pretrained(bfl_repo, torch_dtype=torch.bfloat16)
+ pipe = FluxPipeline.from_pretrained(bfl_repo, transformer=transformer, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload() #save some VRAM by offloading the model to CPU. Remove this if you have enough GPU power

+ pipe.load_lora_weights("Huage001/URAE", weight_name="urae_2k_adapter.safetensors")

prompt = "An astronaut riding a green horse"
image = pipe(
    prompt,
-    height=1024,
-    width=1024,
+    height=2048,
+    width=2048,
    guidance_scale=3.5,
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-urae.png")

⚠️ 重要提示

FLUX在2K分辨率下運行至少需要28GB的GPU內存。為了實現URAE的全部功能（包括2K和4K），建議使用48GB的GPU。我們正在積極將模型輕量化策略集成到URAE中！如果你有好的想法，請隨時提交PR！

如果你不想運行代碼，別擔心！可以在Huggingface Space上試用該模型：

• URAE w. FLUX1.schnell （更快）
• URAE w. FLUX1.dev （更高質量）

✨ 主要特性

• 易於使用的高質量高分辨率生成😊：URAE（Ultra-Resolution Adaptation with Ease）能夠藉助FLUX生成高分辨率圖像，只需對代碼進行最小程度的修改。
• 易於訓練🚀：URAE使用來自 FLUX1.1 Pro Ultra 的少量合成數據來訓練輕量級適配器。

📦 安裝指南

將此倉庫克隆到你的項目目錄：

git clone https://github.com/Huage001/URAE.git
cd URAE

📚 詳細文檔

文本到圖像的擴散模型近年來取得了顯著進展。然而，訓練用於高分辨率圖像生成的模型仍然具有挑戰性，特別是在訓練數據和計算資源有限的情況下。在本文中，我們從數據和參數效率兩個關鍵視角探討了這個實際問題，並提出了一套名為 URAE 的超分辨率適配關鍵準則。

為了提高數據效率，我們從理論和實證上證明了一些教師模型生成的合成數據可以顯著促進訓練收斂。為了提高參數效率，我們發現當合成數據不可用時，調整權重矩陣的次要組件比廣泛使用的低秩適配器效果更好，在保持效率的同時提供了顯著的性能提升。此外，對於利用引導蒸餾的模型，如FLUX，我們表明在適配過程中禁用無分類器引導（即將引導比例設置為1）對於獲得令人滿意的性能至關重要。大量實驗驗證了URAE僅使用3K樣本和2K迭代就可以實現與最先進的閉源模型（如FLUX1.1 [Pro] Ultra）相當的2K生成性能，同時為4K分辨率生成設定了新的基準。

🔥 最新消息

[2025/03/20] 我們發佈了URAE的訓練和推理模型及代碼。

📄 許可證

本項目採用Apache-2.0許可證。

項目相關圖片

項目相關鏈接

• arXiv論文
• 🤗 HuggingFace模型
• 🤗 HuggingFace Space 1
• 🤗 HuggingFace Space 2

作者信息

Ultra-Resolution Adaptation with Ease
Ruonan Yu* Songhua Liu* Zhenxiong Tan 和 Xinchao Wang
xML Lab，新加坡國立大學