URAE

🚀 URAE: Your Free FLUX Pro Ultra

Ultra-Resolution Adaptation with Ease（簡単に超高解像度適応）は、少量のコード変更で高解像度画像を生成することができる手法です。この手法は、データとパラメータの効率性の観点から、超高解像度適応のための一連の重要なガイドラインを提案しています。

🚀 クイックスタート

前提条件

もしまだインストールしていない場合は、PyTorch、diffusers、transformers、およびpeftをインストールしてください。

リポジトリのクローン

git clone https://github.com/Huage001/URAE.git
cd URAE

コードの変更

import torch
- from diffusers import FluxPipeline
+ from pipeline_flux import FluxPipeline
+ from transformer_flux import FluxTransformer2DModel

bfl_repo = "black-forest-labs/FLUX.1-dev"
+ transformer = FluxTransformer2DModel.from_pretrained(bfl_repo, subfolder="transformer", torch_dtype=torch.bfloat16)
- pipe = FluxPipeline.from_pretrained(bfl_repo, torch_dtype=torch.bfloat16)
+ pipe = FluxPipeline.from_pretrained(bfl_repo, transformer=transformer, torch_dtype=torch.bfloat16)
pipe.enable_model_cpu_offload() #save some VRAM by offloading the model to CPU. Remove this if you have enough GPU power

+ pipe.load_lora_weights("Huage001/URAE", weight_name="urae_2k_adapter.safetensors")

prompt = "An astronaut riding a green horse"
image = pipe(
    prompt,
-    height=1024,
-    width=1024,
+    height=2048,
+    width=2048,
    guidance_scale=3.5,
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-urae.png")

⚠️ FLUXは2K解像度で動作するために少なくとも28GBのGPUメモリが必要です。2Kと4Kの両方を含むURAEの全機能を使用するには、48GBのGPUが推奨されます。我々は積極的にモデルの軽量化戦略をURAEに統合しています！もし良いアイデアがあれば、自由にPRを提出してください！

Huggingface Spaceで試す

コードを実行したくない場合は、心配しないでください！Huggingface Spaceでモデルを試してみてください。

• URAE w. FLUX1.schnell (高速)
• URAE w. FLUX1.dev (高品質)

✨ 主な機能

• 使いやすい高品質かつ高解像度の画像生成😊：Ultra-Resolution Adaptation with Ease（略してURAE）は、FLUXを用いて、最小限のコード変更で高解像度の画像を生成します。
• 簡単な学習🚀：URAEは、FLUX1.1 Pro Ultraからの少数の合成データを用いて、軽量なアダプタを学習します。

🔥 ニュース

[2025/03/20] URAEの学習と推論のためのモデルとコードを公開しました。

📚 ドキュメント

文章から画像への拡散モデルは近年、著しい進歩を遂げています。しかし、高解像度画像生成のためのモデルの学習は、特に学習データと計算資源が限られている場合、依然として困難です。この論文では、この実用的な問題をデータとパラメータの効率性の2つの重要な観点から検討し、URAEと呼ばれる超高解像度適応のための一連の重要なガイドラインを提案しています。データの効率性に関しては、理論的および実験的に、一部の教師モデルによって生成された合成データが学習の収束を大幅に促進することを示しています。パラメータの効率性に関しては、合成データが利用できない場合、重み行列の一部の成分を調整することが、広く使用されている低ランクアダプタよりも優れており、効率を維持しながら大幅な性能向上をもたらすことを見出しています。さらに、ガイダンス蒸留を利用するモデル（例えばFLUX）に関しては、適応中に分類器フリーガイダンスを無効にする（すなわち、ガイダンススケールを1に設定する）ことが、満足できる性能を得るために重要であることを示しています。広範な実験により、URAEは、わずか3Kのサンプルと2Kの反復で、FLUX1.1 [Pro] Ultraのような最先端の閉ソースモデルと同等の2K生成性能を達成し、4K解像度生成の新しいベンチマークを設定しています。

📦 インストール

このリポジトリをあなたのプロジェクトディレクトリにクローンします。

git clone https://github.com/Huage001/URAE.git
cd URAE

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

著者情報

Ultra-Resolution Adaptation with Ease
Ruonan Yu*, Songhua Liu*, Zhenxiong Tan, and Xinchao Wang
xML Lab, National University of Singapore

リンク集