Flux.1 Dev Controlnet Upscaler

🚀 ⚡ Flux.1-dev: Upscaler ControlNet ⚡

これは、Jasper研究チームによって開発された低解像度画像用のFlux.1-dev ControlNetです。このモデルは、低解像度の画像を高解像度に変換するためのControlNetで、画像の品質向上に役立ちます。

🚀 クイックスタート

このモデルは、diffusersライブラリを使用して直接利用することができます。

💻 使用例

基本的な使用法

import torch
from diffusers.utils import load_image
from diffusers import FluxControlNetModel
from diffusers.pipelines import FluxControlNetPipeline

# Load pipeline
controlnet = FluxControlNetModel.from_pretrained(
  "jasperai/Flux.1-dev-Controlnet-Upscaler",
  torch_dtype=torch.bfloat16
)
pipe = FluxControlNetPipeline.from_pretrained(
  "black-forest-labs/FLUX.1-dev",
  controlnet=controlnet,
  torch_dtype=torch.bfloat16
)
pipe.to("cuda")

# Load a control image
control_image = load_image(
  "https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Upscaler/resolve/main/examples/input.jpg"
)

w, h = control_image.size

# Upscale x4
control_image = control_image.resize((w * 4, h * 4))

image = pipe(
    prompt="", 
    control_image=control_image,
    controlnet_conditioning_scale=0.6,
    num_inference_steps=28, 
    guidance_scale=3.5,
    height=control_image.size[1],
    width=control_image.size[0]
).images[0]
image

🔧 技術詳細

このモデルは、合成複雑データ劣化スキームを用いてトレーニングされています。具体的には、実生活の画像を入力として、画像ノイジング（ガウシアン、ポアソン）、画像ブラー、JPEG圧縮などの複数の劣化を組み合わせて人工的に劣化させたデータを用いてトレーニングされています。このアプローチは、[1]の精神に沿っています。

[1] Wang, Xintao, et al. "Real-esrgan: Training real-world blind super-resolution with pure synthetic data." Proceedings of the IEEE/CVF international conference on computer vision. 2021.

📄 ライセンス

このモデルは、Flux.1-devモデルライセンスの下にあります。