Qr Code

🚀 Stable Diffusion 1.5用QRコード条件付きControlNetモデル

このリポジトリは、Stable Diffusion v1.5用のQRコード条件付きControlNetのsafetensorsとDiffusersバージョンを保持しています。特定のニーズに対応するために開発されたStable Diffusion 2.1バージョンは若干効果的ですが、古いバージョンを使用している方のために、この1.5バージョンのモデルも同じデータセットで学習されています。

🚀 クイックスタート

モデルの説明

このリポジトリには、Stable Diffusion v1.5用のQRコード条件付きControlNetのsafetensorsとDiffusersバージョンが含まれています。Stable Diffusion 2.1バージョンは、私の特定のニーズに合わせて開発されたため、若干効果的です。ただし、この1.5バージョンのモデルも、古いバージョンを使用しているユーザーのために、同じデータセットで学習されています。

Diffusersでの使用方法

pip -q install diffusers transformers accelerate torch xformers

import torch
from PIL import Image
from diffusers import StableDiffusionControlNetImg2ImgPipeline, ControlNetModel, DDIMScheduler
from diffusers.utils import load_image

controlnet = ControlNetModel.from_pretrained("DionTimmer/controlnet_qrcode-control_v1p_sd15",
                                             torch_dtype=torch.float16)

pipe = StableDiffusionControlNetImg2ImgPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5",
    controlnet=controlnet,
    safety_checker=None,
    torch_dtype=torch.float16
)

pipe.enable_xformers_memory_efficient_attention()
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

def resize_for_condition_image(input_image: Image, resolution: int):
    input_image = input_image.convert("RGB")
    W, H = input_image.size
    k = float(resolution) / min(H, W)
    H *= k
    W *= k
    H = int(round(H / 64.0)) * 64
    W = int(round(W / 64.0)) * 64
    img = input_image.resize((W, H), resample=Image.LANCZOS)
    return img


# play with guidance_scale, controlnet_conditioning_scale and strength to make a valid QR Code Image

# qr code image
source_image = load_image("https://s3.amazonaws.com/moonup/production/uploads/6064e095abd8d3692e3e2ed6/A_RqHaAM6YHBodPLwqtjn.png")
# initial image, anything
init_image = load_image("https://s3.amazonaws.com/moonup/production/uploads/noauth/KfMBABpOwIuNolv1pe3qX.jpeg")
condition_image = resize_for_condition_image(source_image, 768)
init_image = resize_for_condition_image(init_image, 768)
generator = torch.manual_seed(123121231)
image = pipe(prompt="a bilboard in NYC with a qrcode",
             negative_prompt="ugly, disfigured, low quality, blurry, nsfw", 
             image=init_image,
             control_image=condition_image,
             width=768,
             height=768,
             guidance_scale=20,
             controlnet_conditioning_scale=1.5,
             generator=generator,
             strength=0.9, 
             num_inference_steps=150,
            )

image.images[0]

性能と制限事項

これらのモデルはほとんどの場合で良好な性能を発揮しますが、100%正確ではありません。場合によっては、QRコードの形状が期待通りに再現されないことがあります。QRコードの形状を強調するには、ControlNetの重みを増やすことができます。ただし、これにより出力のスタイルに悪影響が出る可能性があるので注意してください。スキャンを最適化するためには、誤り訂正モード'H' (30%)でQRコードを生成してください。

スタイルと形状のバランスを取るには、個々の入力、目的の出力、および適切なプロンプトに基づいて、制御重みを微調整する必要があります。一部のプロンプトは、重みを大幅に増やさないと機能しません。これらの要素間の適切なバランスを見つけるプロセスは、一部は技術、一部はアートです。最良の結果を得るには、768の解像度でアートワークを生成することをお勧めします。これにより、最終製品の詳細度が向上し、QRコードベースのアートワークの品質と効果が高まります。

📦 インストール

このモデルを使用する最も簡単な方法は、.safetensorsモデルとその.yaml設定ファイルを、他のControlNetモデルがインストールされているフォルダに配置することです。このフォルダはアプリケーションによって異なります。 auto1111で使用する場合は、webui/models/ControlNetフォルダに配置することができます。これらは、webuiの拡張機能タブからインストールできるControlNet webui拡張機能を使用して読み込むことができます(https://github.com/Mikubill/sd-webui-controlnet)。ControlNetユニットを有効にし、入力画像をQRコードに設定してください。ベースのStable Diffusionモデルに応じて、モデルをSD2.1または1.5バージョンに設定しないとエラーになります。前処理は必要ありませんが、異なる結果を得るために反転前処理を使用することもできます。生成には768の解像度が推奨されます。これにより、より詳細な結果が得られます。 ControlNetの使用方法に関する追加情報が必要な場合は、調べてみてください。webuiを起動したら、ControlNet拡張機能をインストールするのは本当に簡単です。

📄 ライセンス

openrail++