🚀 QRコード条件付きControlNetモデル for Stable Diffusion 1.5
このリポジトリは、Stable Diffusion v1.5用のQRコード条件付きControlNetのsafetensorsとdiffusersバージョンを保持しています。このプロジェクトは、QRコードを条件とした画像生成を可能にすることで、画像生成の新しい可能性を開拓します。

🚀 クイックスタート
モデルの説明
このリポジトリには、Stable Diffusion v1.5用のQRコード条件付きControlNetのsafetensorsとdiffusersバージョンが含まれています。Stable Diffusion 2.1バージョンは、特定のニーズに合わせて開発されたため、若干効果的です。ただし、この1.5バージョンのモデルも、古いバージョンを使用している人のために同じデータセットでトレーニングされています。
Diffusersでの使用方法
pip -q install diffusers transformers accelerate torch xformers
import torch
from PIL import Image
from diffusers import StableDiffusionControlNetImg2ImgPipeline, ControlNetModel, DDIMScheduler
from diffusers.utils import load_image
controlnet = ControlNetModel.from_pretrained("DionTimmer/controlnet_qrcode-control_v1p_sd15",
torch_dtype=torch.float16)
pipe = StableDiffusionControlNetImg2ImgPipeline.from_pretrained(
"runwayml/stable-diffusion-v1-5",
controlnet=controlnet,
safety_checker=None,
torch_dtype=torch.float16
)
pipe.enable_xformers_memory_efficient_attention()
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()
def resize_for_condition_image(input_image: Image, resolution: int):
input_image = input_image.convert("RGB")
W, H = input_image.size
k = float(resolution) / min(H, W)
H *= k
W *= k
H = int(round(H / 64.0)) * 64
W = int(round(W / 64.0)) * 64
img = input_image.resize((W, H), resample=Image.LANCZOS)
return img
source_image = load_image("https://s3.amazonaws.com/moonup/production/uploads/6064e095abd8d3692e3e2ed6/A_RqHaAM6YHBodPLwqtjn.png")
init_image = load_image("https://s3.amazonaws.com/moonup/production/uploads/noauth/KfMBABpOwIuNolv1pe3qX.jpeg")
condition_image = resize_for_condition_image(source_image, 768)
init_image = resize_for_condition_image(init_image, 768)
generator = torch.manual_seed(123121231)
image = pipe(prompt="a bilboard in NYC with a qrcode",
negative_prompt="ugly, disfigured, low quality, blurry, nsfw",
image=init_image,
control_image=condition_image,
width=768,
height=768,
guidance_scale=20,
controlnet_conditioning_scale=1.5,
generator=generator,
strength=0.9,
num_inference_steps=150,
)
image.images[0]
✨ 主な機能
このモデルは、QRコードを条件として画像生成を行うことができます。ただし、100%正確ではなく、場合によってはQRコードの形状が期待通りにならないことがあります。この場合は、ControlNetの重みを増やすことでQRコードの形状を強調することができます。
📦 インストール
このモデルを使用する最も簡単な方法は、.safetensorsモデルとその.yaml設定ファイルを、他のControlNetモデルがインストールされているフォルダに配置することです。このフォルダはアプリケーションによって異なります。
auto1111で使用する場合は、webui/models/ControlNetフォルダに配置することができます。ControlNetのWebUI拡張機能を使用して読み込むことができ、これはWebUIの拡張タブ(https://github.com/Mikubill/sd-webui-controlnet)からインストールできます。ControlNetユニットを有効にし、入力画像をQRコードに設定してください。モデルをベースのStable Diffusionモデルに合わせてSD2.1または1.5バージョンに設定しないとエラーが発生します。前処理は必要ありませんが、異なる結果を得るために反転前処理を使用することもできます。生成には768の解像度が推奨されます。
🔧 技術詳細
性能と制限
これらのモデルはほとんどの場合で良好な性能を発揮しますが、100%正確ではありません。場合によっては、QRコードの形状が期待通りにならないことがあります。QRコードの形状を強調するためにControlNetの重みを増やすことができますが、これは出力のスタイルに悪影響を与える可能性があるため注意が必要です。スキャンを最適化するために、誤り訂正モード'H'(30%)でQRコードを生成してください。
スタイルと形状のバランスを取るには、個々の入力と目的の出力、および適切なプロンプトに基づいて、制御重みを微調整する必要があります。一部のプロンプトは、重みを大幅に増やさないと機能しません。これらの要素間の適切なバランスを見つけるプロセスは、一部は芸術であり、一部は科学です。最良の結果を得るためには、768の解像度でアートワークを生成することをお勧めします。これにより、最終製品により高いレベルの詳細が可能になり、QRコードベースのアートワークの品質と効果が向上します。
📄 ライセンス
このプロジェクトはOpenRAIL++ライセンスの下で公開されています。
プロパティ |
詳細 |
モデルタイプ |
QRコード条件付きControlNetモデル for Stable Diffusion 1.5 |
トレーニングデータ |
特定のデータセット |
⚠️ 重要な注意
これらのモデルは100%正確ではなく、場合によってはQRコードの形状が期待通りにならないことがあります。
💡 使用上のヒント
スタイルと形状のバランスを取るために、制御重みを微調整することをお勧めします。また、最良の結果を得るためには、768の解像度でアートワークを生成してください。