Sdxl Lora Planet Textures

🚀 SDXL LoRA 惑星テクスチャ

これは、StableDiffusionXLを用いた惑星や宇宙関連の画像生成用のLoRAアダプターです。特定のデータセットで微調整され、様々な惑星や天体のテクスチャを生成できます。

🚀 クイックスタート

これらのLoRA適応重みは、stabilityai/stable-diffusion-xl-base-1.0用のものです。重みは、sshh12/planet-texturesデータセットで微調整されています。

トレーニングに使用される特別なVAE: madebyollin/sdxl-vae-fp16-fix。

プロンプト	画像
薄い多色の環状構造に包まれ、高高度の雲の白い渦巻きが走るターコイズ色のガス巨星
細かい錆びた赤い砂で覆われ、深い暗いクレーターが点在し、薄い霞んだ大気に覆われた不毛の砂漠惑星
純白の氷と塵の殻に包まれ、霜の亀裂の複雑なパターンで覆われた小さな氷の衛星
表面が荒れてクレーターが多く、光沢のある銀灰色をした金属質の小惑星
豊かな熱帯林と深い青い海に満ち、酸素が豊富な厚い大気に包まれた鮮やかな青い惑星
表面にクレーターと巨大な氷の形成物が点在する鮮やかな紫色をした矮惑星
薄茶色の無機質な表面に、長い曲がりくねった峡谷と断崖が刻まれた埃っぽい不毛の衛星

💻 使用例

基本的な使用法

import torch
from diffusers import DiffusionPipeline, AutoencoderKL

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.load_lora_weights("sshh12/sdxl-lora-planet-textures")
pipe.to("cuda")

prompt = "A dwarf planet exhibiting a striking purple color, with a surface peppered with craters and towering ice formations"
negative_prompt = 'blurry, fuzzy, low resolution, cartoon, painting'

image = pipe(prompt=prompt, negative_prompt=negative_prompt, width=1024, height=512).images[0]
image

🔧 技術詳細

GitHub: https://github.com/sshh12/planet-diffusion

MODEL_NAME="stabilityai/stable-diffusion-xl-base-1.0"
DATASET_NAME="sshh12/planet-textures"

!accelerate launch v2/train_text_to_image_lora_sdxl.py \
  --pretrained_model_name_or_path="$MODEL_NAME" \
  --pretrained_vae_model_name_or_path="madebyollin/sdxl-vae-fp16-fix" \
  --dataset_name="$DATASET_NAME" \
  --caption_column="text" \
  --width=1024 \
  --height=512 \
  --random_hflip \
  --random_vflip \
  --mixed_precision="fp16" \
  --use_8bit_adam \
  --train_batch_size=1 \
  --gradient_accumulation_steps=2 \
  --num_train_epochs=500 \
  --checkpointing_steps=100 \
  --learning_rate=1e-05 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --seed=0 \
  --validation_epochs=5 \
  --validation_prompt_file="v2/validation_prompts.txt" \
  --enable_xformers_memory_efficient_attention \
  --report_to="wandb"

📄 ライセンス

このプロジェクトは、CC BY-NC 4.0ライセンスの下で提供されています。