Sdxl Lora Planet Textures

🚀 SDXL LoRA行星紋理模型

這是一個基於Stable Diffusion XL的LoRA模型，通過在行星紋理數據集上微調，能夠生成各種風格獨特的行星圖像，為太空主題的圖像創作提供了強大的支持。

✨ 主要特性

• 基於Stable Diffusion XL：藉助強大的Stable Diffusion XL基礎模型，生成高質量的圖像。
• 特定數據集微調：在行星紋理數據集上進行微調，專注於生成各種行星和太空相關的圖像。
• 特殊VAE：使用madebyollin/sdxl-vae-fp16-fix進行訓練，提升圖像生成效果。

📦 安裝指南

此部分文檔未明確給出安裝步驟，可參考以下通用步驟：

1. 確保你已經安裝了Python環境和必要的依賴庫，如torch、diffusers等。
2. 可以使用以下命令安裝diffusers庫：

pip install diffusers

💻 使用示例

基礎用法

import torch
from diffusers import DiffusionPipeline, AutoencoderKL

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.load_lora_weights("sshh12/sdxl-lora-planet-textures")
pipe.to("cuda")

prompt = "A dwarf planet exhibiting a striking purple color, with a surface peppered with craters and towering ice formations"
negative_prompt = 'blurry, fuzzy, low resolution, cartoon, painting'

image = pipe(prompt=prompt, negative_prompt=negative_prompt, width=1024, height=512).images[0]
image

高級用法

在實際使用中，你可以根據需要調整提示詞、負提示詞、圖像的寬度和高度等參數，以獲得不同風格和尺寸的圖像。例如：

import torch
from diffusers import DiffusionPipeline, AutoencoderKL

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.load_lora_weights("sshh12/sdxl-lora-planet-textures")
pipe.to("cuda")

# 調整提示詞和負提示詞
prompt = "A vibrant blue planet, teeming with lush, tropical forests and deep, azure oceans, surrounded by a thick, oxygen-rich atmosphere"
negative_prompt = 'low quality, distorted'

# 調整圖像尺寸
image = pipe(prompt=prompt, negative_prompt=negative_prompt, width=1280, height=720).images[0]
image

📚 詳細文檔

模型信息

示例圖像

提示詞	圖像
一顆青綠色的氣態巨行星，有高海拔的白色漩渦雲帶，被一個細的多色環系統環繞
一顆荒蕪的沙漠行星，覆蓋著細的鐵鏽紅色沙子，有深而暗的隕石坑，被一層稀薄的朦朧大氣籠罩
一顆小的冰衛星，被一層純淨的白色冰和塵埃外殼包裹，佈滿了複雜的霜裂圖案
一顆金屬小行星，表面崎嶇不平，有大量隕石坑，呈現出閃亮的銀灰色
一顆充滿活力的藍色行星，有茂密的熱帶森林和深邃的藍色海洋，被一層濃厚的富氧大氣包圍
一顆呈現出醒目紫色的矮行星，表面佈滿了隕石坑和高聳的冰結構
一顆佈滿塵埃的荒蕪衛星，表面呈暗淡的黃棕色，有長長的蜿蜒峽谷和懸崖

🔧 技術細節

訓練代碼

你可以在GitHub倉庫中找到訓練代碼。以下是訓練腳本的示例：

MODEL_NAME="stabilityai/stable-diffusion-xl-base-1.0"
DATASET_NAME="sshh12/planet-textures"

!accelerate launch v2/train_text_to_image_lora_sdxl.py \
  --pretrained_model_name_or_path="$MODEL_NAME" \
  --pretrained_vae_model_name_or_path="madebyollin/sdxl-vae-fp16-fix" \
  --dataset_name="$DATASET_NAME" \
  --caption_column="text" \
  --width=1024 \
  --height=512 \
  --random_hflip \
  --random_vflip \
  --mixed_precision="fp16" \
  --use_8bit_adam \
  --train_batch_size=1 \
  --gradient_accumulation_steps=2 \
  --num_train_epochs=500 \
  --checkpointing_steps=100 \
  --learning_rate=1e-05 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --seed=0 \
  --validation_epochs=5 \
  --validation_prompt_file="v2/validation_prompts.txt" \
  --enable_xformers_memory_efficient_attention \
  --report_to="wandb"

📄 許可證

本模型使用CC BY-NC 4.0許可證。