Sdxl Lora Planet Textures

🚀 SDXL LoRA行星纹理模型

这是一个基于Stable Diffusion XL的LoRA模型，通过在行星纹理数据集上微调，能够生成各种风格独特的行星图像，为太空主题的图像创作提供了强大的支持。

✨ 主要特性

• 基于Stable Diffusion XL：借助强大的Stable Diffusion XL基础模型，生成高质量的图像。
• 特定数据集微调：在行星纹理数据集上进行微调，专注于生成各种行星和太空相关的图像。
• 特殊VAE：使用madebyollin/sdxl-vae-fp16-fix进行训练，提升图像生成效果。

📦 安装指南

此部分文档未明确给出安装步骤，可参考以下通用步骤：

1. 确保你已经安装了Python环境和必要的依赖库，如torch、diffusers等。
2. 可以使用以下命令安装diffusers库：

pip install diffusers

💻 使用示例

基础用法

import torch
from diffusers import DiffusionPipeline, AutoencoderKL

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.load_lora_weights("sshh12/sdxl-lora-planet-textures")
pipe.to("cuda")

prompt = "A dwarf planet exhibiting a striking purple color, with a surface peppered with craters and towering ice formations"
negative_prompt = 'blurry, fuzzy, low resolution, cartoon, painting'

image = pipe(prompt=prompt, negative_prompt=negative_prompt, width=1024, height=512).images[0]
image

高级用法

在实际使用中，你可以根据需要调整提示词、负提示词、图像的宽度和高度等参数，以获得不同风格和尺寸的图像。例如：

import torch
from diffusers import DiffusionPipeline, AutoencoderKL

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", vae=vae, torch_dtype=torch.float16, variant="fp16", use_safetensors=True)
pipe.load_lora_weights("sshh12/sdxl-lora-planet-textures")
pipe.to("cuda")

# 调整提示词和负提示词
prompt = "A vibrant blue planet, teeming with lush, tropical forests and deep, azure oceans, surrounded by a thick, oxygen-rich atmosphere"
negative_prompt = 'low quality, distorted'

# 调整图像尺寸
image = pipe(prompt=prompt, negative_prompt=negative_prompt, width=1280, height=720).images[0]
image

📚 详细文档

模型信息

示例图像

提示词	图像
一颗青绿色的气态巨行星，有高海拔的白色漩涡云带，被一个细的多色环系统环绕
一颗荒芜的沙漠行星，覆盖着细的铁锈红色沙子，有深而暗的陨石坑，被一层稀薄的朦胧大气笼罩
一颗小的冰卫星，被一层纯净的白色冰和尘埃外壳包裹，布满了复杂的霜裂图案
一颗金属小行星，表面崎岖不平，有大量陨石坑，呈现出闪亮的银灰色
一颗充满活力的蓝色行星，有茂密的热带森林和深邃的蓝色海洋，被一层浓厚的富氧大气包围
一颗呈现出醒目紫色的矮行星，表面布满了陨石坑和高耸的冰结构
一颗布满尘埃的荒芜卫星，表面呈暗淡的黄棕色，有长长的蜿蜒峡谷和悬崖

🔧 技术细节

训练代码

你可以在GitHub仓库中找到训练代码。以下是训练脚本的示例：

MODEL_NAME="stabilityai/stable-diffusion-xl-base-1.0"
DATASET_NAME="sshh12/planet-textures"

!accelerate launch v2/train_text_to_image_lora_sdxl.py \
  --pretrained_model_name_or_path="$MODEL_NAME" \
  --pretrained_vae_model_name_or_path="madebyollin/sdxl-vae-fp16-fix" \
  --dataset_name="$DATASET_NAME" \
  --caption_column="text" \
  --width=1024 \
  --height=512 \
  --random_hflip \
  --random_vflip \
  --mixed_precision="fp16" \
  --use_8bit_adam \
  --train_batch_size=1 \
  --gradient_accumulation_steps=2 \
  --num_train_epochs=500 \
  --checkpointing_steps=100 \
  --learning_rate=1e-05 \
  --lr_scheduler="constant" \
  --lr_warmup_steps=0 \
  --seed=0 \
  --validation_epochs=5 \
  --validation_prompt_file="v2/validation_prompts.txt" \
  --enable_xformers_memory_efficient_attention \
  --report_to="wandb"

📄 许可证

本模型使用CC BY-NC 4.0许可证。