Pokemon Lora

🚀 LoRA文本到图像微调

本项目是基于基础模型 runwayml/stable-diffusion-v1-5 训练得到的LoRA适配权重。这些权重在 lambdalabs/pokemon-blip-captions 数据集上进行了微调。

🚀 快速开始

📦 安装指南

文档中未提及具体安装步骤，可参考 Diffusers库官方安装指南 安装所需依赖。

💻 使用示例

基础用法

以下脚本加载基础模型，应用LoRA权重并进行推理：

import torch
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
from huggingface_hub import model_info

# LoRA权重约3MB
model_path = "pcuenq/pokemon-lora"

info = model_info(model_path)
model_base = info.cardData["base_model"]
pipe = StableDiffusionPipeline.from_pretrained(model_base, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)

pipe.unet.load_attn_procs(model_path)
pipe.to("cuda")

image = pipe("Green pokemon with menacing face", num_inference_steps=25).images[0]
image.save("green_pokemon.png")

更多详细信息，请查看 我们的博客文章 或 文档。

示例图像

📄 许可证

本项目采用 CreativeML Open RAIL-M 许可证。

信息表格