Ffusionxl BASE

🚀 FFusionXL-BASE模型

FFusionXL-BASE是一个基于SDXL的文本到图像生成模型，能依据文本提示生成和修改图像。它优化了训练速度，适用于多种应用场景，支持多语言训练，架构稳定可靠。

✨ 主要特性

• 🚀 快速训练：针对高速训练进行了优化，可实现快速实验。
• 🧩 通用性：适用于从自然语言处理到计算机视觉等各种应用和标准。
• 🎓 自主训练：可作为基础来训练符合自身需求的自定义模型。
• 🌐 多语言支持：支持使用多种语言训练模型。
• 🛡️ 稳健架构：基于成熟技术构建，确保稳定性和可靠性。

📦 安装指南

安装依赖

在使用模型前，需要安装相关依赖库。以下是不同场景下的安装命令：

安装diffusers及相关库

pip install diffusers --upgrade
pip install invisible_watermark transformers accelerate safetensors

安装训练依赖

git clone https://github.com/huggingface/diffusers
cd diffusers
pip install -e .
cd examples/text_to_image
pip install -r requirements_sdxl.txt

初始化Accelerate环境

accelerate config
# 或者使用默认配置
accelerate config default
# 若环境不支持交互式shell
from accelerate.utils import write_basic_config
write_basic_config()

💻 使用示例

基础用法

ONNX模型文本到图像生成

from optimum.onnxruntime import ORTStableDiffusionPipeline

model_id = "FFusion/FFusionXL-BASE"
pipeline = ORTStableDiffusionPipeline.from_pretrained(model_id)
prompt = "sailing ship in storm by Leonardo da Vinci"
images = pipeline(prompt).images

OpenVINO模型文本到图像生成

from optimum.intel import OVStableDiffusionXLPipeline

model_id = "FFusion/FFusionXL-BASE"
base = OVStableDiffusionXLPipeline.from_pretrained(model_id)
prompt = "train station by Caspar David Friedrich"
image = base(prompt).images[0]
image.save("train_station.png")

高级用法

文本反转的文本到图像生成

from optimum.intel import OVStableDiffusionXLPipeline
import numpy as np

model_id = "FFusion/FFusionXL-BASE"
prompt = "charturnerv2, multiple views of the same character in the same outfit, a character turnaround of a beautiful cyber female wearing a black corset and pink latex shirt, scifi best quality, intricate details."
np.random.seed(0)

base = OVStableDiffusionXLPipeline.from_pretrained(model_id, export=False, compile=False)
base.compile()
image1 = base(prompt, num_inference_steps=50).images[0]
image1.save("sdxl_without_textual_inversion.png")

# 重置稳定扩散管道
base.clear_requests()

# 加载文本反转嵌入
base.load_textual_inversion("./charturnerv2.pt", "charturnerv2")

# 在第一次推理前编译模型
base.compile()
image2 = base(prompt, num_inference_steps=50).images[0]
image2.save("sdxl_with_textual_inversion.png")

图像到图像生成

from optimum.intel import OVStableDiffusionXLImg2ImgPipeline
from diffusers.utils import load_image

model_id = "FFusion/FFusionXL-BASE-refiner-1.0"
pipeline = OVStableDiffusionXLImg2ImgPipeline.from_pretrained(model_id, export=True)

url = "https://huggingface.co/datasets/optimum/documentation-images/resolve/main/intel/openvino/sd_xl/castle_friedrich.png"
image = load_image(url).convert("RGB")
prompt = "medieval castle by Caspar David Friedrich"
image = pipeline(prompt, image=image).images[0]
pipeline.save_pretrained("openvino-FF-xl-refiner-1.0")

图像输出优化

from optimum.intel import OVStableDiffusionXLImg2ImgPipeline

model_id = "FFusion/FFusionXL-BASE-refiner-1.0"
refiner = OVStableDiffusionXLImg2ImgPipeline.from_pretrained(model_id, export=True)

image = base(prompt=prompt, output_type="latent").images[0]
image = refiner(prompt=prompt, image=image[None, :]).images[0]

📚 详细文档

模型描述

FFusionXL "Base" 是一个旨在加速训练过程的基础模型。它设计灵活，可作为基础来训练符合各种标准的自定义模型，促进创新并提高效率。

可用格式

模型来源

• 演示：FFusionXL SDXL演示

ONNX版本

我们自豪地宣布推出完全优化的Microsoft ONNX版本，该版本仅与最新的DirectML执行提供程序兼容。所有ONNX文件均已优化（量化）为fp16，以实现跨所有设备的快速推理和训练。

Vae_Decoder保持为fp32，设置如下：

"float16": false,
"use_gpu": true,
"keep_io_types": true,
"force_fp32_ops": ["RandomNormalLike"]

以避免出现黑屏和渲染损坏的问题。一旦有适用于全fp16 VAE解码器的解决方案，我们将进行更新。VAE编码器和其他部分已完全优化🤟。

我们的ONNX使用ONNX v8进行了优化：

• 生产者：onnxruntime.transformers 1.15.1
• 导入：ai.onnx v18, com.microsoft.nchwc v1, ai.onnx.ml v3, com.ms.internal.nhwc v19, ai.onnx.training v1, ai.onnx.preview.training v1, com.microsoft v1, com.microsoft.experimental v1, org.pytorch.aten v1, com.microsoft.dml v1, graph: torch_jit

ONNX详情

NETRON详情：

安装NETRON

macOS：下载 .dmg 文件或运行 brew install --cask netron Linux：下载 .AppImage 文件或运行 snap install netron Windows：下载 .exe 安装程序或运行 winget install -s winget netron

NETRON浏览器版本

• 启动文本编码器
• 启动文本编码器2
• 启动VAE解码器
• 启动VAE编码器
• 启动UNET

AMD对Microsoft® DirectML优化Stable Diffusion的支持

AMD已发布对Microsoft DirectML优化Stable Diffusion的支持，并与Microsoft密切合作，以在AMD设备上实现最佳性能。

• Microsoft DirectML
• AMD Microsoft DirectML Stable Diffusion

Intel® OpenVINO™ 版本

模型还包含一个已转换的Intel® OpenVINO™ 模型，用于推理测试和训练，目前尚未进行量化和优化。

训练指南

训练命令

export MODEL_NAME="FFusion/FFusionXL-BASE"
export VAE="madebyollin/sdxl-vae-fp16-fix"
export DATASET_NAME="lambdalabs/pokemon-blip-captions"

accelerate launch train_text_to_image_sdxl.py \
  --pretrained_model_name_or_path=$MODEL_NAME \
  --pretrained_vae_model_name_or_path=$VAE \
  --dataset_name=$DATASET_NAME \
  --enable_xformers_memory_efficient_attention \
  --resolution=512 --center_crop --random_flip \
  --proportion_empty_prompts=0.2 \
  --train_batch_size=1 \
  --gradient_accumulation_steps=4 --gradient_checkpointing \
  --max_train_steps=10000 \
  --use_8bit_adam \
  --learning_rate=1e-06 --lr_scheduler="constant" --lr_warmup_steps=0 \
  --mixed_precision="fp16" \
  --report_to="wandb" \
  --validation_prompt="a cute Sundar Pichai creature" --validation_epochs 5 \
  --checkpointing_steps=5000 \
  --output_dir="sdxl-pokemon-model" \
  --push_to_hub

注意：

• train_text_to_image_sdxl.py（diffusers/examples/text_to_image）脚本会预先计算文本嵌入和VAE编码并将其保留在内存中。对于像lambdalabs/pokemon-blip-captions这样的小数据集可能不会有问题，但在处理大数据集时可能会导致内存问题。

🔧 技术细节

评估指标

📄 许可证

本模型遵循FFXL研究许可证。