Sd Xl Alternative Bases

🚀 稳定扩散XL替代模型仓库

本仓库包含以.safetensors格式存储的Stable Diffusion XL Base 1.0的替代或调优版本。这些模型可用于基于文本提示生成和修改图像，为图像生成研究提供了更多选择。

🚀 快速开始

使用本仓库中的模型，你可以进行图像生成和修改等操作。以下是一些基本的使用说明：

• 如果你想使用特定的模型文件，请参考“可用模型”部分了解其具体内容。
• 若要从任意SDXL检查点创建SDXL修复检查点，请参考“如何从任意SDXL检查点创建SDXL修复检查点”部分。

✨ 主要特性

• 多种模型选择：提供不同版本的Stable Diffusion XL Base 1.0模型，满足多样化的研究需求。
• 可创建修复检查点：支持从任意SDXL检查点创建SDXL修复检查点，拓展了模型的应用场景。

📦 可用模型

📦 sd_xl_base_1.0_fp16_vae.safetensors

此文件包含 sd_xl_base_1.0.safetensors 的权重，并与来自MadeByOllin的SDXL FP16 VAE仓库的 sdxl_vae.safetensors 的权重合并。

📦 sd_xl_base_1.0_inpainting_0.1.safetensors

该文件包含 sd_xl_base_1.0_fp16_vae.safetensors 的权重，并与来自 diffusers/stable-diffusion-xl-1.0-inpainting-0.1 的权重合并。

📚 详细文档

📚 如何从任意SDXL检查点创建SDXL修复检查点

使用此处的 .safetensors 文件，你可以使用公式 A + (B - C) 计算修复模型，其中：

• A 是 sd_xl_base_1.0_inpainting_0.1.safetensors
• B 是你的微调检查点
• C 是 sd_xl_base_1.0_fp16_vae.safetensors

使用 ENFUGUE 的Web UI：

你必须专门使用本仓库中的两个文件才能使其正常工作。Diffusers团队使用FP16 XL VAE训练了XL修复模型，因此使用不同的XL基础模型将导致应用于修复检查点的增量不正确，并且生成的VAE将毫无意义。

📚 模型描述

📚 用途

📚 直接使用

该模型仅用于研究目的。可能的研究领域和任务包括：

• 艺术品生成以及在设计和其他艺术过程中的应用。
• 在教育或创意工具中的应用。
• 生成模型的研究。
• 对有可能生成有害内容的模型进行安全部署。
• 探究和理解生成模型的局限性和偏差。
• 以下将描述排除的使用情况。

📚 超出范围的使用

该模型并非用于真实地呈现人物或事件，因此使用该模型生成此类内容超出了该模型的能力范围。

📚 局限性和偏差

📚 局限性

• 模型无法实现完美的照片级真实感。
• 模型无法渲染清晰可读的文本。
• 模型在处理涉及组合性的更复杂任务时存在困难，例如渲染与“蓝色球体上的红色立方体”对应的图像。
• 面部和人物通常可能无法正确生成。
• 模型的自动编码部分存在信息损失。
• 当强度参数设置为1（即从完全遮罩的图像开始修复）时，图像质量会下降。模型会保留图像的未遮罩内容，但图像看起来不够清晰。我们正在对此进行研究，并致力于开发下一版本。

📚 偏差

虽然图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏差。

📄 许可证

本模型使用CreativeML Open RAIL++-M许可证。