Stable Diffusion Xl Refiner 0.9

🚀 SD-XL 0.9-refiner模型介绍

SD-XL 0.9-refiner是一款基于扩散的文生图生成模型，可根据文本提示生成和修改图像。它采用两步潜在扩散管道，先由基础模型生成所需输出大小的潜变量，再用高分辨率模型和SDEdit技术对潜变量进行处理。该模型仅用于研究目的，在图像生成方面有一定优势，但也存在一些局限性和偏差。

🚀 快速开始

模型获取

此模型相关内容可在 这里 获取。

安装依赖

确保将 diffusers 升级到 >= 0.18.0：

pip install diffusers --upgrade

此外，还需安装 transformers、safetensors、accelerate 以及 invisible_watermark：

pip install transformers accelerate safetensors invisible_watermark

使用示例

基础用法

你应该将精炼器与 stabilityai/stable-diffusion-xl-base-0.9 结合使用，示例代码如下：

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-0.9", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# if using torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

prompt = "An astronaut riding a green horse"

image = pipe(prompt=prompt, output_type="latent").images

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-refiner-0.9", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# if using torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

images = pipe(prompt=prompt, image=image).images

高级用法

当使用 torch >= 2.0 时，你可以通过 torch.compile 提高推理速度20 - 30%。在运行管道之前，用 torch.compile 包装 unet：

pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

如果你受限于GPU显存，可以通过调用 pipe.enable_model_cpu_offload 来启用CPU卸载，而不是 .to("cuda")：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

✨ 主要特性

• 两步潜在扩散管道：先由基础模型生成潜变量，再用高分辨率模型和SDEdit技术处理，提高图像生成质量。
• 结合使用：需与基础模型结合，作为图像到图像的模型使用，而非纯文生图模型。

📚 详细文档

模型信息

属性	详情
开发者	Stability AI
模型类型	基于扩散的文生图生成模型
许可证	SDXL 0.9研究许可证
模型描述	可根据文本提示生成和修改图像，是一个 潜在扩散模型，使用预训练的文本编码器 (OpenCLIP-ViT/G)
更多信息资源	GitHub仓库 SDXL论文
模型来源仓库	https://github.com/Stability-AI/generative-models
演示地址（可选）	https://clipdrop.co/stable-diffusion

模型工作流程

SDXL采用两步潜在扩散管道：

1. 第一步：使用基础模型生成所需输出大小的潜变量。
2. 第二步：使用专门的高分辨率模型，并对第一步生成的潜变量应用SDEdit技术（https://arxiv.org/abs/2108.01073，也称为“img2img”），使用相同的提示。

用途

直接使用

该模型仅用于研究目的，可能的研究领域和任务包括：

• 艺术品生成，用于设计和其他艺术过程。
• 教育或创意工具中的应用。
• 生成模型的研究。
• 安全部署可能生成有害内容的模型。
• 探索和理解生成模型的局限性和偏差。

超出范围的使用

该模型并非用于真实准确地表示人物或事件，因此使用该模型生成此类内容超出了其能力范围。

局限性和偏差

局限性

• 无法实现完美的照片级真实感。
• 无法渲染清晰可读的文本。
• 在处理涉及组合性的复杂任务时存在困难，例如渲染与 “红色立方体在蓝色球体上” 对应的图像。
• 面部和人物的生成可能不理想。
• 模型的自动编码部分存在信息损失。

偏差

图像生成模型虽然功能强大，但可能会强化或加剧社会偏差。

评估

上图评估了用户对SDXL（有和没有精炼）相对于Stable Diffusion 1.5和2.1的偏好。SDXL基础模型的表现明显优于之前的版本，结合精炼模块的模型整体性能最佳。

📄 许可证

版权声明

版权所有 (c) Stability AI Ltd.

许可协议

本许可协议（可根据本许可协议进行修订，“许可”）由您（或您的雇主或其他实体，如果您代表您的雇主或其他实体签订本协议）（“被许可方” 或 “您”）与Stability AI Ltd.（“Stability AI” 或 “我们”）签订，适用于您使用Stability AI根据本许可提供的任何计算机程序、算法、源代码、目标代码、软件、模型或模型权重（“软件”）以及Stability AI提供的与软件相关的任何规格、手册、文档和其他书面信息（“文档”）。通过使用软件，您同意本许可的条款。如果您不同意本许可，则您无权使用软件或文档（统称 “软件产品”），并且必须立即停止使用软件产品。如果您代表您的雇主或其他实体同意受本许可条款的约束，您向Stability AI声明并保证您拥有充分的法律授权使您的雇主或该实体受本许可的约束。如果您没有必要的授权，则您不得代表您的雇主或其他实体接受本许可或访问软件产品。

1. 许可授予

a. 在您遵守文档以及第2、3和5节的前提下，Stability AI授予您一项非排他性、全球性、不可转让、不可再许可、可撤销、免版税且有限的许可，允许您在Stability AI的版权权益下，仅为您的非商业研究目的使用、复制和创作软件的衍生作品。上述许可仅针对您个人，未经Stability AI事先书面同意，您不得转让、再许可、分发、发布、托管或以其他方式提供本软件、软件的衍生作品、与软件相关的模型或模型权重、本许可或本许可下的任何其他权利或义务；未经Stability AI事先书面同意的任何此类转让或再许可均无效，并将自动且立即终止本许可。为明确起见，本许可未授予您将软件、软件的衍生作品或相关模型或模型权重的任何许可扩展给非被许可方的权利或能力，本许可也不允许您创建新的被许可方，例如通过提供本许可的副本。如果您需要本许可未授予的权利，您可以通过发送电子邮件至 legal@stability.ai 寻求许可。

b. 您可以仅为与上述授予的软件许可相关的使用目的，制作合理数量的文档副本。

c. 本节（许可授予）中明确规定的权利授予是您在软件产品中的完整权利授予，未授予其他任何许可，无论是通过弃权、禁止反言、暗示、衡平法还是其他方式。Stability AI及其许可方保留本许可未明确授予的所有权利。

2. 限制

您不得，也不得允许、协助或促使任何第三方： a. 全部或部分地使用、修改、复制、再现、创作软件产品（或其任何衍生作品、包含软件产品的作品或软件产生的任何数据）的衍生作品或分发软件产品，用于 (i) 任何商业或生产目的；(ii) 军事目的或用于核技术服务；(iii) 监视目的，包括与监视相关的任何研究或开发；(iv) 生物特征处理；(v) 以任何侵犯、盗用或以其他方式侵犯任何第三方权利的方式；或 (vi) 以任何违反任何适用法律以及违反任何隐私或安全法律、规则、法规、指令或政府要求（包括《通用数据保护条例》（(EU) 2016/679号条例）、《加利福尼亚消费者隐私法》以及所有管理生物特征信息处理的法律）的方式，以及上述任何法律的所有修订和后续法律。

b. 更改或删除软件产品上或其中出现的版权和其他专有通知。

c. 使用任何设备、软件或其他手段规避或移除Stability AI与软件相关使用的任何安全或保护措施，或规避或移除任何使用限制，或启用Stability AI禁用的功能。

d. 对软件产品提供或施加任何更改、限制或与本许可条款不一致的条款。

e. 1) 违反任何适用的美国和非美国出口管制和贸易制裁法律（“出口法律”）；2) 直接或间接出口、再出口、提供或以其他方式转让软件产品：(a) 给任何出口法律禁止的个人、实体或国家；(b) 给美国或非美国政府限制方名单上的任何人；或 (c) 用于出口法律禁止的任何目的，包括核武器、化学武器或生物武器或导弹技术应用；3) 如果您或他们：(a) 位于全面制裁的司法管辖区；(b) 目前列在美国或非美国限制方名单上；或 (c) 用于出口法律禁止的任何目的，则不得使用或下载软件产品；并且 (4) 不得通过IP代理或其他方法伪装您的位置。

3. 归属

与您分发的任何软件产品副本（以及其衍生作品或包含软件产品的作品）一起，您必须提供 (i) 本许可的副本，以及 (ii) 以下归属声明：“SDXL 0.9根据SDXL研究许可获得许可，版权所有 (c) Stability AI Ltd. 保留所有权利。”

4. 免责声明

软件产品 “按原样” 提供，“带有所有缺陷”，不提供任何形式的明示或暗示保证。Stability AI明确否认所有与软件产品相关的明示或暗示陈述和保证，无论是根据法规、习惯、惯例还是其他方式，包括但不限于适销性、特定用途适用性、所有权、令人满意的质量或不侵权的暗示保证。Stability AI不保证或陈述软件产品将无错误或无病毒或其他有害组件，或产生任何特定结果。

5. 责任限制

在法律允许的最大范围内，无论基于何种责任理论，无论是基于合同、侵权、疏忽、严格责任、保证还是本许可下的其他方式，Stability AI均不对您承担责任；也不对任何间接、后果性、惩戒性、偶发性、惩罚性或特殊损害或利润损失承担责任，即使Stability AI已被告知此类损害的可能性。软件产品、其组成部分以及任何输出（统称 “软件材料”）并非设计或旨在用于任何软件材料的故障或缺陷可能合理预期会导致任何人严重伤害（包括潜在的歧视或侵犯个人隐私权）或严重的人身、财产或环境损害（每一项，“高风险使用”）的应用或情况。如果您选择将任何软件材料用于高风险使用，您自行承担风险。您同意设计并实施适当的决策和风险缓解程序及政策，以应对高风险使用，即使软件材料出现故障或缺陷，受该活动影响的人员或财产的安全仍能保持在合理、适当和合法的水平，适用于高风险使用领域。

6. 赔偿

您将赔偿、辩护并使Stability AI及其子公司和关联公司，以及我们各自的股东、董事、高级管理人员、员工、代理人、继任者和受让人（统称 “Stability AI方”）免受因以下原因引起或与之相关的任何索赔、要求、指控、诉讼、程序或调查（统称 “索赔”）而产生的任何损失、责任、损害、罚款、处罚和费用（包括合理的律师费）：(a) 您访问或使用软件产品（以及此类访问或使用产生的任何结果或数据），包括任何高风险使用（定义见下文）；(b) 您违反本许可；或 (c) 您侵犯、盗用或侵犯他人的任何权利（包括知识产权或其他专有权利和隐私权）。您将立即通知Stability AI方任何此类索赔，并与Stability AI方合作辩护此类索赔。您还将授予Stability AI方独家控制权，由Stability AI自行选择对任何索赔进行辩护或和解。本赔偿是对您与Stability AI或其他Stability AI方之间书面协议中规定的任何其他赔偿或补救措施的补充，而非替代。

7. 终止；存续

a. 如果您违反本许可的条款，本许可将自动终止。

b. 我们可以随时通知您（包括电子通知）全部或部分终止本许可。

c. 本许可终止后，以下条款仍然有效：2（限制）、3（归属）、4（免责声明）、5（责任限制）、6（赔偿）、7（终止；存续）、8（第三方材料）、9（商标）、10（适用法律；争议解决）和11（杂项）。

8. 第三方材料

软件产品可能包含第三方软件或其他组件（包括免费和开源软件）（以上所有内容，“第三方材料”），这些材料受各自第三方许可方的许可条款约束。您与第三方的交易或通信以及您对任何第三方材料的使用或互动仅在您与第三方之间进行。Stability AI不控制或认可任何第三方材料，也不就任何第三方材料作出任何陈述或保证，您访问和使用此类第三方材料自行承担风险。

9. 商标

作为本许可的一部分，未授予被许可方任何商标许可，未经Stability AI事先书面许可，被许可方不得使用与Stability AI相关的任何名称或标志，但为履行本协议 “归属” 部分要求的引用所需的范围除外。

10. 适用法律；争议解决

本许可将受加利福尼亚州法律管辖并依其解释，不考虑法律冲突条款。因本许可引起或与之相关的任何诉讼或程序将在加利福尼亚州圣马特奥县的联邦或州法院提起，各方不可撤销地接受此类法院的管辖权和审判地。

11. 杂项

如果本许可的任何条款或部分条款违法、无效或不可执行，则该条款或部分条款应视为从本许可中分割出来，不影响任何其余条款的有效性和可执行性。Stability AI未能行使或执行本许可的任何权利或条款，不构成对该权利或条款的放弃。本许可未赋予任何第三方受益人的权利。本许可连同文档包含了您与Stability AI就本许可主题事项达成的全部理解，并取代了您与Stability AI就该主题事项达成的所有其他书面或口头协议和理解。对本许可任何条款的任何变更或补充，除非以书面形式并由您和Stability AI的授权代表签署，否则不具有约束力。

申请访问

如果你想申请访问该模型，请提交以下信息：

信息	类型
组织	文本
研究性质	文本
个人研究人员链接（简历、网站、GitHub）	文本
其他评论	文本
我接受上述许可协议，并将仅将软件用于非商业研究目的	复选框

点击 “提交申请” 按钮提交申请。