Stable Diffusion Xl Base 0.9

🚀 SD-XL 0.9-base模型卡片

SD-XL 0.9-base是一款基于扩散的文本到图像生成模型，可根据文本提示生成和修改图像。它采用两步潜在扩散管道，在图像生成研究领域具有重要价值。

🚀 快速开始

安装依赖

确保将diffusers升级到 >= 0.18.0 版本：

pip install diffusers --upgrade

此外，还需安装transformers、safetensors、accelerate以及invisible_watermark：

pip install invisible_watermark transformers accelerate safetensors

使用示例

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-0.9", torch_dtype=torch.float16, use_safetensors=True, variant="fp16")
pipe.to("cuda")

# 如果使用 torch < 2.0
# pipe.enable_xformers_memory_efficient_attention()

prompt = "An astronaut riding a green horse"

images = pipe(prompt=prompt).images[0]

高级用法

当使用torch >= 2.0时，可通过torch.compile将推理速度提高 20 - 30%。在运行管道之前，用torch.compile包装unet：

pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

如果受 GPU VRAM 限制，可调用pipe.enable_model_cpu_offload来启用CPU 卸载，而不是使用.to("cuda")：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

✨ 主要特性

• 两步潜在扩散管道：先使用基础模型生成所需输出大小的潜在变量，再使用专门的高分辨率模型和 SDEdit 技术对这些潜在变量进行处理。
• 多文本编码器：使用两个固定的预训练文本编码器（OpenCLIP-ViT/G 和 CLIP-ViT/L）。

📦 安装指南

依赖安装

• 升级diffusers到 >= 0.18.0 版本：

pip install diffusers --upgrade

• 安装其他依赖：

pip install invisible_watermark transformers accelerate safetensors

📚 详细文档

模型描述

模型来源

• 仓库：https://github.com/Stability-AI/generative-models
• 演示（可选）：https://clipdrop.co/stable-diffusion

使用场景

直接使用

该模型仅用于研究目的，可能的研究领域和任务包括：

• 艺术品生成，以及在设计和其他艺术过程中的应用。
• 教育或创意工具中的应用。
• 生成模型的研究。
• 对有潜在生成有害内容能力的模型进行安全部署。
• 探索和理解生成模型的局限性和偏差。

超出适用范围的使用

该模型并非用于生成对人物或事件的真实或准确表述，因此使用该模型生成此类内容超出了其能力范围。

局限性和偏差

局限性

• 模型无法实现完美的照片级真实感。
• 模型无法渲染清晰可读的文本。
• 模型在处理涉及组合性的更复杂任务时存在困难，例如渲染与 “A red cube on top of a blue sphere” 对应的图像。
• 面部和人物的生成可能不够理想。
• 模型的自动编码部分存在信息损失。

偏差

虽然图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏差。

评估

上图评估了用户对 SDXL（有和没有细化）相对于 Stable Diffusion 1.5 和 2.1 的偏好。SDXL 基础模型的性能明显优于之前的版本，结合细化模块的模型整体性能最佳。

📄 许可证

SDXL 0.9 研究许可证协议

版权所有 (c) Stability AI Ltd.

本许可协议（可根据本许可协议进行修订，“许可协议”）由您（或您的雇主或其他实体，如果您代表您的雇主或其他实体签订本协议）（“被许可方” 或 “您”）与 Stability AI Ltd.（“Stability AI” 或 “我们”）签订，适用于您使用 Stability AI 根据本许可协议提供的任何计算机程序、算法、源代码、目标代码、软件、模型或模型权重（“软件”）以及 Stability AI 提供的与软件相关的任何规格、手册、文档和其他书面信息（“文档”）。通过使用软件，您同意本许可协议的条款。如果您不同意本许可协议，则您无权使用软件或文档（统称 “软件产品”），并且必须立即停止使用软件产品。如果您代表您的雇主或其他实体同意受本许可协议条款的约束，您向 Stability AI 声明并保证您拥有充分的法律授权使您的雇主或该实体受本许可协议的约束。如果您没有必要的授权，则您不得代表您的雇主或其他实体接受本许可协议或访问软件产品。

1. 许可授予

• a. 软件使用许可：在您遵守文档以及第 2、3 和 5 节的前提下，Stability AI 授予您一项非排他性、全球性、不可转让、不可再许可、可撤销、免版税且有限的许可，允许您在 Stability AI 的版权权益下，仅为您的非商业研究目的使用、复制软件并创作软件的衍生作品。上述许可仅针对您个人，未经 Stability AI 的事先书面同意，您不得转让、再许可、分发、发布、托管或以其他方式提供本软件、软件的衍生作品、与软件相关的模型或模型权重、本许可协议或本许可协议下的任何其他权利或义务；未经 Stability AI 的事先书面同意进行的任何此类转让或再许可均无效，并将自动且立即终止本许可协议。为明确起见，本许可协议未授予您将软件、软件的衍生作品或相关模型或模型权重的任何许可扩展给非被许可方的权利，也不允许您创建新的被许可方，例如通过提供本许可协议的副本。如果您需要本许可协议未授予的权利，您可以通过发送电子邮件至 legal@stability.ai 寻求许可。
• b. 文档复制许可：您可以仅为与上述授予的软件许可相关的目的，合理数量地复制文档。
• c. 完整许可声明：本节（许可授予）中明确规定的权利授予是您在软件产品方面获得的完整权利授予，未通过弃权、禁止反言、暗示、衡平法或其他方式授予其他许可。Stability AI 及其许可方保留本许可协议未明确授予的所有权利。

2. 限制

您不得，也不得允许、协助或促使任何第三方：

• a. 违规使用限制：以任何方式（全部或部分）使用、修改、复制、再现、创作衍生作品或分发软件产品（或其任何衍生作品、包含软件产品的作品或软件产生的任何数据），用于 (i) 任何商业或生产目的；(ii) 军事目的或用于核技术服务；(iii) 监视目的，包括与监视相关的任何研究或开发；(iv) 生物特征处理；(v) 以任何侵犯、挪用或以其他方式侵犯任何第三方权利的方式；或 (vi) 以任何违反任何适用法律以及违反任何隐私或安全法律、规则、法规、指令或政府要求（包括《通用数据保护条例》（(EU) 2016/679 号条例）、《加利福尼亚消费者隐私法案》以及所有管辖生物特征信息处理的法律）的方式，以及上述任何法律的所有修订和后续法律。
• b. 版权信息保留：更改或删除软件产品上或其中出现的版权和其他专有通知。
• c. 规避安全措施：使用任何设备、软件或其他手段规避或移除 Stability AI 与软件相关使用的任何安全或保护措施，或规避或移除任何使用限制，或启用 Stability AI 禁用的功能。
• d. 擅自修改协议：对软件产品提出或施加任何更改、限制或与本许可协议条款不一致的条款。
• e. 出口合规要求：
  1. 违反任何适用的美国和非美国出口管制和贸易制裁法律（“出口法律”）；
  2. 直接或间接出口、再出口、提供或以其他方式转让软件产品：(a) 给任何出口法律禁止的个人、实体或国家；(b) 给美国或非美国政府限制方名单上的任何人；或 (c) 用于出口法律禁止的任何目的，包括核武器、化学或生物武器或导弹技术应用；
  3. 如果您或他们位于全面制裁的司法管辖区、目前列于任何美国或非美国限制方名单上，或用于出口法律禁止的任何目的，则不得使用或下载软件产品；
  4. 不得通过 IP 代理或其他方法伪装您的位置。

3. 归属要求

在分发软件产品的任何副本（以及其衍生作品或包含软件产品的作品）时，您必须提供 (i) 本许可协议的副本，以及 (ii) 以下归属声明：“SDXL 0.9 已根据 SDXL 研究许可协议获得许可，版权所有 (c) Stability AI Ltd. 保留所有权利。”

4. 免责声明

软件产品 “按原样” 提供，带有所有缺陷，不提供任何形式的明示或暗示保证。Stability AI 明确否认所有关于软件产品的明示或暗示陈述和保证，无论是依据法规、惯例、使用方式还是其他方式，包括但不限于适销性、特定用途适用性、所有权、令人满意的质量或不侵权的暗示保证。Stability AI 不保证软件产品将无错误、无病毒或其他有害组件，也不保证会产生任何特定结果。

5. 责任限制

在法律允许的最大范围内，无论基于何种责任理论，无论是基于合同、侵权、疏忽、严格责任、保证或本许可协议下的其他方式，Stability AI 均不对您承担任何责任；也不对任何间接、后果性、惩戒性、偶发性、惩罚性或特殊损害或利润损失承担责任，即使 Stability AI 已被告知此类损害的可能性。软件产品、其组成部分和任何输出（统称 “软件材料”）并非设计或旨在用于任何软件材料的故障或缺陷可能合理预期会导致任何人受到严重伤害（包括潜在的歧视或侵犯个人隐私权）或造成严重人身、财产或环境损害的应用或情况（每一种情况均为 “高风险使用”）。如果您选择将任何软件材料用于高风险使用，您需自行承担风险。您同意设计并实施与高风险使用相关的适当决策和风险缓解程序及政策，以便即使软件材料出现故障或缺陷，受该活动影响的人员或财产的安全仍能保持在高风险使用领域合理、适当和合法的水平。

6. 赔偿责任

您将赔偿、辩护并使 Stability AI 及其子公司和关联公司，以及我们各自的股东、董事、高级管理人员、员工、代理人、继任者和受让人（统称 “Stability AI 各方”）免受因以下原因引起的或与之相关的任何索赔、要求、指控、诉讼、程序或调查（统称 “索赔”）所产生的任何损失、责任、损害、罚款、处罚和费用（包括合理的律师费）：(a) 您访问或使用软件产品（以及此类访问或使用产生的任何结果或数据），包括任何高风险使用（定义如下）；(b) 您违反本许可协议；或 (c) 您侵犯、挪用或侵犯他人的任何权利（包括知识产权或其他专有权利和隐私权）。您将及时通知 Stability AI 各方任何此类索赔，并与 Stability AI 各方合作辩护此类索赔。您还将授予 Stability AI 各方在 Stability AI 自行选择的情况下，对任何索赔的辩护或和解的独家控制权。本赔偿责任是对您与 Stability AI 或其他 Stability AI 各方之间书面协议中规定的任何其他赔偿或补救措施的补充，而非替代。

7. 终止与存续

• a. 自动终止情形：如果您违反本许可协议的任何条款，本许可协议将自动终止。
• b. 主动终止权利：我们可随时（包括通过电子方式）通知您，全部或部分终止本许可协议。
• c. 存续条款说明：本许可协议终止后，以下条款仍然有效：第 2 条（限制）、第 3 条（归属）、第 4 条（免责声明）、第 5 条（责任限制）、第 6 条（赔偿责任）、第 7 条（终止；存续）、第 8 条（第三方材料）、第 9 条（商标）、第 10 条（适用法律；争议解决）和第 11 条（杂项）。

8. 第三方材料

软件产品可能包含第三方软件或其他组件（包括免费和开源软件）（以上所有内容统称 “第三方材料”），这些材料受各自第三方许可方的许可条款约束。您与第三方的交易或通信以及您对任何第三方材料的使用或交互完全是您与第三方之间的事情。Stability AI 不控制或认可任何第三方材料，也不对其作出任何陈述或保证，您访问和使用此类第三方材料需自行承担风险。

9. 商标使用

作为本许可协议的一部分，未授予您任何商标许可，未经 Stability AI 的事先书面许可，您不得使用与 Stability AI 相关的任何名称或标识，但为履行本协议 “归属” 部分要求的引用所需的范围除外。

10. 适用法律与争议解决

本许可协议受加利福尼亚州法律管辖并依其解释，不考虑法律冲突条款。因本许可协议引起的或与之相关的任何诉讼或程序将在加利福尼亚州圣马特奥县的联邦或州法院提起，各方不可撤销地服从此类法院的管辖权和审判地。

11. 杂项

如果本许可协议的任何条款或部分条款违法、无效或不可执行，则该条款或部分条款应视为从本许可协议中分离，不影响任何其余条款的有效性和可执行性。Stability AI 未能行使或执行本许可协议的任何权利或条款，不构成对该权利或条款的放弃。本许可协议未赋予任何第三方受益人的权利。本许可协议连同文档包含了您与 Stability AI 就本许可协议主题事项达成的全部理解，并取代了您与 Stability AI 就该主题事项达成的所有其他书面或口头协议和理解。对本许可协议任何条款的变更或补充，除非以书面形式并由您和 Stability AI 的授权代表签字，否则不具有约束力。