Stable Diffusion 3 Medium Diffusers

🚀 稳定扩散3中型模型

稳定扩散3中型模型是一款文本到图像的生成模型，在图像质量、排版、复杂提示理解和资源效率方面表现出色。它能根据文本提示生成高质量图像，适用于艺术创作、教育工具和生成模型研究等领域。

🚀 快速开始

使用此模型前，请确保将 diffusers 升级到最新版本：

pip install -U diffusers

然后运行以下代码：

import torch
from diffusers import StableDiffusion3Pipeline

pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

image = pipe(
    "A cat holding a sign that says hello world",
    negative_prompt="",
    num_inference_steps=28,
    guidance_scale=7.0,
).images[0]
image

更多优化和图像到图像支持的详细信息，请参考 文档。

✨ 主要特性

• 性能提升：在图像质量、排版、复杂提示理解和资源效率方面有显著提升。
• 多模态融合：采用多模态扩散变换器（MMDiT）架构。
• 多文本编码器：使用三个固定的预训练文本编码器（OpenCLIP-ViT/G、CLIP-ViT/L 和 T5-xxl）。

📦 安装指南

确保将 diffusers 升级到最新版本：

pip install -U diffusers

💻 使用示例

基础用法

import torch
from diffusers import StableDiffusion3Pipeline

pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3-medium-diffusers", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

image = pipe(
    "A cat holding a sign that says hello world",
    negative_prompt="",
    num_inference_steps=28,
    guidance_scale=7.0,
).images[0]
image

📚 详细文档

模型描述

许可证

• 非商业使用：稳定扩散3中型模型根据 Stability AI 非商业研究社区许可证 发布。该模型可免费用于学术研究等非商业目的。
• 商业使用：未经 Stability 单独的商业许可，此模型不可用于商业用途。我们鼓励专业艺术家、设计师和创作者使用我们的创作者许可证。请访问 https://stability.ai/license 了解更多信息。

模型来源

• ComfyUI：https://github.com/comfyanonymous/ComfyUI
• StableSwarmUI：https://github.com/Stability-AI/StableSwarmUI
• 技术报告：https://stability.ai/news/stable-diffusion-3-research-paper
• 演示：https://huggingface.co/spaces/stabilityai/stable-diffusion-3-medium

训练数据集

我们使用合成数据和经过筛选的公开可用数据来训练模型。该模型在 10 亿张图像上进行了预训练。微调数据包括 3000 万张专注于特定视觉内容和风格的高质量美学图像，以及 300 万张偏好数据图像。

使用场景

预期用途

• 生成艺术品并用于设计和其他艺术创作过程。
• 应用于教育或创意工具。
• 对生成模型进行研究，包括了解生成模型的局限性。

所有模型使用都应符合我们的 可接受使用政策。

非预期用途

该模型并非用于真实或准确地呈现人物或事件。因此，使用该模型生成此类内容超出了该模型的能力范围。

安全性

作为我们设计安全和负责任的人工智能部署方法的一部分，我们在模型开发的整个过程中实施了安全措施，从开始预训练模型到持续开发、微调以及每个模型的部署。我们实施了多项安全缓解措施，旨在降低严重危害的风险，但我们建议开发人员根据其特定用例进行自己的测试并应用额外的缓解措施。 更多关于我们的安全方法，请访问我们的 安全页面。

评估方法

我们的评估方法包括结构化评估以及针对特定严重危害（如儿童性虐待和剥削、极端暴力和血腥、色情内容和非自愿裸体）的内部和外部红队测试。测试主要以英语进行，可能无法涵盖所有可能的危害。与任何模型一样，该模型有时可能会对用户提示产生不准确、有偏见或令人反感的响应。

已识别的风险和缓解措施

• 有害内容：我们在训练模型时使用了经过筛选的数据集，并实施了保障措施，试图在实用性和防止危害之间取得平衡。然而，这并不能保证所有可能的有害内容都已被移除。该模型有时可能会生成有毒或有偏见的内容。所有开发人员和部署人员都应谨慎行事，并根据其特定产品政策和应用用例实施内容安全防护措施。
• 滥用：技术限制以及对开发人员和最终用户的教育有助于减轻模型的恶意应用。所有用户都必须遵守我们的 可接受使用政策，包括在应用微调提示工程机制时。请参考 Stability AI 可接受使用政策，了解有关我们产品违规使用的信息。
• 隐私侵犯：鼓励开发人员和部署人员采用尊重数据隐私的技术来遵守隐私法规。

联系我们

请报告模型的任何问题或联系我们：

• 安全问题：safety@stability.ai
• 安全漏洞：security@stability.ai
• 隐私问题：privacy@stability.ai
• 许可证和一般问题：https://stability.ai/license
• 企业许可证：https://stability.ai/enterprise