Japanese Stable Diffusion

🚀 日本稳定扩散模型卡

日本稳定扩散模型是一款专门针对日语的潜在文本到图像扩散模型，能够根据任何文本输入生成逼真的图像。该模型借助强大的文本到图像模型 Stable Diffusion 进行训练。如需了解更多训练方法相关信息，请参阅 训练过程。

✨ 主要特性

• 能够根据文本输入生成逼真的图像。
• 基于强大的 Stable Diffusion 模型进行训练。

📦 安装指南

首先，按照以下方式安装我们的软件包。该软件包是对 🤗 的 Diffusers 库 进行修改后，用于运行日本稳定扩散模型的。

pip install git+https://github.com/rinnakk/japanese-stable-diffusion

如果你之前没有登录过，请使用以下命令使用你的 HF Hub 令牌登录：

huggingface-cli login

💻 使用示例

基础用法

import torch
from torch import autocast
from diffusers import LMSDiscreteScheduler
from japanese_stable_diffusion import JapaneseStableDiffusionPipeline

model_id = "rinna/japanese-stable-diffusion"
device = "cuda"
# 这里使用 K-LMS 调度器
scheduler = LMSDiscreteScheduler(beta_start=0.00085, beta_end=0.012, beta_schedule="scaled_linear", num_train_timesteps=1000)
pipe = JapaneseStableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, use_auth_token=True)
pipe = pipe.to(device)

prompt = "猫の肖像画 油絵"
with autocast("cuda"):
    image = pipe(prompt, guidance_scale=7.5)["sample"][0]  
    
image.save("output.png")

注意：JapaneseStableDiffusionPipeline 与 diffusers 的 StableDiffusionPipeline 几乎相同，但添加了一些代码来正确初始化我们的模型。

📚 详细文档

模型详情

滥用、恶意使用和超出范围使用

注意：本节内容取自 DALLE - MINI 模型卡，但同样适用于 Stable Diffusion v1。

该模型不应被用于故意创建或传播会为人们营造敌对或排斥性环境的图像。这包括生成人们可预见会感到不安、痛苦或冒犯的图像；或传播历史或当前刻板印象的内容。

超出范围使用

该模型并非用于对人物或事件进行事实或真实的呈现，因此使用该模型生成此类内容超出了该模型的能力范围。

滥用和恶意使用

使用该模型生成对个人残忍的内容属于对该模型的滥用。这包括但不限于：

• 生成贬低、非人化或以其他方式伤害人们或其环境、文化、宗教等的表现形式。
• 故意推广或传播歧视性内容或有害的刻板印象。
• 在未经个人同意的情况下冒充他人。
• 在可能看到的人未同意的情况下生成色情内容。
• 虚假和误导性信息
• 严重暴力和血腥场面的表现形式
• 违反版权或许可材料使用条款进行分享。
• 违反版权或许可材料使用条款对其进行修改后分享。

限制和偏差

限制

• 该模型无法实现完美的照片级逼真度。
• 该模型无法渲染清晰可读的文本。
• 该模型在涉及组合性的更困难任务上表现不佳，例如渲染与 “蓝色球体上的红色立方体” 对应的图像。
• 面部和人物通常可能无法正确生成。
• 该模型主要使用日语字幕进行训练，在其他语言上的表现不佳。
• 模型的自动编码部分存在信息损失。
• 该模型在大规模数据集 LAION - 5B 的一个子集上进行训练，该数据集包含成人内容，在没有额外安全机制和考虑的情况下不适合用于产品。
• 未使用额外措施对数据集进行去重。因此，我们观察到对于训练数据中重复的图像存在一定程度的记忆现象。可以在 [https://rom1504.github.io/clip - retrieval/](https://rom1504.github.io/clip - retrieval/) 上搜索训练数据，以协助检测记忆的图像。

偏差

虽然图像生成模型的能力令人印象深刻，但它们也可能强化或加剧社会偏差。日本稳定扩散模型在包括 LAION - 5B 日语子集在内的日语数据集上进行训练，这些数据集主要由日语描述的图像组成。使用其他语言的社区和文化的文本和图像可能未得到充分考虑。这会影响模型的整体输出。此外，该模型使用非日语提示生成内容的能力明显不如使用日语提示。

安全模块

该模型的预期用途是与 Diffusers 中的 安全检查器 一起使用。该检查器通过将模型输出与已知的硬编码 NSFW 概念进行比对来工作。这些概念被故意隐藏，以降低对该过滤器进行逆向工程的可能性。具体来说，检查器在图像生成 之后，在 CLIPTextModel 的嵌入空间中比较有害概念的类别概率。这些概念与生成的图像一起传入模型，并与每个 NSFW 概念的手工设计权重进行比较。

训练

训练数据

我们使用以下数据集对模型进行训练：

• 约 1 亿张带有日语字幕的图像，包括 LAION - 5B 的日语子集。

训练过程

日本稳定扩散模型与 Stable Diffusion 具有相同的架构，并使用 Stable Diffusion 进行训练。由于 Stable Diffusion 在英语数据集上进行训练，且 CLIP 分词器主要用于英语，受 PITI 的启发，我们分两个阶段将其转换为特定语言的模型。

1. 使用我们的日语分词器从头开始训练一个特定于日语的文本编码器，同时固定潜在扩散模型。此阶段预计将日语字幕映射到 Stable Diffusion 的潜在空间。
2. 联合微调文本编码器和潜在扩散模型。此阶段预计更多地生成日式风格的图像。

发布日期

2022 年 9 月 9 日

如何引用

@misc{rinna-japanese-stable-diffusion,
    title = {rinna/japanese-stable-diffusion},
    author = {Shing, Makoto and Sawada, Kei},
    url = {https://huggingface.co/rinna/japanese-stable-diffusion}
}

@inproceedings{sawada2024release,
    title = {Release of Pre-Trained Models for the {J}apanese Language},
    author = {Sawada, Kei and Zhao, Tianyu and Shing, Makoto and Mitsui, Kentaro and Kaga, Akio and Hono, Yukiya and Wakatsuki, Toshiaki and Mitsuda, Koh},
    booktitle = {Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)},
    month = {5},
    year = {2024},
    pages = {13898--13905},
    url = {https://aclanthology.org/2024.lrec-main.1213},
    note = {\url{https://arxiv.org/abs/2404.01657}}
}

参考文献

@inproceedings{rombach2022high,
      author = {Rombach, Robin and Blattmann, Andreas and Lorenz, Dominik and Esser, Patrick and Ommer, Bj\"orn},
      title = {High-Resolution Image Synthesis With Latent Diffusion Models},
      booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
      month = {6},
      year = {2022},
      pages = {10684-10695}
  }

说明：本模型卡由 Makoto Shing 和 Kei Sawada 编写，基于 Stable Diffusion v1 - 4 模型卡 和 DALL - E Mini 模型卡。

📄 许可证

本模型采用 CreativeML OpenRAIL M 许可证。在获取此模型之前，需要了解以下内容：

此模型开放访问，所有人均可使用，CreativeML OpenRAIL - M 许可证进一步规定了权利和使用方式。

CreativeML OpenRAIL 许可证规定：

1. 您不能使用该模型故意生成或分享非法或有害的输出或内容。
2. rinna Co., Ltd. 对您生成的输出不主张任何权利，您可以自由使用它们，并对其使用负责，且使用不得违反许可证中的规定。
3. 您可以重新分发模型权重，并将该模型用于商业用途和/或作为服务。如果您这样做，请务必包含与许可证中相同的使用限制，并向所有用户分享一份 CreativeML OpenRAIL - M 许可证（请完整仔细阅读许可证）。

请在此处阅读完整的许可证：https://huggingface.co/spaces/CompVis/stable-diffusion-license

通过点击下面的 “访问仓库”，您也同意您的 联系信息（电子邮件地址和用户名）可以与模型作者共享。

请勾选以下选项：

• [ ] 我已阅读许可证并同意其条款。