Acertainmodel

🚀 ACertainModel

ACertainModel 是一款面向动漫爱好者的潜在扩散模型，仅需少量提示词，就能生成高质量、细节丰富的动漫风格图片。它和其他动漫风格的 Stable Diffusion 模型一样，支持使用包含艺术家信息的 danbooru 标签来生成图像。

🚀 快速开始

使用 Google Colab 免费 T4 体验完整功能

查看 Twitter 上的 #ACertainModel 以获取社区艺术作品。

✨ 主要特性

• 高质量动漫图像生成：仅需少量提示词，就能生成高质量、高度详细的动漫风格图片。
• 支持 danbooru 标签：和其他动漫风格的 Stable Diffusion 模型一样，支持使用包含艺术家信息的 danbooru 标签来生成图像。
• 精细训练：为了避免过拟合和可能的语言漂移，在训练集中添加了大量由单个单词提示自动生成的图片，并结合社区中流行的模型（如 Anything - 3.0）以及部分手动选择的一年内的全 danbooru 图像进行进一步的原生训练。

🔧 技术细节

由于注意到 Stable - Diffusion - v - 1 - 4 检查点中引入的 laion - aesthetics 阻碍了动漫风格插画生成模型的微调，因此使用 Dreambooth 单独微调了一些标签，使其更接近 SD1.2 的效果。为避免过拟合和可能的语言漂移，在训练集中添加了大量由单个单词提示自动生成的图片，使用了社区中流行的模型（如 Anything - 3.0），并结合部分手动选择的一年内的全 danbooru 图像进行进一步的原生训练。同时也了解 LoRA 方法，其通过仅微调注意力层，在眼睛、手部等细节上有更好的表现。

该模型是直接从少数艺术家的图像进行训练的，以符合版权要求和进行技术实验。它在 Dreambooth 上使用社区中几个流行的扩散模型生成的图片进行训练。检查点使用 Stable Diffusion 模型的权重进行初始化，随后在 512P 动态宽高比分辨率下，在 V100 32GB 上进行了 2K GPU 小时、在 A100 40GB 上进行了 600 GPU 小时的微调，并结合了一定比例的由社区中几个流行的扩散模型自动生成的无监督图像以及一些文本反转和超网络。为了保证质量和稳定性，未使用 xformers 和 8 位优化技巧。同时训练了多达 15 个分支，大约每 20000 步进行一次筛选。

💻 使用示例

基础用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "JosephusCheung/ACertainModel"
branch_name= "main"

pipe = StableDiffusionPipeline.from_pretrained(model_id, revision=branch_name, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "pikachu"
image = pipe(prompt).images[0]

image.save("./pikachu.png")

关于使用托管推理 API 进行在线预览以及使用此模型进行生成

不允许修改参数，因为它似乎是使用 Clip skip: 1 生成的。为了获得更好的性能，强烈建议使用 Clip skip: 2。

以下是一个推理设置示例，如果适用于您自己的服务器：Steps: 28, Sampler: Euler a, CFG scale: 11, Clip skip: 2。

示例

以下是使用此模型生成的一些图像示例，与其他类似模型相比，它在构图、手势以及移动物体的表现上更好：

动漫女孩：

1girl, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

动漫男孩：

1boy, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

📄 许可证

此模型是开放访问的，所有人都可以使用，其遵循 CreativeML OpenRAIL - M 许可证，该许可证进一步规定了权利和使用方式。

CreativeML OpenRAIL 许可证规定：

1. 您不能使用该模型故意生成或分享非法或有害的输出或内容。
2. 作者对您生成的输出不主张任何权利，您可以自由使用它们，但需对其使用负责，且使用不得违反许可证中的规定。
3. 您可以重新分发权重，并将模型用于商业用途或作为服务使用。如果这样做，请务必包含与许可证中相同的使用限制，并向所有用户提供一份 CreativeML OpenRAIL - M 许可证副本（请完整、仔细地阅读许可证）。 请在此处阅读完整许可证

它是基于 NovelAI 的模型吗？与 SD1.2 和 SD1.4 有什么关系？

请参阅 ASimilarityCalculatior