Hitokomoru Diffusion

🚀 Hitokomoru Diffusion

欢迎使用Hitokomoru Diffusion —— 这是一个潜在扩散模型，基于日本艺术家 „Éí„Éà„Åì„ÇÇ„Çã/Hitokomoru 的作品进行训练。当前模型在从Danbooru收集的255张图像上，以 2.0e-6 的学习率进行了 20000 个训练步骤/80 个周期 的微调。该模型使用 NovelAI Aspect Ratio Bucketing Tool 进行训练，因此可以在非方形分辨率下进行训练。和其他动漫风格的Stable Diffusion模型一样，它也支持使用Danbooru标签来生成图像。

例如：1girl, white hair, golden eyes, beautiful eyes, detail, flower meadow, cumulonimbus clouds, lighting, detailed sky, garden

目前该模型有4种变体可供使用：

• hitokomoru-5000.ckpt：训练了5000步的检查点。
• hitokomoru-10000.ckpt：训练了10000步的检查点。
• hitokomoru-15000.ckpt：训练了15000步的检查点。
• hitokomoru-20000.ckpt：训练了20000步的检查点。

🚀 快速开始

模型使用

这个模型的使用方式和其他Stable Diffusion模型相同。更多信息请参考 Stable Diffusion。

你还可以将该模型导出为 ONNX、MPS 和/或 FLAX/JAX 格式。

代码示例

from diffusers import StableDiffusionPipeline
import torch

model_id = "Linaqruf/hitokomoru-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "hatsune_miku"
image = pipe(prompt).images[0]

image.save("./hatsune_miku.png")

✨ 主要特性

• 特定风格训练：基于日本艺术家Hitokomoru的作品训练，具有独特的动漫风格。
• 多分辨率支持：使用NovelAI Aspect Ratio Bucketing Tool训练，支持非方形分辨率。
• 标签支持：支持Danbooru标签，方便生成特定风格的图像。
• 多种变体：提供4种不同训练步数的模型变体。

📦 数据集

你可以在 这里 找到用于训练该模型的 数据集 以及用于恢复训练的 last-state 文件夹。

💻 使用示例

示例图片

以下是使用该模型生成的一些图像示例：

使用Hitokomoru-5000-pruned.ckpt

动漫女孩：

动漫男孩：

使用Hitokomoru-10000-pruned.ckpt

动漫女孩：

动漫男孩：

使用Hitokomoru-15000-pruned.ckpt

动漫女孩：

动漫男孩：

使用Hitokomoru-20000-pruned.ckpt

动漫女孩：

动漫男孩：

示例图片的提示词和设置

动漫女孩：

(masterpiece:1.05),illustration,beautiful detailed,colourful,finely detailed,dramatic light,intricate details,1 girl, 1990, 1980, hatsune miku

负提示词：
nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked,shadow,long body, Abnormal fingers,

步数：32，采样器：Euler，CFG比例：10，种子：2319346364，尺寸：512x768，模型哈希：2700c435，批量大小：2，批量位置：0，Clip跳过：2

动漫男孩：

Authentic and detailed face(man:1.2763)(boymasterpiece:1.1025), (best quality:1.1025), (ultra-detailed:1.1025), (illustration:1.1025), (tousled hair:1.1025), (frill:0.907) , white cutter shirt, (one boy:1.05), (solo:1.05) chest, detailed wet clothes, empty stare, pants, (flowers:1.05), beautifully detailed sky, beautifully detailed water, leaves, detailed and beautiful sea

负提示词： 
(big breasts:1.2763)(breast:1.1025)}(woman:1.2155)} little girl,(3d:1.1576)(girl:1.629), nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

步数：40，采样器：DPM++ 2M Karras，CFG比例：7，种子：1870332858，尺寸：512x768，模型哈希：2700c435，批量大小：2，批量位置：0，Clip跳过：2

📄 许可证

该模型是开放访问的，所有人都可以使用，并遵循CreativeML OpenRAIL - M许可证，该许可证进一步规定了使用权利和使用方式。

CreativeML OpenRAIL许可证规定：

1. 你不能使用该模型故意生成或分享非法或有害的输出或内容。
2. 作者对您生成的输出不主张任何权利，您可以自由使用它们，并对其使用负责，且使用不得违反许可证中的规定。
3. 您可以重新分发模型权重，并将该模型用于商业用途和/或作为服务使用。如果您这样做，请确保包含与许可证中相同的使用限制，并向所有用户提供CreativeML OpenRAIL - M许可证的副本。请在此阅读完整许可证

🔮 未来计划

• 即将推出Hitokomoru Diffusion V2，计划加入来自MidJourney的风景数据集，希望能改善生成结果背景简单的问题。

🙏 致谢

• „Éí„Éà„Åì„ÇÇ„Çã/Hitokomoru 提供的数据集。
• Kohya 及其 Kohya Trainer。
• SD Training Labs Discord服务器的成员们。
• ptsearch.info 提供的提示词参考。