Hitokomoru Diffusion

🚀 Hitokomoru Diffusion

歡迎使用Hitokomoru Diffusion —— 這是一個潛在擴散模型，基於日本藝術家 „Éí„Éà„Åì„ÇÇ„Çã/Hitokomoru 的作品進行訓練。當前模型在從Danbooru收集的255張圖像上，以 2.0e-6 的學習率進行了 20000 個訓練步驟/80 個週期 的微調。該模型使用 NovelAI Aspect Ratio Bucketing Tool 進行訓練，因此可以在非方形分辨率下進行訓練。和其他動漫風格的Stable Diffusion模型一樣，它也支持使用Danbooru標籤來生成圖像。

例如：1girl, white hair, golden eyes, beautiful eyes, detail, flower meadow, cumulonimbus clouds, lighting, detailed sky, garden

目前該模型有4種變體可供使用：

• hitokomoru-5000.ckpt：訓練了5000步的檢查點。
• hitokomoru-10000.ckpt：訓練了10000步的檢查點。
• hitokomoru-15000.ckpt：訓練了15000步的檢查點。
• hitokomoru-20000.ckpt：訓練了20000步的檢查點。

🚀 快速開始

模型使用

這個模型的使用方式和其他Stable Diffusion模型相同。更多信息請參考 Stable Diffusion。

你還可以將該模型導出為 ONNX、MPS 和/或 FLAX/JAX 格式。

代碼示例

from diffusers import StableDiffusionPipeline
import torch

model_id = "Linaqruf/hitokomoru-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "hatsune_miku"
image = pipe(prompt).images[0]

image.save("./hatsune_miku.png")

✨ 主要特性

• 特定風格訓練：基於日本藝術家Hitokomoru的作品訓練，具有獨特的動漫風格。
• 多分辨率支持：使用NovelAI Aspect Ratio Bucketing Tool訓練，支持非方形分辨率。
• 標籤支持：支持Danbooru標籤，方便生成特定風格的圖像。
• 多種變體：提供4種不同訓練步數的模型變體。

📦 數據集

你可以在 這裡 找到用於訓練該模型的 數據集 以及用於恢復訓練的 last-state 文件夾。

💻 使用示例

示例圖片

以下是使用該模型生成的一些圖像示例：

使用Hitokomoru-5000-pruned.ckpt

動漫女孩：

動漫男孩：

使用Hitokomoru-10000-pruned.ckpt

動漫女孩：

動漫男孩：

使用Hitokomoru-15000-pruned.ckpt

動漫女孩：

動漫男孩：

使用Hitokomoru-20000-pruned.ckpt

動漫女孩：

動漫男孩：

示例圖片的提示詞和設置

動漫女孩：

(masterpiece:1.05),illustration,beautiful detailed,colourful,finely detailed,dramatic light,intricate details,1 girl, 1990, 1980, hatsune miku

負提示詞：
nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked,shadow,long body, Abnormal fingers,

步數：32，採樣器：Euler，CFG比例：10，種子：2319346364，尺寸：512x768，模型哈希：2700c435，批量大小：2，批量位置：0，Clip跳過：2

動漫男孩：

Authentic and detailed face(man:1.2763)(boymasterpiece:1.1025), (best quality:1.1025), (ultra-detailed:1.1025), (illustration:1.1025), (tousled hair:1.1025), (frill:0.907) , white cutter shirt, (one boy:1.05), (solo:1.05) chest, detailed wet clothes, empty stare, pants, (flowers:1.05), beautifully detailed sky, beautifully detailed water, leaves, detailed and beautiful sea

負提示詞： 
(big breasts:1.2763)(breast:1.1025)}(woman:1.2155)} little girl,(3d:1.1576)(girl:1.629), nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

步數：40，採樣器：DPM++ 2M Karras，CFG比例：7，種子：1870332858，尺寸：512x768，模型哈希：2700c435，批量大小：2，批量位置：0，Clip跳過：2

📄 許可證

該模型是開放訪問的，所有人都可以使用，並遵循CreativeML OpenRAIL - M許可證，該許可證進一步規定了使用權利和使用方式。

CreativeML OpenRAIL許可證規定：

1. 你不能使用該模型故意生成或分享非法或有害的輸出或內容。
2. 作者對您生成的輸出不主張任何權利，您可以自由使用它們，並對其使用負責，且使用不得違反許可證中的規定。
3. 您可以重新分發模型權重，並將該模型用於商業用途和/或作為服務使用。如果您這樣做，請確保包含與許可證中相同的使用限制，並向所有用戶提供CreativeML OpenRAIL - M許可證的副本。請在此閱讀完整許可證

🔮 未來計劃

• 即將推出Hitokomoru Diffusion V2，計劃加入來自MidJourney的風景數據集，希望能改善生成結果背景簡單的問題。

🙏 致謝

• „Éí„Éà„Åì„ÇÇ„Çã/Hitokomoru 提供的數據集。
• Kohya 及其 Kohya Trainer。
• SD Training Labs Discord服務器的成員們。
• ptsearch.info 提供的提示詞參考。