Sotediffusion Wuerstchen3

🚀 SoteDiffusion Wuerstchen3

SoteDiffusion Wuerstchen3 是對 Würstchen V3 進行的動漫微調模型，可用於將文本轉化為動漫風格的圖像。

新版本信息

新版本已發佈：https://huggingface.co/Disty0/sotediffusion-v2

🚀 快速開始

本模型可通過 API 與 Fal.AI 結合使用，更多詳情請參考：https://fal.ai/models/fal-ai/stable-cascade/sote-diffusion

✨ 主要特性

• 本版本由 fal.ai/grants 贊助發佈。
• 使用 8 塊 A100 80G GPU，在 600 萬張圖像上進行了 3 個輪次的訓練。

📦 安裝指南

SD.Next

1. 訪問：https://github.com/vladmandic/automatic/
2. 進入 Models -> Huggingface，在模型名稱中輸入 Disty0/sotediffusion-wuerstchen3-decoder 並點擊下載。
3. 下載完成後，加載 Disty0/sotediffusion-wuerstchen3-decoder。

ComfyUI

請參考 CivitAI：https://civitai.com/models/353284

💻 使用示例

基礎用法

import torch
from diffusers import StableCascadeCombinedPipeline

device = "cuda"
dtype = torch.bfloat16 # or torch.float16
model = "Disty0/sotediffusion-wuerstchen3-decoder"

pipe = StableCascadeCombinedPipeline.from_pretrained(model, torch_dtype=dtype)

# send everything to the gpu:
pipe = pipe.to(device, dtype=dtype)
pipe.prior_pipe = pipe.prior_pipe.to(device, dtype=dtype)

# or enable model offload to save vram:
# pipe.enable_model_cpu_offload()

prompt = "newest, extremely aesthetic, best quality, 1girl, solo, cat ears, pink hair, orange eyes, long hair, bare shoulders, looking at viewer, smile, indoors, casual, living room, playing guitar,"
negative_prompt = "very displeasing, worst quality, monochrome, realistic, oldest, loli,"
output = pipe(
    width=1024,
    height=1536,
    prompt=prompt,
    negative_prompt=negative_prompt,
    decoder_guidance_scale=2.0,
    prior_guidance_scale=7.0,
    prior_num_inference_steps=30,
    output_type="pil",
    num_inference_steps=10
).images[0]

## do something with the output image

📚 詳細文檔

模型參數

基礎訓練參數

最終訓練參數

數據集信息

數據集規模

數據集說明

• 最小尺寸為 1280x600（768,000 像素）。
• 使用 czkawka-cli 基於圖像相似度進行去重。
• 約 120K 張高質量圖像有意重複 5 次，使總圖像數達到 620 萬。

標籤信息

標籤順序

模型以隨機標籤順序進行訓練，但數據集中的標籤順序如下：

aesthetic tags, quality tags, date tags, custom tags, rating tags, character, series, rest of the tags

日期標籤

美學標籤

質量標籤

評級標籤

自定義標籤

🔧 技術細節

訓練信息

• 使用軟件：Kohya SD-Scripts with Stable Cascade branch。https://github.com/kohya-ss/sd-scripts/tree/stable-cascade
• 使用 GPU：8x Nvidia A100 80GB
• GPU 時長：220 小時

標註信息

• 用於標註的 GPU：1x Intel ARC A770 16GB
• GPU 時長：350 小時
• 用於標註的模型：SmilingWolf/wd-swinv2-tagger-v3
• 用於文本的模型：llava-hf/llava-1.5-7b-hf
• 標註命令：

python /mnt/DataSSD/AI/Apps/kohya_ss/sd-scripts/finetune/tag_images_by_wd14_tagger.py --model_dir "/mnt/DataSSD/AI/models/wd14_tagger_model" --repo_id "SmilingWolf/wd-swinv2-tagger-v3" --recursive --remove_underscore --use_rating_tags --character_tags_first --character_tag_expand --append_tags --onnx --caption_separator ", " --general_threshold 0.35 --character_threshold 0.50 --batch_size 4 --caption_extension ".txt" ./

📄 許可證

SoteDiffusion 模型遵循 Fair AI Public License 1.0-SD 許可協議，該協議與 Stable Diffusion 模型的許可協議兼容。要點如下：

1. 修改共享：如果您修改了 SoteDiffusion 模型，必須同時共享您的修改和原始許可協議。
2. 源代碼可訪問性：如果您的修改版本可以通過網絡訪問，需提供一種方式（如下載鏈接）讓他人獲取源代碼。這也適用於派生模型。
3. 分發條款：任何分發都必須遵循此許可協議或其他具有類似規則的協議。
4. 合規性：若不遵守規定，必須在 30 天內糾正，以避免許可協議終止，強調透明度和遵守開源價值觀。

注意：Fair AI 許可協議未涵蓋的內容繼承自 Stability AI 非商業許可協議，名為 LICENSE_INHERIT。

⚠️ 重要提示

• 本模型專為動漫插畫設計，未對其寫實能力進行測試。
• 模型可能會生成寫實風格的圖像，此時可在負向提示詞中添加 "realistic" 標籤。
• 遠景中的眼睛和手部細節可能表現不佳。