🚀 Holodayo XL 2.1
Holodayo XL 2.1 是 Yodayo Holodayo XL 系列的最新版本,它基於 Animagine XL V3 這一專門用於生成高質量動漫風格藝術作品的 SDXL 模型構建。該模型經過額外的微調與優化,專注於生成能夠精準呈現虛擬主播系列視覺風格和美學的圖像。
🚀 快速開始
你可以在以下平臺使用這個模型:
- 在我們的平臺使用此模型:

- 在
ComfyUI
或 Stable Diffusion Webui
中使用。
- 使用 🧨
diffusers
庫進行使用。
✨ 主要特性
- 優化改進:修復了 Holodayo XL 2.0 中存在的諸多問題,如手部繪製不佳、人體結構不準確、因微調階段訓練文本編碼器導致的災難性遺忘,以及通過減少美學數據集解決過度曝光的藝術風格問題。
- 繼承特殊標籤:繼承了 Animagine XL 3.1 的特殊標籤,可增強圖像生成效果,引導結果朝著質量、評級、創作日期和美學方向發展。
📦 安裝指南
首先安裝所需的庫:
pip install diffusers transformers accelerate safetensors --upgrade
💻 使用示例
基礎用法
import torch
from diffusers import StableDiffusionXLPipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
"yodayo-ai/holodayo-xl-2.1",
torch_dtype=torch.float16,
use_safetensors=True,
custom_pipeline="lpw_stable_diffusion_xl",
add_watermarker=False,
variant="fp16"
)
pipe.to('cuda')
prompt = "1girl, nakiri ayame, nakiri ayame \(1st costume\), hololive, solo, upper body, v, smile, looking at viewer, outdoors, night, masterpiece, best quality, very aesthetic, absurdres"
negative_prompt = "nsfw, (low quality, worst quality:1.2), very displeasing, 3d, watermark, signature, ugly, poorly drawn"
image = pipe(
prompt,
negative_prompt=negative_prompt,
width=832,
height=1216,
guidance_scale=7,
num_inference_steps=28
).images[0]
image.save("./waifu.png")
📚 詳細文檔
標籤排序
為獲得最佳效果,建議遵循以下結構化提示模板,因為我們是按照此方式訓練模型的:
1girl/1boy, 角色名稱, 所屬系列, 藝術家, 其他信息(順序不限)。
特殊標籤
Holodayo XL 2.1 繼承了 Animagine XL 3.1 的特殊標籤,以增強圖像生成效果,引導結果朝著質量、評級、創作日期和美學方向發展。即使不使用這些標籤,模型也能生成圖像,但使用它們有助於獲得更好的結果。
- 質量標籤:masterpiece(傑作), best quality(最佳質量), great quality(高質量), good quality(良好質量), normal quality(普通質量), low quality(低質量), worst quality(最差質量)
- 評級標籤:safe(安全), sensitive(敏感), nsfw(不適合工作場合), explicit(露骨)
- 年份標籤:newest(最新), recent(近期), mid(中期), early(早期), oldest(最舊)
- 美學標籤:very aesthetic(非常美觀), aesthetic(美觀), displeasing(令人不悅), very displeasing(非常令人不悅)
推薦設置
為引導模型生成高美學的圖像,建議使用以下設置:
nsfw, (low quality, worst quality:1.2), very displeasing, 3d, watermark, signature, ugly, poorly drawn
masterpiece, best quality, very aesthetic, absurdres
- 無分類器引導(CFG)比例:應在 5 到 7 左右;10 會使圖像效果過度,大於 12 則會嚴重失真。
- 採樣步數:應在 25 到 30 左右;28 是最佳值。
- 採樣器:強烈推薦使用 Euler Ancestral(Euler a)。
- 支持的分辨率:
1024 x 1024, 1152 x 896, 896 x 1152, 1216 x 832, 832 x 1216, 1344 x 768, 768 x 1344, 1536 x 640, 640 x 1536
🔧 技術細節
以下是訓練期間使用的關鍵超參數:
特性 |
預訓練 |
微調 |
硬件 |
2x H100 80GB PCIe |
2x A100 80GB PCIe |
批量大小 |
64 |
48 |
梯度累積步數 |
2 |
1 |
噪聲偏移 |
無 |
0.0357 |
訓練輪數 |
10 |
10 |
UNet 學習率 |
7.5e - 6 |
7.5e - 6 |
文本編碼器學習率 |
3.75e - 6 |
無 |
優化器 |
AdamW8bit |
Adafactor |
優化器參數 |
權重衰減:0.1,貝塔值:(0.9, 0.99) |
縮放參數:False,相對步長:False,預熱初始化:False |
調度器 |
帶預熱的常數調度器 |
帶預熱的常數調度器 |
預熱步數 |
0.5% |
0.5% |
📄 許可證
Holodayo XL 2.1 遵循 Fair AI Public License 1.0 - SD 許可證,該許可證與 Stable Diffusion 模型的許可證兼容。關鍵點如下:
- 修改共享:如果你修改了 Holodayo XL 2.1,必須同時共享你的修改內容和原始許可證。
- 源代碼可訪問性:如果你的修改版本可以通過網絡訪問,需提供一種方式(如下載鏈接)讓他人獲取源代碼。這也適用於派生模型。
- 分發條款:任何分發都必須遵循此許可證或其他具有類似規則的許可證。