Niji Diffusion Xl Base 1.0

🚀 虹貓擴散XL基礎版1.0

這是一款向動漫風格靠攏的「SDXL(stable-diffusion-xl-base-1.0)」模型。它是基於「niji-v5」數據集進行LoRA微調併合並後的模型，可用於文本到圖像的生成。

🚀 快速開始

本模型可使用niji-diffusion-xl-base-1.0.safetensors與stable-diffusion-webui，按照以下參數生成圖像：

提示詞

masterpiece, best quality, high quality, absurdres, 1girl, flower

負面提示詞

worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

PNG信息

Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1

其他示例提示詞

• 提示詞：

1girl

• 提示詞：

1girl, tokyo

• 提示詞：

1girl, steampunk

• 提示詞：

1girl, fantasy

⚠️ 重要提示

由於本模型總共僅使用了約13000張到100張圖片進行訓練，因此在提示詞中輸入多個內容時，生成的圖像可能不再具有niji風格。不過，在負面提示詞中輸入多個內容似乎沒有問題。

✨ 主要特性

• 基於「SDXL(stable-diffusion-xl-base-1.0)」模型，向動漫風格調整。
• 使用「niji-v5」數據集進行LoRA微調併合並。

📦 安裝指南

文檔未提及安裝相關內容，暫無法提供。

💻 使用示例

基礎用法

使用niji-diffusion-xl-base-1.0.safetensors與stable-diffusion-webui，按照上述提示詞和參數生成圖像。

高級用法

文檔未提及高級使用場景，暫無法提供。

📚 詳細文檔

更新履歷

• 2023年8月14日
  • 挑選了約1000張nijijourney的圖像進行訓練。雖然記錄了操作步驟，但不確定哪些操作起到了作用。
  • 列出了超參數，但之後與v11和sd-webui-supermerger進行了層次合併（類似block_lr的合適比率），因此一次未能完成最終效果。
  • 最後將blur以約 -0.05 的比例，LECO創建的anime以1的比例進行LoRA合併完成模型。

• 2023年8月11日

  • 混合上次的nijijourney圖像，使用12000張圖像進行訓練。
  • 優化器使用Lion(4e - 06, cosine, weight_decay=0.015, betas=.9,.999)。

• 2023年8月7日

  • 使用約4500張nijijourney的圖像進行全量微調。
  • 將VAE替換為在fp16下不會損壞的版本。
  • 學習率1e - 07似乎過低，圖像變化不大，計劃下次提高學習率。

• 2023年8月1日

  • 使用約100張nijijourney的圖像進行LoRA微調等操作。

模型的製作方法

1. 參考「輕鬆☆複印機學習法（肯定是初級篇）」，對「模糊（blur）」進行LoRA DreamBooth訓練，並將該LoRA模型以負比例合併到SDXL模型中。
2. 從niji - v5中挑選100張背景和頭髮繪製詳細的圖像，對步驟1得到的模型進行LoRA微調，並將該LoRA模型合併到SDXL模型中。

未來模型的改進

希望能夠將模型作為LoRA模型進行分發。由於在512dim(rank)下訓練的LoRA模型文件大小達到了3GB，因此本次將其合併到了SDXL模型中。

感想

調整過程困難，多次返工。希望之後能將製作方法制作成視頻。

致謝

衷心感謝創建和分發模型、訓練數據及訓練工具的各位。

依賴庫

• [sd - scripts](https://github.com/kohya - ss/sd - scripts/tree/sdxl) 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9
• [bitsandbytes](https://github.com/jllllll/bitsandbytes - windows - webui) 0.39.1
• Pytorch 2.0.0+cu117
• xformers 0.0.19

🔧 技術細節

文檔未提及技術實現細節，暫無法提供。

📄 許可證

• CreativeML Open RAIL++ - M License