Niji Diffusion Xl Base 1.0

🚀 ニジ・ディフュージョンXLベース1.0

このモデルは、アニメ調に寄せた「SDXL(stable - diffusion - xl - base - 1.0)」モデルで、「niji - v5」データセットを用いてLoRAファインチューニングしてマージしたものです。

🚀 クイックスタート

このモデルは、「[niji - diffusion - xl - base - 1.0.safetensors](https://huggingface.co/inu - ai/niji - diffusion - xl - base - 1.0/resolve/main/niji - diffusion - xl - base - 1.0.safetensors)」と[stable - diffusion - webui](https://github.com/AUTOMATIC1111/stable - diffusion - webui)を使用して、指定のパラメータで画像生成が可能です。

✨ 主な機能

• アニメ調の画像生成が可能で、「niji - v5」データセットを利用した学習により、独特なアニメスタイルを再現します。
• 「stable - diffusion - webui」との連携により、簡単に画像生成を行うことができます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

[niji - diffusion - xl - base - 1.0.safetensors](https://huggingface.co/inu - ai/niji - diffusion - xl - base - 1.0/resolve/main/niji - diffusion - xl - base - 1.0.safetensors)と[stable - diffusion - webui](https://github.com/AUTOMATIC1111/stable - diffusion - webui)で以下のパラメータで画像生成します。

Prompt:

masterpiece, best quality, high quality, absurdres, 1girl, flower

Negative prompt:

worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry

PNG info:

Steps: 28, Sampler: Euler a, CFG scale: 7, Seed: 1, Size: 1536x1024, Model hash: 791d0c791e, Model: sd_xl_niji_1.0, Clip skip: 2, ENSD: 31337, Token merging ratio: 0.5, Eta: 0.67, Version: v1.5.1

高度な使用法

以下は異なるPromptを使用した画像生成例です。

Prompt:

1girl

Prompt:

1girl, tokyo

Prompt:

1girl, steampunk

Prompt:

1girl, fantasy

📚 ドキュメント

更新履歴

• 2023年8月14日
  • さらにnijijourneyの画像1000枚ほどを目で見てアニメやイラスト風で良いもの選んで学習させました。
  • 以下に何をやったか記録しますが、何が効いているのかわかりません。
  • 以下にハイパーパラメータを記載しますが、その後v11と[sd - webui - supermerger](https://github.com/hako - mikan/sd - webui - supermerger)階層マージ（block_lrに近い絵が良さそうな比率）をしているため一度で仕上がりませんでした。
  • 最後にblurを - 0.05ほど、LECOで作った[anime](https://civitai.com/models/128125/anime - leco)を1でLoRAマージして仕上げました。

• 2023年8月11日

  • 前回のnijijourneyの画像を混ぜて12000枚で学習しました。
  • オプティマイザはLion(4e - 06, cosine, weight_decay = 0.015, betas =.9,.999)でした。

• 2023年8月7日

  • nijijourneyの画像4500枚ぐらいでフルファインチューニングしました。fp16で壊れないVAEに取り替えました。
  • 学習率1e - 07が低すぎたようで絵があまり変化しませんでした。次回は学習率を上げようと思います。

• 2023年8月1日

  • nijijourneyの画像100枚ぐらいでLoRAファインチューニングなどをしました。

モデルの説明

アニメ調に寄せた「[SDXL(stable - diffusion - xl - base - 1.0)](https://huggingface.co/stabilityai/stable - diffusion - xl - base - 1.0)」モデルです。内容は「[niji - v5](https://huggingface.co/datasets/p1atdev/niji - v5)」データセットでLoRAファインチューニングしてマージしたモデルです。

モデルの作り方

1. 「かんたん☆コピー機学習法（きっと初級編）」を参考に、「ぼかし（blur）」のLoRA DreamBoothをして、そのLoRAモデルをSDXLモデルにマイナスでマージします。
2. 1で作ったモデルに、niji - v5から背景や髪が詳細に描かれている絵などを100枚選びLoRAファインチューニングして、そのLoRAモデルをSDXLモデルにマージします。

今後のモデルの改善

LoRAモデルとして配布できるようにしたいです。 というのは、512dim(rank)で学習したらLoRAモデルが3GBのファイルサイズになってしまったため、今回はSDXLモデルにマージしています。

感想

うまく調整できず何度もやり直して大変でした。あとで作り方を動画にしたいです。

謝辞

モデル、学習データや学習ツールを作成および配布してくださった方々に心から感謝申し上げます。

ライブラリ

• [sd - scripts](https://github.com/kohya - ss/sd - scripts/tree/sdxl) 4072f723c12822e2fa1b2e076cc1f90b8f4e30c9
• [bitsandbytes](https://github.com/jllllll/bitsandbytes - windows - webui) 0.39.1
• Pytorch 2.0.0+cu117
• xformers 0.0.19

🔧 技術詳細

このREADMEには具体的な技術詳細が十分に記載されていないため、このセクションをスキップします。

📄 ライセンス

• [CreativeML Open RAIL++ - M License](https://huggingface.co/stabilityai/stable - diffusion - xl - base - 1.0/blob/main/LICENSE.md)