Yiwu

🚀 Novelai-Diffusion

Novelai-Diffusionは、高品質のアニメ画像を生成できる潜在拡散モデルです。このモデルのDiffusersバージョンを提供しており、皆さんがNovelai-Diffusionを簡単に利用できるようにしています。

🚀 クイックスタート

Novelai-Diffusionを使ってアニメ画像を生成するには、以下の手順を参照してください。また、GradioとColabのデモも用意されています。

Gradio & Colabデモ

GradioのWeb UIとDiffusersを使ったColabでNovelai Diffusionを実行できます。

TPUでNovelai Diffusionを実行することもできます（ベータ版）。

💻 使用例

基本的な使用法

pytorch

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("animelover/novelai-diffusion", custom_pipeline="waifu-research-department/long-prompt-weighting-pipeline", torch_dtype=torch.float16)
pipe.safety_checker = None # we don't need safety checker. you can add not safe words to negative prompt instead.
pipe = pipe.to("cuda")

prompt = "best quality, masterpiece, 1girl, cute, looking at viewer, smiling, open mouth, white hair, red eyes, white kimono, sakura petal"
neg_prompt = "lowres, bad anatomy, error body, error hair, error arm, error hands, bad hands, error fingers, bad  fingers, missing fingers, error legs, bad legs, multiple legs, missing legs, error lighting, error shadow, error reflection, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry"
# we don't need autocast here, because autocast will make speed slow down.
image = pipe.text2img(prompt,negative_prompt=neg_prompt, width=512,height=768,max_embeddings_multiples=5,guidance_scale=12).images[0]
image.save("test.png")

onnxruntime

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("animelover/novelai-diffusion", revision="onnx16",
                                         custom_pipeline="waifu-research-department/onnx-long-prompt-weighting-pipeline",
                                         provider="CUDAExecutionProvider")
pipe.safety_checker = None # we don't need safety checker. you can add not safe words to negative prompt instead.

prompt = "best quality, masterpiece, 1girl, cute, looking at viewer, smiling, open mouth, white hair, red eyes, white kimono, sakura petal"
neg_prompt = "lowres, bad anatomy, error body, error hair, error arm, error hands, bad hands, error fingers, bad  fingers, missing fingers, error legs, bad legs, multiple legs, missing legs, error lighting, error shadow, error reflection, text, error, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry"
image = pipe.text2img(prompt,negative_prompt=neg_prompt, width=512,height=768,max_embeddings_multiples=5,guidance_scale=12).images[0]
image.save("test.png")

⚠️ 重要提示

"waifu-research-department/long-prompt-weighting-pipeline"を使用することで、長いプロンプトを入力し、重み付けを調整することができます。これにはdiffusers>=0.4.0が必要です。

📄 ライセンス

ライセンス情報は不明です。

謝辞

素晴らしいモデルを提供してくれたnovelaiに感謝します。可能であれば、彼らをサポートしてください。