Hitokomoru Diffusion

🚀 ひとこもるディフュージョン

日本のアーティスト「ひとこもる」の作品を学習した潜在拡散モデルです。

🚀 クイックスタート

ひとこもるディフュージョンは、日本のアーティスト „Éí„Éà„Åì„ÇÇ„Çã/ひとこもる の作品を学習した潜在拡散モデルです。現在のモデルは、Danbooruから収集した255枚の画像を使用し、学習率 2.0e-6 で 20000 学習ステップ/80 エポック 微調整されています。このモデルは NovelAI Aspect Ratio Bucketing Tool を使用して学習されており、非正方形の解像度での学習が可能です。他のアニメスタイルのStable Diffusionモデルと同様に、Danbooruタグを使用して画像を生成することができます。

例: 1girl, white hair, golden eyes, beautiful eyes, detail, flower meadow, cumulonimbus clouds, lighting, detailed sky, garden

このモデルには、現在4種類のバリエーションがあります。

• hitokomoru-5000.ckpt：5,000ステップで学習されたチェックポイント
• hitokomoru-10000.ckpt：10,000ステップで学習されたチェックポイント
• hitokomoru-15000.ckpt：15,000ステップで学習されたチェックポイント
• hitokomoru-20000.ckpt：20,000ステップで学習されたチェックポイント

✨ 主な機能

• 日本のアーティスト「ひとこもる」の作品を学習した潜在拡散モデル
• 非正方形の解像度での学習が可能
• Danbooruタグを使用して画像を生成することができる

📦 インストール

このモデルは他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusion を参照してください。

また、このモデルを ONNX、MPS および/または FLAX/JAX にエクスポートすることもできます。

💻 使用例

基本的な使用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "Linaqruf/hitokomoru-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "hatsune_miku"
image = pipe(prompt).images[0]

image.save("./hatsune_miku.png")

高度な使用法

以下は、このモデルを使用して生成された画像の例です。

Hitokomoru-5000-pruned.ckptを使用した場合

アニメガール:

アニメボーイ:

Hitokomoru-10000-pruned.ckptを使用した場合

アニメガール:

アニメボーイ:

Hitokomoru-15000-pruned.ckptを使用した場合

アニメガール:

アニメボーイ:

Hitokomoru-20000-pruned.ckptを使用した場合

アニメガール:

アニメボーイ:

サンプル画像のプロンプトと設定

アニメガール:

(masterpiece:1.05),illustration,beautiful detailed,colourful,finely detailed,dramatic light,intricate details,1 girl, 1990, 1980, hatsune miku

Negative prompt:
nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked,shadow,long body, Abnormal fingers,

Steps: 32, Sampler: Euler, CFG scale: 10, Seed: 2319346364, Size: 512x768, Model hash: 2700c435, Batch size: 2, Batch pos: 0, Clip skip: 2

アニメボーイ:

Authentic and detailed face(man:1.2763)(boymasterpiece:1.1025), (best quality:1.1025), (ultra-detailed:1.1025), (illustration:1.1025), (tousled hair:1.1025), (frill:0.907) , white cutter shirt, (one boy:1.05), (solo:1.05) chest, detailed wet clothes, empty stare, pants, (flowers:1.05), beautifully detailed sky, beautifully detailed water, leaves, detailed and beautiful sea

Negative prompt: 
(big breasts:1.2763)(breast:1.1025)}(woman:1.2155)} little girl,(3d:1.1576)(girl:1.629), nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry,missing fingers,bad hands,missing arms, long neck, Humpbacked

Steps: 40, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1870332858, Size: 512x768, Model hash: 2700c435, Batch size: 2, Batch pos: 0, Clip skip: 2

📚 ドキュメント

このモデルを学習するために使用された データセット と再開トレーニング用の 最終状態 フォルダは こちら で見つけることができます。

📄 ライセンス

このモデルはオープンアクセスであり、すべての人が利用できます。CreativeML OpenRAIL-Mライセンスにより、権利と使用方法がさらに明確に規定されています。

CreativeML OpenRAILライセンスでは、以下のことが規定されています。

1. このモデルを使用して、違法または有害な出力やコンテンツを意図的に生成または共有することはできません。
2. 作者は、あなたが生成した出力に対して何らの権利も主張せず、あなたはそれらを自由に使用することができますが、その使用はライセンスに定められた規定に反してはなりません。
3. あなたは、このモデルの重みを再配布し、商業的に使用することができます。ただし、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンス全体を注意深く読んでください）。 ライセンス全文はこちらをご覧ください

これからの予定

• ひとこもるディフュージョンV2が間もなく登場します。MidJourneyの風景データセットを追加する予定です。結果がいつも単純な背景になるのが飽きてきたので、うまくいくことを願っています。

クレジット

• „Éí„Éà„Åì„ÇÇ„Çã/ひとこもる のデータセット
• 私自身の貢献

大きな感謝

• Kohya と彼らの Kohya Trainer
• SDトレーニングラボのDiscordサーバーの皆さん
• ptsearch.info のプロンプト参照