Van Gogh Diffusion

🚀 ヴァン・ゴッホ・ディフュージョン

このモデルは、映画「レヴィング・ヴィンセント」のスクリーンショットを使って微調整されたStable Diffusionモデル（v1.5ベース）です。プロンプトの先頭にトークン「lvngvncnt」を使用することで、そのスタイルを適用できます（例：「lvngvncnt, beautiful woman at sunset」）。このモデルは、Eulerサンプラー（Euler_aではない）で最適に動作します。

「files and versions」タブからckptファイルをダウンロードし、選択したWeb UIのStable Diffusionモデルフォルダに配置してください。

黄色い顔が多く表示されたり、強い青色の偏りが気に入らない場合は、それらをネガティブプロンプトに入れるだけです（例：「Yellow face, blue」）。

🚀 クイックスタート

モデルの使用方法

このモデルは他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusionを参照してください。

また、このモデルをONNX、MPS、および/またはFLAX/JAXにエクスポートすることもできます。

コードによる使用例

from diffusers import StableDiffusionPipeline
import torch

model_id = "dallinmackay/Van-Gogh-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "lvngvncnt, beautiful woman at sunset"
image = pipe(prompt).images[0]

image.save("./sunset.png")

✨ 主な機能

• 映画「レヴィング・ヴィンセント」のスタイルを再現した画像生成が可能です。
• プロンプトの先頭に「lvngvncnt」を付けることで、そのスタイルを適用できます。
• Eulerサンプラーで最適な結果が得られます。

📦 インストール

「files and versions」タブからckptファイルをダウンロードし、選択したWeb UIのStable Diffusionモデルフォルダに配置してください。

💻 使用例

基本的な使用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "dallinmackay/Van-Gogh-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "lvngvncnt, beautiful woman at sunset"
image = pipe(prompt).images[0]

image.save("./sunset.png")

高度な使用法

黄色い顔や強い青色の偏りが気に入らない場合は、ネガティブプロンプトを使用します。

from diffusers import StableDiffusionPipeline
import torch

model_id = "dallinmackay/Van-Gogh-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "lvngvncnt, beautiful woman at sunset"
negative_prompt = "Yellow face, blue"
image = pipe(prompt, negative_prompt=negative_prompt).images[0]

image.save("./sunset_improved.png")

🔧 技術詳細

このモデルはDreamboothを使用し、TheLastBenのcolabノートブックを用いて学習されました。

📄 ライセンス

このモデルはオープンアクセスで、誰でも利用できます。CreativeML OpenRAIL-Mライセンスにより、権利と使用方法がさらに明確に規定されています。

CreativeML OpenRAILライセンスには以下のような規定があります。

1. このモデルを使用して、違法または有害な出力やコンテンツを故意に生成または共有することはできません。
2. 作者は、ユーザーが生成した出力に対して一切の権利を主張しません。ユーザーは自由にそれらを使用できますが、ライセンスに定められた規定に違反してはなりません。
3. ユーザーは、このモデルの重みを再配布し、商業的に使用することができます。その場合、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります。 ライセンス全文はこちら

このモデルで生成されたキャラクター: 使用したプロンプトと設定: lvngvncnt, [person], highly detailed | Steps: 25, Sampler: Euler, CFG scale: 6

このモデルで生成された風景やその他の画像: 使用したプロンプトと設定: lvngvncnt, [subject/setting], highly detailed | Steps: 25, Sampler: Euler, CFG scale: 6