Paint Journey V2

🚀 Paint Journey V2

Paint Journey V2は、V1 をベースに、Midjourney V4、Open Journey V2、Disco Diffusion、および許可を得たアーティストによる768x768の油絵でファインチューニングされたモデルです。このモデルを使うことで、様々なスタイルの美しい画像を生成することができます。

🚀 クイックスタート

プロンプトの先頭に ((oil painting)) を付けることで、油絵のエフェクトを追加できます。デジタルやその他の絵画スタイルについては、Midjourney V4（若干の調整が必要）、Stable Diffusion v1.5（より多くのスタイルを追加）、Open Journey V2、またはDisco Diffusionと同様のプロンプトを使用します。

✨ 主な機能

• 油絵のエフェクトを簡単に追加できる。
• 様々なスタイルの画像生成が可能。
• 高解像度でノイズの少ない画像を生成できる。

💻 使用例

基本的な使用法

# see more sampling algorithms at https://huggingface.co/docs/diffusers/using-diffusers/schedulers#changing-the-scheduler

from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler
import torch, random, datetime

pipe = StableDiffusionPipeline.from_pretrained("FredZhang7/paint-journey-v2")
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

def random_seed():
  return random.randint(0, 2**32 - 1)


prompt = "((oil painting)), gentle waves, bright blue sky, white sails billowing, sun glistening on the surface, salty sea air, distant horizon, calm breeze, birds soaring overhead, vibrant colors, artstation digital painting, high resolution, uhd, 4 k, 8k wallpaper"   # what you want to see
negative_prompt = "low-res, blurry, haze, dark clouds looming, choppy waves, engine failing, sails tattered, stormy winds".split(", ")   # what you don't want to see
seed = random_seed()               # replace with the desired seed if needed
width, height = 1280, 768          # width and height of the generated image
cfg_scale = 7.5                    # classifer free guidance scale, smaller means more creative, 7 to 11 is usually a good range
num_inference_steps = 40           # sampling steps, 30 to 40 is usually good for Euler Ancestral


generator = torch.Generator("cuda").manual_seed(seed)
with torch.autocast("cuda"):
    image = pipe(prompt=prompt,
                  num_inference_steps=num_inference_steps,
                  width=width, height=height,
                  generator=generator,
                  guidance_scale=cfg_scale).images[0]

def generate_filename(string, seed):
    invalid_chars = ["<", ">", ":", '"', "/", "\\", "|", "?", "*"]
    for char in invalid_chars:
        string = string.replace(char, "")
    return f"{datetime.now().strftime('%Y-%m-%d_%H-%M-%S')}_{seed}_{string}"

image.save(f"./{generate_filename(prompt, seed)}.png")

📚 ドキュメント

生成例

すべての例はCamenduruのWebUIを使用して生成されました（Colabファイルを参照）

768x1136の肖像画。記述的なプロンプトを使用して生成され、顔の修復は行われていません。生成パラメータ

1280x768の（主に）自然の風景。短いプロンプトを使用。生成パラメータ

1152x768の宇宙の風景。記述的なプロンプトを使用。生成パラメータ

1280x768のランボルギーニ。生成パラメータ

960x768のイーブイ。生成パラメータ

比較

Paint Journey V2の絵画は、Open Journey V2よりも人間が描いたアートに近いです。Dreamlike Diffusion 1.0などのモデルと比較すると、PJ V2は768x768以上の解像度でノイズの少ない画像を生成する傾向があります。このモデルはまた、CamenduruのWebUI を使用して768x1136の解像度で美しい肖像画を生成することができ、DreamShaper 3.3などのモデルにとって難しいタスクを達成します。

低解像度では、同じ（短い）ポジティブおよびネガティブプロンプトを使用した場合、DreamShaper 3.3はPJ V2よりも高品質の肖像画を生成する傾向があります。ただし、PJ V2はより記述的なポジティブおよびネガティブプロンプトを使用することで、より見事な傑作を制作することができ、短いプロンプトでも美しい風景画を生成することができます。

トレーニング

Paint Journey V2は、Unetを単独でファインチューニングするのではなく、多様なプロンプトを使用してテキストエンコーダーをファインチューニングすることに重点を置いています。これにより、デジタルと油絵のスタイルを他の様々なタイプのプロンプトに自然に融合させることができ、より自然でダイナミックな出力が得られます。

このモデルは、Midjourney、Prompt Hero、PixaBay、Open Journey V2、およびRedditから手動で選ばれた約300枚の画像のコーディネートされたデータセットでトレーニングされました。トレーニング前に、多くの画像にR-ESRGAN 4xを使用して解像度を上げ、ノイズを低減しました。

プロンプトが枯渇した場合

便利なリソース: Lexica.art、Fast GPT PromptGen、Prompt Hero

出力サイズ

縦長のサイズには、512x768、768x768、768x1136 などが含まれます。横長のサイズには、768x512、768x768、1152x768、1280x768 などが含まれます。

📦 インストール

CamenduruのWebUI

git clone -b v1.6 https://github.com/camenduru/stable-diffusion-webui

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

チェックポイント と vae を ./stable-diffusion-webui/models/Stable-diffusion フォルダにダウンロードします。webui-user.bat を実行します。

Diffusers

ヒント: いくつかの文字WORDを二重、三重、または四重の括弧で囲む（例："((WORD))"）と、WORDに「強調」がかかります

pip install --upgrade diffusers transformers

🔧 技術詳細

Paint Journey V2は、テキストエンコーダーをファインチューニングすることで、デジタルと油絵のスタイルを他のプロンプトに自然に融合させることができます。トレーニングデータは、Midjourney、Prompt Hero、PixaBay、Open Journey V2、およびRedditから選ばれた約300枚の画像です。トレーニング前に、R-ESRGAN 4xを使用して画像の解像度を上げ、ノイズを低減しました。

📄 ライセンス

このモデルは、CreativeML OpenRAIL-Mライセンスの下で提供されています。