Mosaicart

🚀 モザイクアート

このモデルはモザイクアートの画像を学習したDreamboothed Stable Diffusionモデルで、テキストから画像を生成することができます。

🚀 クイックスタート

このモデルは他のStable Diffusionモデルと同じように使用できます。詳細については、Stable Diffusionを参照してください。また、モデルをONNX、MPS、および/またはFLAX/JAXにエクスポートすることもできます。

from diffusers import StableDiffusionPipeline
import torch

model_id = "Guizmus/MosaicArt"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "Mosaic Art dog on the moon"
image = pipe(prompt).images[0]

image.save("./MosaicArt.png")

✨ 主な機能

• テキストから画像生成: 入力されたテキストに基づいてモザイクアート風の画像を生成します。
• 複数のモデルバージョン: V1とV2の2つのモデルバージョンが用意されています。

📦 インストール

このモデルを使用するには、Stable Diffusion関連のライブラリが必要です。以下のコード例ではdiffusersとtorchを使用しています。必要に応じてインストールしてください。

pip install diffusers torch

💻 使用例

基本的な使用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "Guizmus/MosaicArt"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "Mosaic Art dog on the moon"
image = pipe(prompt).images[0]

image.save("./MosaicArt.png")

高度な使用法

推奨のサンプリング方法は、20ステップのk_Euler_aまたはDPM++ 2M Karras、CFGS 7.5です。

from diffusers import StableDiffusionPipeline
import torch
from diffusers.schedulers import DPMSolverMultistepScheduler

model_id = "Guizmus/MosaicArt"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

prompt = "Mosaic Art dog on the moon"
image = pipe(prompt, num_inference_steps=20, guidance_scale=7.5).images[0]

image.save("./MosaicArt_advanced.png")

📚 ドキュメント

詳細情報

これはモザイクアートの画像を使って学習されたDreamboothed Stable Diffusionモデルです。

総データセットは46枚の画像で構成されています。V2はStable diffusion 2.1 768をベースに学習されました。学習にはStableTunerを使用し、画像には主概念以外にほとんど繰り返しのない単語を含む完全なキャプションを付けて学習したため、追加の正則化は必要ありませんでした。学習には学習率1e-6で6エポック、各エポック40回の繰り返し、事前保存を行いました。

V1はrunawayml 1.5とnew VAEをベースに学習されました。学習にはEveryDreamを使用し、同様に画像に完全なキャプションを付けて学習しました。e0からe11エポックの中で、e8がスタイルの最適な適用であり過学習していないと判断され選ばれました。事前保存も良好でした。学習率1e-6で合計9エポック、各エポック40回の繰り返しを行いました。

トークン "Mosaic Art" を使用することで、学習されたスタイルの新しい概念を呼び出すことができます。

モデルバージョン

モデルV2

CKPT v2 YAML v2

モデルV1

CKPT v1 CKPT v1 with ema weights Dataset

🔧 技術詳細

• モデルタイプ: Stable Diffusionベースのテキスト-to-画像モデル
• 学習データ: 合計46枚のモザイクアート画像
• 学習方法: V2はStableTunerを使用し、V1はEveryDreamを使用して学習
• 学習率: 1e-6
• エポック数: V2は6エポック、V1は9エポック

📄 ライセンス

このモデルはcreativeml-openrail-mライセンスの下で提供されています。