Mosaicart

🚀 馬賽克藝術模型

這是一個基於Stable Diffusion的模型，通過對馬賽克藝術圖片進行訓練得到。它能夠根據文本描述生成具有馬賽克藝術風格的圖像，在文本到圖像、圖像到圖像的轉換任務中表現出色。

🚀 快速開始

此模型的使用方式與其他Stable Diffusion模型相同。更多信息，請查看 Stable Diffusion。

你還可以將模型導出為 ONNX、MPS 和/或 FLAX/JAX 格式。

基礎用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "Guizmus/MosaicArt"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "Mosaic Art dog on the moon"
image = pipe(prompt).images[0]

image.save("./MosaicArt.png")

✨ 主要特性

• 風格獨特：基於馬賽克藝術圖片訓練，生成具有獨特馬賽克風格的圖像。
• 多版本可選：提供V1和V2兩個版本，分別基於不同的基礎模型訓練。
• 易於使用：使用方式與其他Stable Diffusion模型相同，支持多種導出格式。

📦 安裝指南

文檔未提及具體安裝步驟，可參考 Stable Diffusion 的安裝說明。

📚 詳細文檔

模型詳情

這是一個經過Dreamboothed處理的Stable Diffusion模型，在馬賽克藝術圖片上進行訓練。

總數據集由46張圖片組成。V2版本基於 Stable diffusion 2.1 768 進行訓練。我使用 StableTuner 進行訓練，對圖片使用完整的描述，除主要概念外幾乎沒有重複的單詞，因此無需額外的正則化。使用了6個epoch，每個epoch重複40次，學習率為1e - 6，並進行了先驗保留。

V1版本基於 runawayml 1.5 和 新的VAE 進行訓練。我使用 EveryDream 進行訓練，對圖片使用完整的描述，除主要概念外幾乎沒有重複的單詞，因此無需額外的正則化。在e0到e11的epoch中，選擇e8作為最佳風格應用，同時避免過擬合。先驗保留效果良好。總共進行了9個epoch，每個epoch重複40次，學習率為1e - 6。

“Mosaic Art” 這個標記將引入新的概念，作為一種風格進行訓練。

推薦的採樣方法是k_Euler_a或DPM++ 2M Karras，步數為20，CFG值為7.5。

模型版本

模型V2

CKPT v2

YAML v2

模型V1

CKPT v1

帶有ema權重的CKPT v1

數據集

📄 許可證

本模型使用的許可證為 creativeml-openrail-m。