Acertainmodel

🚀 ACertainModel

ACertainModel 是一款面向動漫愛好者的潛在擴散模型，僅需少量提示詞，就能生成高質量、細節豐富的動漫風格圖片。它和其他動漫風格的 Stable Diffusion 模型一樣，支持使用包含藝術家信息的 danbooru 標籤來生成圖像。

🚀 快速開始

使用 Google Colab 免費 T4 體驗完整功能

查看 Twitter 上的 #ACertainModel 以獲取社區藝術作品。

✨ 主要特性

• 高質量動漫圖像生成：僅需少量提示詞，就能生成高質量、高度詳細的動漫風格圖片。
• 支持 danbooru 標籤：和其他動漫風格的 Stable Diffusion 模型一樣，支持使用包含藝術家信息的 danbooru 標籤來生成圖像。
• 精細訓練：為了避免過擬合和可能的語言漂移，在訓練集中添加了大量由單個單詞提示自動生成的圖片，並結合社區中流行的模型（如 Anything - 3.0）以及部分手動選擇的一年內的全 danbooru 圖像進行進一步的原生訓練。

🔧 技術細節

由於注意到 Stable - Diffusion - v - 1 - 4 檢查點中引入的 laion - aesthetics 阻礙了動漫風格插畫生成模型的微調，因此使用 Dreambooth 單獨微調了一些標籤，使其更接近 SD1.2 的效果。為避免過擬合和可能的語言漂移，在訓練集中添加了大量由單個單詞提示自動生成的圖片，使用了社區中流行的模型（如 Anything - 3.0），並結合部分手動選擇的一年內的全 danbooru 圖像進行進一步的原生訓練。同時也瞭解 LoRA 方法，其通過僅微調注意力層，在眼睛、手部等細節上有更好的表現。

該模型是直接從少數藝術家的圖像進行訓練的，以符合版權要求和進行技術實驗。它在 Dreambooth 上使用社區中幾個流行的擴散模型生成的圖片進行訓練。檢查點使用 Stable Diffusion 模型的權重進行初始化，隨後在 512P 動態寬高比分辨率下，在 V100 32GB 上進行了 2K GPU 小時、在 A100 40GB 上進行了 600 GPU 小時的微調，並結合了一定比例的由社區中幾個流行的擴散模型自動生成的無監督圖像以及一些文本反轉和超網絡。為了保證質量和穩定性，未使用 xformers 和 8 位優化技巧。同時訓練了多達 15 個分支，大約每 20000 步進行一次篩選。

💻 使用示例

基礎用法

from diffusers import StableDiffusionPipeline
import torch

model_id = "JosephusCheung/ACertainModel"
branch_name= "main"

pipe = StableDiffusionPipeline.from_pretrained(model_id, revision=branch_name, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "pikachu"
image = pipe(prompt).images[0]

image.save("./pikachu.png")

關於使用託管推理 API 進行在線預覽以及使用此模型進行生成

不允許修改參數，因為它似乎是使用 Clip skip: 1 生成的。為了獲得更好的性能，強烈建議使用 Clip skip: 2。

以下是一個推理設置示例，如果適用於您自己的服務器：Steps: 28, Sampler: Euler a, CFG scale: 11, Clip skip: 2。

示例

以下是使用此模型生成的一些圖像示例，與其他類似模型相比，它在構圖、手勢以及移動物體的表現上更好：

動漫女孩：

1girl, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

動漫男孩：

1boy, brown hair, green eyes, colorful, autumn, cumulonimbus clouds, lighting, blue sky, falling leaves, garden
Steps: 28, Sampler: Euler a, CFG scale: 11, Seed: 114514, Clip skip: 2

📄 許可證

此模型是開放訪問的，所有人都可以使用，其遵循 CreativeML OpenRAIL - M 許可證，該許可證進一步規定了權利和使用方式。

CreativeML OpenRAIL 許可證規定：

1. 您不能使用該模型故意生成或分享非法或有害的輸出或內容。
2. 作者對您生成的輸出不主張任何權利，您可以自由使用它們，但需對其使用負責，且使用不得違反許可證中的規定。
3. 您可以重新分發權重，並將模型用於商業用途或作為服務使用。如果這樣做，請務必包含與許可證中相同的使用限制，並向所有用戶提供一份 CreativeML OpenRAIL - M 許可證副本（請完整、仔細地閱讀許可證）。 請在此處閱讀完整許可證

它是基於 NovelAI 的模型嗎？與 SD1.2 和 SD1.4 有什麼關係？

請參閱 ASimilarityCalculatior