Playground V2 1024px Aesthetic

🚀 Playground v2 – 1024px美學模型

本項目包含一個能夠生成1024x1024高分辨率美學圖像的模型。你可以使用Hugging Face 🧨 Diffusers庫來調用該模型。

Playground v2 是一個基於擴散模型的文生圖生成模型。該模型由 Playground 的研究團隊從頭開始訓練。

根據Playground的 用戶研究，Playground v2生成的圖像比Stable Diffusion XL生成的圖像受歡迎程度高出 2.5 倍。

我們很高興能向社區發佈不同訓練階段的 中間檢查點，包括評估指標，希望這能促進對圖像生成基礎模型的進一步研究。

最後，我們引入了一個新的基準測試 MJHQ - 30K，用於自動評估模型的美學質量。

更多詳情請查看我們的 博客。

🚀 快速開始

本項目的模型可以藉助Hugging Face 🧨 Diffusers庫來使用，下面為你介紹具體的使用步驟。

✨ 主要特性

• 高質量圖像生成：能夠生成1024x1024分辨率的高美學圖像。
• 用戶偏好高：根據用戶研究，生成的圖像比Stable Diffusion XL生成的圖像受歡迎程度高出2.5倍。
• 多階段模型發佈：發佈不同訓練階段的中間檢查點，促進基礎模型研究。
• 新基準測試：引入MJHQ - 30K基準測試，用於自動評估模型的美學質量。

📦 安裝指南

安裝 diffusers >= 0.24.0 及一些依賴項：

pip install transformers accelerate safetensors

💻 使用示例

基礎用法

使用 🧨 Diffusers 調用模型，運行以下代碼片段。

注意：建議使用 guidance_scale = 3.0。

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained(
    "playgroundai/playground-v2-1024px-aesthetic",
    torch_dtype=torch.float16,
    use_safetensors=True,
    add_watermarker=False,
    variant="fp16"
)
pipe.to("cuda")

prompt = "Astronaut in a jungle, cold color palette, muted colors, detailed, 8k"
image  = pipe(prompt=prompt, guidance_scale=3.0).images[0]

其他使用方式

若要在諸如Automatic1111或ComfyUI等軟件中使用該模型，可使用 playground-v2.fp16.safetensors 文件。

📚 詳細文檔

模型描述

用戶研究

根據Playground進行的用戶研究，涉及2600多個提示和數千名用戶，Playground v2生成的圖像比 Stable Diffusion XL 生成的圖像受歡迎程度高出 2.5 倍。

我們按照標準做法，在 PartiPrompts 和Playground團隊策劃的內部提示數據集上報告用戶偏好指標。“Internal 1K” 提示數據集具有多樣性，涵蓋各種類別和任務。

在用戶研究期間，我們指導用戶從（1）美學偏好和（2）圖像 - 文本對齊兩個方面評估圖像對。

MJHQ - 30K基準測試

我們引入了一個新的基準測試 MJHQ - 30K，用於自動評估模型的美學質量。該基準測試在高質量數據集上計算FID以衡量美學質量。

我們從Midjourney精心策劃了一個高質量數據集，包含10個常見類別，每個類別有3000個樣本。按照慣例，我們使用美學分數和CLIP分數來確保高圖像質量和高圖像 - 文本對齊。此外，我們還特別注意使每個類別內的數據具有多樣性。

對於Playground v2，我們報告了整體FID和每個類別的FID。所有FID指標均在1024x1024分辨率下計算。我們的基準測試結果表明，我們的模型在整體FID和所有類別FID上均優於SDXL - 1 - 0 - refiner，特別是在人物和時尚類別上。這與用戶研究結果一致，表明人類偏好與MJHQ - 30K基準測試的FID分數之間存在相關性。

我們將此基準測試向公眾發佈，並鼓勵社區採用它來評估其模型的美學質量。

中間基礎模型

除了 playground - v2 - 1024px - aesthetic，我們還向社區發佈了不同訓練階段的中間檢查點，以促進像素級基礎模型研究。在這裡，我們報告了在MSCOCO14評估集上的FID分數和CLIP分數以供參考。（請注意，我們報告的數字可能與SDXL發佈結果中的數字不同，因為我們的提示列表可能不同。）

引用方式

@misc{playground-v2,
      url={[https://huggingface.co/playgroundai/playground-v2-1024px-aesthetic](https://huggingface.co/playgroundai/playground-v2-1024px-aesthetic)},
      title={Playground v2},
      author={Li, Daiqing and Kamko, Aleks and Sabet, Ali and Akhgari, Ehsan and Xu, Linmiao and Doshi, Suhail}
}

📄 許可證

本項目採用 Playground v2社區許可證。