Pixart Sigma XL 2 1024 MS

🚀 🐱 PixArt-Σ模型介紹

PixArt-Σ是一個基於擴散Transformer的文生圖生成模型，可在單次採樣過程中直接從文本提示生成1024px、2K和4K圖像，為圖像生成領域帶來了高效且強大的解決方案。

       

✨ 主要特性

模型架構

PixArt-Σ 由用於潛在擴散的純Transformer塊組成，能夠在單次採樣過程中直接從文本提示生成1024px、2K和4K圖像。源代碼可在 GitHub 上獲取。

模型詳情

📦 安裝指南

⚠️ 重要提示

確保將diffusers升級到 >= 0.28.0：

pip install -U diffusers --upgrade

此外，確保安裝 transformers、safetensors、sentencepiece 和 accelerate：

pip install transformers accelerate safetensors sentencepiece

對於 diffusers<0.28.0，請查看 此腳本 獲取幫助。

💻 使用示例

基礎用法

import torch
from diffusers import Transformer2DModel, PixArtSigmaPipeline

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
weight_dtype = torch.float16

pipe = PixArtSigmaPipeline.from_pretrained(
    "PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", 
    torch_dtype=weight_dtype,
    use_safetensors=True,
)
pipe.to(device)

# Enable memory optimizations.
# pipe.enable_model_cpu_offload()

prompt = "A small cactus with a happy face in the Sahara desert."
image = pipe(prompt).images[0]
image.save("./catcus.png")

高級用法

當使用 torch >= 2.0 時，可通過 torch.compile 將推理速度提高20 - 30%。在運行管道之前，簡單地用 torch.compile 包裝 unet：

pipe.transformer = torch.compile(pipe.transformer, mode="reduce-overhead", fullgraph=True)

如果受GPU顯存限制，可通過調用 pipe.enable_model_cpu_offload 而不是 .to("cuda") 來啟用 CPU卸載：

- pipe.to("cuda")
+ pipe.enable_model_cpu_offload()

更多關於如何使用 diffusers 調用PixArt-Σ的信息，請查看 PixArt-Σ文檔。

📚 詳細文檔

直接用途

該模型僅用於研究目的。可能的研究領域和任務包括：

• 藝術品生成，以及在設計和其他藝術過程中的應用。
• 教育或創意工具中的應用。
• 生成模型的研究。
• 對有潛在生成有害內容能力的模型進行安全部署。
• 探索和理解生成模型的侷限性和偏差。

超出範圍的用途

該模型並非用於生成事實性或真實反映人物或事件的內容，因此使用該模型生成此類內容超出了其能力範圍。

🔧 技術細節

侷限性

• 模型無法實現完美的照片級真實感。
• 模型無法渲染清晰可讀的文本。
• 模型在處理涉及組合性的更復雜任務時存在困難，例如渲染與 “一個紅色立方體放在藍色球體上” 對應的圖像。
• 一般來說，手指等細節可能無法正確生成。
• 模型的自動編碼部分存在信息損失。

偏差

雖然圖像生成模型的能力令人印象深刻，但它們也可能強化或加劇社會偏差。

📄 許可證

本模型使用 CreativeML Open RAIL++-M License 許可證。