Pixart Sigma Nitro

🚀 AMD Nitro Diffusion

AMD Nitro Diffusion是一系列高效的文本到圖像生成模型，這些模型是在AMD Instinct™ GPU上從流行的擴散模型中提煉而來，能有效提升圖像生成效率。

🚀 快速開始

from diffusers import PixArtSigmaPipeline
import torch
from safetensors.torch import load_file

pipe = PixArtSigmaPipeline.from_pretrained("PixArt-alpha/PixArt-Sigma-XL-2-1024-MS")

ckpt_path = '<path to distilled checkpoint>'
transformer_state_dict = load_file(ckpt_path)
pipe.transformer.load_state_dict(transformer_state_dict)
pipe = pipe.to("cuda")

image = pipe(prompt='a photo of a cat',
             num_inference_steps=1,
             guidance_scale=0,
             timesteps=[400]).images[0]

更多關於訓練和評估的詳細信息，請訪問 GitHub倉庫。

✨ 主要特性

• AMD Nitro Diffusion包含兩個模型：
  • Stable Diffusion 2.1 Nitro：這是一個基於UNet的單步模型，從 Stable Diffusion 2.1 中提煉而來。
  • PixArt-Sigma Nitro：這是一個基於高分辨率Transformer的單步模型，從 PixArt-Sigma 中提煉而來。
• 🔧 開源代碼！這些模型基於我們對 Latent Adversarial Diffusion Distillation 的重新實現，該方法曾用於構建流行的Stable Diffusion 3 Turbo模型。由於原作者未提供訓練代碼，我們發佈了自己的重新實現，以推動該領域的進一步研究。

📚 詳細文檔

模型細節

• 模型架構：PixArt-Sigma Nitro與PixArt-Sigma具有相同的架構，並且與diffusers管道兼容。
• 推理步驟：該模型經過提煉，僅需單步即可完成推理。不過，訓練代碼也支持將模型提煉為2步、4步或8步。
• 硬件：我們使用由4個AMD Instinct™ MI250 GPU組成的單節點來提煉PixArt-Sigma Nitro。
• 數據集：我們使用來自 DiffusionDB 的100萬個提示，並從基礎PixArt-Sigma模型生成相應的圖像。
• 訓練成本：在單節點上，提煉過程在不到2天的時間內就能取得合理的結果。

結果對比

與 PixArt-Sigma 相比，我們的模型在FLOPs上降低了90.9%，而CLIP得分僅降低了3.7%，FID僅提高了10.5%。

📄 許可證

版權所有 (c) 2018 - 2024 Advanced Micro Devices, Inc. 保留所有權利。 本項目根據Apache許可證2.0版（“許可證”）許可；除非符合許可證要求，否則不得使用此文件。 你可以在以下地址獲取許可證副本： http://www.apache.org/licenses/LICENSE-2.0 除非適用法律要求或書面同意，否則根據許可證分發的軟件按“原樣”分發， 不附帶任何形式的明示或暗示保證。 請參閱許可證以瞭解管理權限和限制的特定語言。