PixArt-Sigma-Nitroオープンソース画像生成モデル - 高効率な単一步推論で、テキストを画像に簡単に変換

Pixart Sigma Nitro

amdによって開発

AMD Nitro Diffusionは、AMD Instinct™ GPU向けに主流の拡散モデルから蒸留された効率的なテキスト生成画像モデルのシリーズです。PixArt-Sigma Nitroは、Transformerベースの高解像度単段推論モデルです。

画像生成オープンソースライセンス:Apache-2.0 #単段拡散蒸留 #高解像度画像生成 #AMD GPU最適化

ダウンロード数 21

リリース時間 : 11/5/2024

モデル概要

PixArt-Sigma Nitroは、PixArt-Sigmaモデルから蒸留技術によって最適化された効率的なテキスト生成画像モデルで、単段推論による高品質画像生成をサポートします。

モデル特徴

単段推論

モデルは蒸留最適化されており、単段推論で画像を生成でき、推論速度が大幅に向上します。

効率的な性能

オリジナルモデルと比較して、FLOPsを90.9%削減しつつ、CLIPおよびFID指標の低下はわずかです。

互換性

PixArt-Sigmaアーキテクチャと同じで、diffusersプロセスと互換性があり、統合と使用が容易です。

モデル能力

テキスト生成画像

高解像度画像生成

単段推論

使用事例

クリエイティブデザイン

迅速なコンセプト画像生成

デザイナーはテキストプロンプトを入力することで、高解像度のコンセプト画像を迅速に生成し、作業効率を向上させることができます。

単段推論による画像生成で、待ち時間を大幅に短縮します。

コンテンツ制作

ソーシャルメディア向けコンテンツ生成

コンテンツクリエイターは、テーマに沿った高品質な画像を迅速に生成し、ソーシャルメディアで公開できます。

画像品質を維持しながら、生成速度を大幅に向上させます。

🚀 AMD Nitro Diffusion

AMD Nitro Diffusionは、AMD Instinct™ GPU上で人気の拡散モデルから蒸留された、効率的なテキストから画像への生成モデルのシリーズです。

🚀 クイックスタート

このコード例は、PixArtSigmaPipelineを使用して、蒸留されたチェックポイントを読み込み、1ステップで画像を生成する方法を示しています。

基本的な使用法

from diffusers import PixArtSigmaPipeline
import torch
from safetensors.torch import load_file

pipe = PixArtSigmaPipeline.from_pretrained("PixArt-alpha/PixArt-Sigma-XL-2-1024-MS")

ckpt_path = '<path to distilled checkpoint>'
transformer_state_dict = load_file(ckpt_path)
pipe.transformer.load_state_dict(transformer_state_dict)
pipe = pipe.to("cuda")

image = pipe(prompt='a photo of a cat',
             num_inference_steps=1,
             guidance_scale=0,
             timesteps=[400]).images[0]

トレーニングと評価の詳細については、GitHubリポジトリをご覧ください。

✨ 主な機能

AMD Nitro Diffusionは、AMD Instinct™ GPU上で人気の拡散モデルから蒸留された、効率的なテキストから画像への生成モデルのシリーズです。リリースには以下のモデルが含まれています。

Stable Diffusion 2.1 Nitro：Stable Diffusion 2.1から蒸留された、UNetベースの1ステップモデル。
PixArt-Sigma Nitro：PixArt-Sigmaから蒸留された、高解像度のTransformerベースの1ステップモデル。

⚡️ オープンソースコード! これらのモデルは、人気のStable Diffusion 3 Turboモデルを構築するために使用されたLatent Adversarial Diffusion Distillationの再実装に基づいています。元の著者がトレーニングコードを提供していなかったため、我々は再実装を公開し、この分野のさらなる研究を支援します。

🔧 技術詳細

モデルの詳細

属性	详情
モデルタイプ	PixArt-Sigma Nitroは、PixArt-Sigmaと同じアーキテクチャを持ち、diffusersパイプラインと互換性があります。
推論ステップ	このモデルは、単一ステップで推論を実行するように蒸留されています。ただし、トレーニングコードは、2、4、または8ステップのモデルを蒸留することもサポートしています。
ハードウェア	PixArt-Sigma Nitroの蒸留には、4つのAMD Instinct™ MI250 GPUから構成される単一ノードを使用しています。
トレーニングデータ	DiffusionDBからの100万件のプロンプトを使用し、ベースのPixArt-Sigmaモデルから対応する画像を生成しています。
トレーニングコスト	蒸留プロセスは、単一ノードで2日以内に合理的な結果を達成します。

📚 ドキュメント

結果

PixArt-Sigmaと比較して、当社のモデルは、わずか3.7％のCLIPスコアの低下と10.5％のFIDの上昇を犠牲にして、FLOPsを90.9％削減しています。

モデル	FID ↓	CLIP ↑	FLOPs	AMD Instinct MI250でのレイテンシ (秒)
PixArt-Sigma, 20ステップ	34.14	0.3289	187.96	7.46
PixArt-Sigma Nitro, 1ステップ	37.75	0.3167	17.04	0.53

📄 ライセンス

Copyright (c) 2018 - 2024 Advanced Micro Devices, Inc. All Rights Reserved. このソフトウェアは、Apache License, Version 2.0（「ライセンス」）の下でライセンスされています。ライセンスに準拠しない限り、このファイルを使用することはできません。ライセンスのコピーは、こちらから入手できます。ライセンスに基づいて配布されるソフトウェアは、明示的または黙示的に、あらゆる種類の保証や条件なしに、「現状のまま」提供されます。ライセンスに関する権限と制限を規定する言語については、ライセンスを参照してください。