Ncsnpp Ffhq 1024

🚀 確率微分方程式(SDE)を用いたスコアベースの生成モデリング

このプロジェクトは、確率微分方程式(SDE)を用いたスコアベースの生成モデリングに関する研究です。データからノイズを生成するのは容易ですが、ノイズからデータを生成するのが生成モデリングです。本研究では、複雑なデータ分布を徐々にノイズを注入することで既知の事前分布に滑らかに変換するSDEと、事前分布を徐々にノイズを除去することでデータ分布に戻す逆時間SDEを提案しています。

🚀 クイックスタート

このプロジェクトの論文や著者情報、概要を以下に示します。

論文: Score-Based Generative Modeling through Stochastic Differential Equations

著者: Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole

概要:

データからノイズを生成することは容易ですが、ノイズからデータを生成することが生成モデリングです。我々は、複雑なデータ分布を徐々にノイズを注入することで既知の事前分布に滑らかに変換する確率微分方程式(SDE)と、事前分布を徐々にノイズを除去することでデータ分布に戻す対応する逆時間SDEを提案します。重要なことは、逆時間SDEは摂動されたデータ分布の時間依存勾配場(いわゆる、スコア)のみに依存するということです。スコアベースの生成モデリングの進歩を活用することで、我々はこれらのスコアをニューラルネットワークで正確に推定し、数値SDEソルバーを使用してサンプルを生成することができます。このフレームワークは、スコアベースの生成モデリングと拡散確率モデリングにおける以前のアプローチを包含し、新しいサンプリング手順と新しいモデリング機能を可能にします。特に、我々は離散化された逆時間SDEの進化における誤差を修正する予測子 - 修正子フレームワークを導入します。また、SDEと同じ分布からサンプリングする等価なニューラルODEを導出し、さらに正確な尤度計算と改善されたサンプリング効率を可能にします。さらに、我々はスコアベースのモデルで逆問題を解く新しい方法を提供し、クラス条件付き生成、画像インペインティング、およびカラー化の実験で実証しています。複数のアーキテクチャの改善と組み合わせることで、我々はCIFAR - 10での無条件画像生成において、Inceptionスコア9.89、FID 2.20という記録的な性能を達成し、2.99 bits/dimの競争力のある尤度を達成し、初めてスコアベースの生成モデルから1024 x 1024画像の高忠実度生成を実証しています。

💻 使用例

基本的な使用法

# !pip install diffusers
from diffusers import DiffusionPipeline

model_id = "google/ncsnpp-ffhq-1024"

# load model and scheduler
sde_ve = DiffusionPipeline.from_pretrained(model_id)

# run pipeline in inference (sample random noise and denoise)
image = sde_ve()["sample"]

# save image
image[0].save("sde_ve_generated_image.png")

高度な使用法

SDEモデルは、以下のような連続的なノイズスケジューラを使用できます。

• scheduling_sde_ve

独自のノイズ除去ループを書く方法の詳細については、pipeline_score_sde_veを参照してください。一般的にdiffusersを推論に使用する方法の詳細については、公式の推論例を参照してください。

📚 ドキュメント

サンプル画像

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で公開されています。