Ncsnpp Ffhq 256

🚀 確率微分方程式(SDE)を用いたスコアベース生成モデリング

このプロジェクトは、確率微分方程式(SDE)を利用したスコアベース生成モデリングに関する研究です。データからノイズを生成するのは容易ですが、ノイズからデータを生成するのが生成モデリングの目的です。本研究では、複雑なデータ分布を既知の事前分布に徐々にノイズを注入することで変換するSDEと、事前分布をデータ分布に戻す逆時間SDEを提案しています。

📚 論文情報

• 論文: Score-Based Generative Modeling through Stochastic Differential Equations
• 著者: Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole

📄 要約

データからノイズを生成することは容易ですが、ノイズからデータを生成することが生成モデリングです。我々は、複雑なデータ分布を既知の事前分布に徐々にノイズを注入することで滑らかに変換する確率微分方程式(SDE)と、事前分布をデータ分布に戻す対応する逆時間SDEを提案します。重要なことは、逆時間SDEは摂動されたデータ分布の時間依存勾配場（いわゆるスコア）のみに依存することです。スコアベース生成モデリングの進歩を活用することで、我々はニューラルネットワークでこれらのスコアを正確に推定し、数値SDEソルバーを使用してサンプルを生成することができます。このフレームワークは、スコアベース生成モデリングと拡散確率モデリングにおける以前のアプローチを包含し、新しいサンプリング手順と新しいモデリング機能を可能にします。特に、我々は離散化された逆時間SDEの進化における誤差を修正する予測子 - 修正子フレームワークを導入します。また、SDEと同じ分布からサンプリングする等価なニューラルODEを導出し、さらに正確な尤度計算と改善されたサンプリング効率を可能にします。さらに、我々はスコアベースモデルで逆問題を解く新しい方法を提供し、クラス条件付き生成、画像補完、および着色の実験で実証しています。複数のアーキテクチャの改善と組み合わせることで、我々はCIFAR - 10での無条件画像生成において、Inceptionスコア9.89、FID 2.20の記録的な性能を達成し、2.99 bits/dimの競争力のある尤度を達成し、初めてスコアベース生成モデルから1024 x 1024画像の高忠実度生成を実証しています。

🚀 クイックスタート

推論

SDE モデルは、以下のような 連続的な ノイズスケジューラを使用できます。

• scheduling_sde_ve

推論には以下のコードを参照してください。

💻 使用例

基本的な使用法

# !pip install diffusers
from diffusers import DiffusionPipeline

model_id = "google/ncsnpp-ffhq-256"

# load model and scheduler
sde_ve = DiffusionPipeline.from_pretrained(model_id)

# run pipeline in inference (sample random noise and denoise)
image = sde_ve()["sample"]

# save image
image[0].save("sde_ve_generated_image.png")

独自のノイズ除去ループを記述する方法の詳細については、pipeline_score_sde_ve を参照してください。一般的に diffusers を推論に使用する方法の詳細については、公式の推論例 を参照してください。

📦 サンプル

📄 ライセンス

• Apache-2.0ライセンスの下で公開されています。