Ncsnpp Celebahq 256

🚀 確率微分方程式（SDE）を用いたスコアベース生成モデリング

このプロジェクトは、確率微分方程式（SDE）を用いたスコアベース生成モデリングに関するものです。データからノイズを生成するのは容易ですが、ノイズからデータを生成するのが生成モデリングです。本手法は、複雑なデータ分布を既知の事前分布に徐々にノイズを注入することで変換し、逆時間のSDEを用いて事前分布からデータ分布に戻すことができます。

📚 詳細ドキュメント

論文情報

• 論文: Score-Based Generative Modeling through Stochastic Differential Equations
• 著者: Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole

概要

データからノイズを生成することは容易ですが、ノイズからデータを生成することが生成モデリングです。我々は、複雑なデータ分布を既知の事前分布に徐々にノイズを注入することで滑らかに変換する確率微分方程式（SDE）と、ノイズを徐々に取り除くことで事前分布をデータ分布に戻す対応する逆時間SDEを提案します。重要なのは、逆時間SDEは摂動されたデータ分布の時間依存勾配場（いわゆるスコア）のみに依存することです。スコアベース生成モデリングの進歩を活用することで、ニューラルネットワークを用いてこれらのスコアを正確に推定し、数値SDEソルバーを用いてサンプルを生成することができます。このフレームワークは、スコアベース生成モデリングと拡散確率モデリングにおける以前のアプローチを包含し、新しいサンプリング手順と新しいモデリング能力を可能にします。特に、離散化された逆時間SDEの進化における誤差を修正する予測子 - 修正子フレームワークを導入します。また、SDEと同じ分布からサンプリングする等価なニューラルODEを導出し、正確な尤度計算と改善されたサンプリング効率を可能にします。さらに、スコアベースモデルを用いて逆問題を解く新しい方法を提供し、クラス条件付き生成、画像修復、およびカラー化の実験で実証します。複数のアーキテクチャの改善と組み合わせることで、CIFAR - 10における無条件画像生成において、Inceptionスコア9.89、FID 2.20の記録的な性能を達成し、2.99 bits/dimの競争力のある尤度を示し、初めてスコアベース生成モデルから1024 x 1024画像の高忠実度生成を実証します。

💻 使用例

基本的な使用法

# !pip install diffusers
from diffusers import DiffusionPipeline

model_id = "google/ncsnpp-celebahq-256"

# load model and scheduler
sde_ve = DiffusionPipeline.from_pretrained(model_id)

# run pipeline in inference (sample random noise and denoise)
image = sde_ve()["sample"]

# save image
image[0].save("sde_ve_generated_image.png")

詳細情報

• SDE モデルは 連続的な ノイズスケジューラーを使用できます。例えば、scheduling_sde_ve です。
• 独自のノイズ除去ループを書く方法の詳細については、pipeline_score_sde_ve を参照してください。
• diffusers を推論に使用する一般的な情報については、公式の推論例 を参照してください。

📷 サンプル画像

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。