Ncsnpp Ffhq 256

🚀 基於隨機微分方程（SDE）的分數生成式建模

本項目提出了一種隨機微分方程（SDE），它能將複雜的數據分佈平滑地轉換為已知的先驗分佈，還能通過反向操作將先驗分佈轉換回數據分佈。藉助分數生成式建模的進展，可使用神經網絡準確估計分數，並利用數值SDE求解器生成樣本。

🚀 快速開始

推理

SDE 模型可以使用連續噪聲調度器進行推理，例如：

• scheduling_sde_ve

以下是示例代碼：

# !pip install diffusers
from diffusers import DiffusionPipeline

model_id = "google/ncsnpp-ffhq-256"

# load model and scheduler
sde_ve = DiffusionPipeline.from_pretrained(model_id)

# run pipeline in inference (sample random noise and denoise)
image = sde_ve()["sample"]

# save image
image[0].save("sde_ve_generated_image.png")

若要了解如何編寫自己的去噪循環的更多詳細信息，請查看 pipeline_score_sde_ve。 關於如何使用 diffusers 進行推理的更多信息，請查看 官方推理示例。

💻 使用示例

基礎用法

# !pip install diffusers
from diffusers import DiffusionPipeline

model_id = "google/ncsnpp-ffhq-256"

# load model and scheduler
sde_ve = DiffusionPipeline.from_pretrained(model_id)

# run pipeline in inference (sample random noise and denoise)
image = sde_ve()["sample"]

# save image
image[0].save("sde_ve_generated_image.png")

📚 詳細文檔

論文信息

• 論文：Score-Based Generative Modeling through Stochastic Differential Equations
• 作者：Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole

摘要

從數據中創建噪聲很容易；從噪聲中創建數據則是生成式建模。我們提出了一種隨機微分方程（SDE），它通過緩慢注入噪聲將複雜的數據分佈平滑地轉換為已知的先驗分佈，以及一個相應的反向時間SDE，它通過緩慢去除噪聲將先驗分佈轉換回數據分佈。關鍵在於，反向時間SDE僅依賴於受擾動數據分佈的時間相關梯度場（即分數）。通過利用基於分數的生成式建模的進展，我們可以使用神經網絡準確估計這些分數，並使用數值SDE求解器生成樣本。我們表明，這個框架涵蓋了基於分數的生成式建模和擴散概率建模中的先前方法，允許新的採樣程序和新的建模能力。特別是，我們引入了一個預測 - 校正框架來糾正離散化反向時間SDE演化中的誤差。我們還推導出一個等效的神經ODE，它從與SDE相同的分佈中採樣，但還能實現精確的似然計算和提高採樣效率。此外，我們提供了一種使用基於分數的模型解決逆問題的新方法，如在類別條件生成、圖像修復和著色實驗中所證明的。結合多種架構改進，我們在CIFAR - 10上的無條件圖像生成中取得了破紀錄的性能，Inception分數為9.89，FID為2.20，競爭性似然為2.99比特/維度，並首次展示了基於分數的生成式模型對1024 x 1024圖像的高保真生成。

📄 許可證

本項目採用Apache - 2.0許可證。

🔍 示例樣本