Ncsnpp Ffhq 1024

🚀 基於隨機微分方程（SDE）的分數生成式建模

本項目通過隨機微分方程（SDE）實現分數生成式建模，能夠將複雜的數據分佈平滑轉換為已知的先驗分佈，再通過反向過程將先驗分佈轉換回數據分佈，從而實現數據生成。該框架涵蓋了先前基於分數的生成式建模和擴散概率建模方法，具有新的採樣程序和建模能力。

🚀 快速開始

推理

SDE 模型可以使用 連續 噪聲調度器進行推理，例如：

• scheduling_sde_ve

以下是示例代碼：

# !pip install diffusers
from diffusers import DiffusionPipeline

model_id = "google/ncsnpp-ffhq-1024"

# 加載模型和調度器
sde_ve = DiffusionPipeline.from_pretrained(model_id)

# 在推理中運行管道（採樣隨機噪聲並去噪）
image = sde_ve()["sample"]

# 保存圖像
image[0].save("sde_ve_generated_image.png")

如需瞭解如何編寫自己的去噪循環的更多詳細信息，請查看 pipeline_score_sde_ve。 如需瞭解一般如何使用 diffusers 進行推理的更多信息，請查看 官方推理示例。

💻 使用示例

基礎用法

# !pip install diffusers
from diffusers import DiffusionPipeline

model_id = "google/ncsnpp-ffhq-1024"

# 加載模型和調度器
sde_ve = DiffusionPipeline.from_pretrained(model_id)

# 在推理中運行管道（採樣隨機噪聲並去噪）
image = sde_ve()["sample"]

# 保存圖像
image[0].save("sde_ve_generated_image.png")

📚 詳細文檔

論文信息

• 論文：Score-Based Generative Modeling through Stochastic Differential Equations
• 作者：Yang Song, Jascha Sohl-Dickstein, Diederik P. Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole

摘要

從數據中創建噪聲很容易；從噪聲中創建數據就是生成式建模。我們提出了一種隨機微分方程（SDE），它通過緩慢注入噪聲將複雜的數據分佈平滑地轉換為已知的先驗分佈，以及相應的反向時間 SDE，它通過緩慢去除噪聲將先驗分佈轉換回數據分佈。關鍵的是，反向時間 SDE 僅依賴於受擾動數據分佈的時間相關梯度場（即分數）。通過利用基於分數的生成式建模的進展，我們可以用神經網絡準確估計這些分數，並使用數值 SDE 求解器生成樣本。我們表明，這個框架涵蓋了基於分數的生成式建模和擴散概率建模中的先前方法，允許新的採樣程序和新的建模能力。特別是，我們引入了一個預測 - 校正框架來校正離散化反向時間 SDE 演化中的誤差。我們還推導了一個等效的神經常微分方程（ODE），它從與 SDE 相同的分佈中採樣，但還能實現精確的似然計算和提高採樣效率。此外，我們提供了一種用基於分數的模型解決逆問題的新方法，如在類別條件生成、圖像修復和著色實驗中所示。結合多種架構改進，我們在 CIFAR - 10 上的無條件圖像生成中取得了破紀錄的性能，Inception 分數為 9.89，FID 為 2.20，具有競爭力的似然為 2.99 比特/維度，並首次展示了從基於分數的生成式模型中高保真生成 1024 x 1024 圖像。

📄 許可證

本項目採用 Apache - 2.0 許可證。

🔍 示例樣本