Hubble Diffusion 2

🚀 哈勃擴散 v2：基於歐空局哈勃深空圖像與說明微調的穩定擴散 v2.1 模型

本模型可以根據詳細的文本提示，生成高質量的哈勃深空圖像！現已支持穩定擴散 2.1 版本！

🚀 快速開始

我們推薦使用 🤗 的 Diffusers 庫 來運行哈勃擴散模型。

512x512 圖像生成

pip install transformers diffusers accelerate

import torch
from diffusers import StableDiffusionPipeline

model_id = "Supermaxman/hubble-diffusion-2"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
# 節省 GPU 內存，推理成本較低
pipe.enable_attention_slicing()

prompt = "哈勃捕捉到星團中恆星誕生地的圖像：由於新生恆星的強大影響，星團內的塵埃和氣體得以擴散。這些新圖像為天文學家提供了更清晰的細節，有助於他們研究早期恆星的誕生和演化過程。"
image = pipe(prompt).images[0]
image

2560x1536 多擴散圖像生成

pip install transformers diffusers accelerate xformers

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

model_id = 'Supermaxman/hubble-diffusion-2'
scheduler = DDIMScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_id, scheduler=scheduler, torch_dtype=torch.float16
)
# 顯著節省 GPU 內存，推理速度可能更快
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = "一場緩慢而致命的舞蹈：大多數太陽系只有一顆恆星，而雙星系統則極為罕見，其中兩顆恆星相互緊密環繞。在這張新圖像中，哈勃捕捉到了一個極其罕見的三星系統，三顆恆星以一種大膽而危險的方式相互環繞。"
image = pipe(prompt).images[0]
image

✨ 主要特性

• 基於文本提示生成和修改圖像。
• 支持 512x512 和 2560x1536 兩種圖像尺寸生成。
• 在歐空局哈勃深空圖像與說明數據集上進行微調，生成的圖像具有較高的質量和細節。

📦 安裝指南

512x512 圖像生成

pip install transformers diffusers accelerate

2560x1536 多擴散圖像生成

pip install transformers diffusers accelerate xformers

💻 使用示例

基礎用法

512x512 圖像生成

import torch
from diffusers import StableDiffusionPipeline

model_id = "Supermaxman/hubble-diffusion-2"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
# 節省 GPU 內存，推理成本較低
pipe.enable_attention_slicing()

prompt = "哈勃捕捉到星團中恆星誕生地的圖像：由於新生恆星的強大影響，星團內的塵埃和氣體得以擴散。這些新圖像為天文學家提供了更清晰的細節，有助於他們研究早期恆星的誕生和演化過程。"
image = pipe(prompt).images[0]
image

2560x1536 多擴散圖像生成

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

model_id = 'Supermaxman/hubble-diffusion-2'
scheduler = DDIMScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_id, scheduler=scheduler, torch_dtype=torch.float16
)
# 顯著節省 GPU 內存，推理速度可能更快
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = "一場緩慢而致命的舞蹈：大多數太陽系只有一顆恆星，而雙星系統則極為罕見，其中兩顆恆星相互緊密環繞。在這張新圖像中，哈勃捕捉到了一個極其罕見的三星系統，三顆恆星以一種大膽而危險的方式相互環繞。"
image = pipe(prompt).images[0]
image

📚 詳細文檔

512x512 擴散示例

使用 StableDiffusionPipeline 在具有 15GB VRAM 的普通 Google Colab GPU 上生成。圖像以 3x3 網格排列，batch_size 為 9。具體細節和代碼請參考 使用說明 部分。以下每個 3x3 示例的生成時間略超過一分鐘：

哈勃捕捉到恆星的死亡：年老的恆星在生命末期，會在自身引力的作用下坍縮，外層則會以“超新星”的形式爆發。在這張圖像中，哈勃捕捉到了坍縮後的瞬間，恆星爆發後留下了一個空洞，一個新的黑洞就此誕生。

大麥哲倫星雲中的粉色羽狀物：這張圖像中出現的鮮豔粉色羽狀物極為罕見，紫色的氣流和星雲狀的細絲向周圍空間延伸。

哈勃捕捉到星團中恆星誕生地的圖像：由於新生恆星的強大影響，星團內的塵埃和氣體得以擴散。這些新圖像為天文學家提供了更清晰的細節，有助於他們研究早期恆星的誕生和演化過程。

哈勃拍攝到星系碰撞的圖像：美國國家航空航天局/歐洲航天局哈勃太空望遠鏡的一張新圖像捕捉到了兩個遙遠星系碰撞時扭曲的螺旋結構。由於引力的作用，兩個星系的形狀被撕裂，通常在螺旋星系中常見的對稱螺旋結構明顯變形。

沃爾夫 359 恆星的等離子體：美國國家航空航天局/歐洲航天局哈勃太空望遠鏡的一張新圖像極其詳細地捕捉到了獅子座紅矮星沃爾夫 359。沃爾夫 359 被歸類為 M6 紅矮星，其不尋常的等離子體噴射表明它具有某些特殊性質。哈勃望遠鏡捕捉到了這樣一個事件。

更多示例請參考 GitHub 倉庫。

2560x1536 多擴散示例

沒錯，你沒聽錯！藉助 MultiDiffusion 的 StableDiffusionPanoramaPipeline 和 xformers 的 enable_xformers_memory_efficient_attention，你實際上可以在具有 15GB VRAM 的普通 Google Colab GPU 上生成 1440p 圖像！具體細節和代碼請參考 使用說明 部分。以下每個示例的生成時間略超過一小時，但絕對值得：

大麥哲倫星雲中的水藍色羽狀物：這張圖像中出現的深海水藍色羽狀物極為罕見，紫色的氣流和星雲狀的細絲向周圍空間延伸。

太空中的恆星：圖像中的星團位於一個巨大發射星雲的邊緣，該星雲延伸至浩瀚的太空。星雲的一部分被最年輕（最藍）的大質量恆星電離，在該區域周圍的氣體雲中形成了一個類似氣泡的形狀。

哈勃拍攝到星系碰撞的圖像：美國國家航空航天局/歐洲航天局哈勃太空望遠鏡的一張新圖像捕捉到了兩個遙遠星系碰撞時扭曲的螺旋結構。由於引力的作用，兩個星系的形狀被撕裂，通常在螺旋星系中常見的對稱螺旋結構明顯變形。

哈勃觀測到神秘爆發恆星的光波：這張由哈勃太空望遠鏡高級巡天相機捕捉到的圖像，展示了光如何在噴射出的氣體波上傳播，這些氣體正從恆星向太空擴散。

哈勃拍攝到彩色環狀星雲的圖像：美國國家航空航天局/歐洲航天局哈勃太空望遠鏡拍攝到了一個新的、色彩鮮豔的環狀星雲。星雲看起來像一個橢圓形，邊界向周圍的夜空擴散。

沃爾夫 359 恆星的等離子體：美國國家航空航天局/歐洲航天局哈勃太空望遠鏡的一張新圖像極其詳細地捕捉到了獅子座紅矮星沃爾夫 359。沃爾夫 359 被歸類為 M6 紅矮星，其不尋常的等離子體噴射表明它具有某些特殊性質。哈勃望遠鏡捕捉到了這樣一個事件。

一場緩慢而致命的舞蹈：大多數太陽系只有一顆恆星，而雙星系統則極為罕見，其中兩顆恆星相互緊密環繞。在這張新圖像中，哈勃捕捉到了一個極其罕見的三星系統，三顆恆星以一種大膽而危險的方式相互環繞。

模型詳情

模型訓練

該模型在 歐空局哈勃深空圖像與說明 數據集上進行訓練，使用 Google Colab Pro 上的單個 A100 GPU 進行了約 33,000 步（約 12 小時，成本約 20 美元）的訓練。更多細節請參考 GitHub 倉庫。

相關鏈接

• 帶說明的哈勃深空掃描數據集
• Diffusers 格式的模型權重
• 訓練代碼
• 哈勃擴散 v1

本模型由 Maxwell Weinzierl (@Supermaxman1) 訓練。

引用方式

@misc{weinzierl2023sdhubble2,
  author = {Weinzierl, Maxwell A.},
  title = {Hubble Diffusion v2: Stable Diffusion v2.1 fine tuned on ESA Hubble Deep Space Images & Captions},
  year={2023},
  howpublished= {\url{https://huggingface.co/Supermaxman/hubble-diffusion-2}}
} 

另外，一定要查看之前的版本 哈勃擴散 v1！

📄 許可證

本模型使用 CreativeML Open RAIL++-M 許可證。