Hubble Diffusion 2

🚀 哈勃扩散 v2：基于欧空局哈勃深空图像与说明微调的稳定扩散 v2.1 模型

本模型可以根据详细的文本提示，生成高质量的哈勃深空图像！现已支持稳定扩散 2.1 版本！

🚀 快速开始

我们推荐使用 🤗 的 Diffusers 库 来运行哈勃扩散模型。

512x512 图像生成

pip install transformers diffusers accelerate

import torch
from diffusers import StableDiffusionPipeline

model_id = "Supermaxman/hubble-diffusion-2"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
# 节省 GPU 内存，推理成本较低
pipe.enable_attention_slicing()

prompt = "哈勃捕捉到星团中恒星诞生地的图像：由于新生恒星的强大影响，星团内的尘埃和气体得以扩散。这些新图像为天文学家提供了更清晰的细节，有助于他们研究早期恒星的诞生和演化过程。"
image = pipe(prompt).images[0]
image

2560x1536 多扩散图像生成

pip install transformers diffusers accelerate xformers

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

model_id = 'Supermaxman/hubble-diffusion-2'
scheduler = DDIMScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_id, scheduler=scheduler, torch_dtype=torch.float16
)
# 显著节省 GPU 内存，推理速度可能更快
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = "一场缓慢而致命的舞蹈：大多数太阳系只有一颗恒星，而双星系统则极为罕见，其中两颗恒星相互紧密环绕。在这张新图像中，哈勃捕捉到了一个极其罕见的三星系统，三颗恒星以一种大胆而危险的方式相互环绕。"
image = pipe(prompt).images[0]
image

✨ 主要特性

• 基于文本提示生成和修改图像。
• 支持 512x512 和 2560x1536 两种图像尺寸生成。
• 在欧空局哈勃深空图像与说明数据集上进行微调，生成的图像具有较高的质量和细节。

📦 安装指南

512x512 图像生成

pip install transformers diffusers accelerate

2560x1536 多扩散图像生成

pip install transformers diffusers accelerate xformers

💻 使用示例

基础用法

512x512 图像生成

import torch
from diffusers import StableDiffusionPipeline

model_id = "Supermaxman/hubble-diffusion-2"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")
# 节省 GPU 内存，推理成本较低
pipe.enable_attention_slicing()

prompt = "哈勃捕捉到星团中恒星诞生地的图像：由于新生恒星的强大影响，星团内的尘埃和气体得以扩散。这些新图像为天文学家提供了更清晰的细节，有助于他们研究早期恒星的诞生和演化过程。"
image = pipe(prompt).images[0]
image

2560x1536 多扩散图像生成

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

model_id = 'Supermaxman/hubble-diffusion-2'
scheduler = DDIMScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_id, scheduler=scheduler, torch_dtype=torch.float16
)
# 显著节省 GPU 内存，推理速度可能更快
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = "一场缓慢而致命的舞蹈：大多数太阳系只有一颗恒星，而双星系统则极为罕见，其中两颗恒星相互紧密环绕。在这张新图像中，哈勃捕捉到了一个极其罕见的三星系统，三颗恒星以一种大胆而危险的方式相互环绕。"
image = pipe(prompt).images[0]
image

📚 详细文档

512x512 扩散示例

使用 StableDiffusionPipeline 在具有 15GB VRAM 的普通 Google Colab GPU 上生成。图像以 3x3 网格排列，batch_size 为 9。具体细节和代码请参考 使用说明 部分。以下每个 3x3 示例的生成时间略超过一分钟：

哈勃捕捉到恒星的死亡：年老的恒星在生命末期，会在自身引力的作用下坍缩，外层则会以“超新星”的形式爆发。在这张图像中，哈勃捕捉到了坍缩后的瞬间，恒星爆发后留下了一个空洞，一个新的黑洞就此诞生。

大麦哲伦星云中的粉色羽状物：这张图像中出现的鲜艳粉色羽状物极为罕见，紫色的气流和星云状的细丝向周围空间延伸。

哈勃捕捉到星团中恒星诞生地的图像：由于新生恒星的强大影响，星团内的尘埃和气体得以扩散。这些新图像为天文学家提供了更清晰的细节，有助于他们研究早期恒星的诞生和演化过程。

哈勃拍摄到星系碰撞的图像：美国国家航空航天局/欧洲航天局哈勃太空望远镜的一张新图像捕捉到了两个遥远星系碰撞时扭曲的螺旋结构。由于引力的作用，两个星系的形状被撕裂，通常在螺旋星系中常见的对称螺旋结构明显变形。

沃尔夫 359 恒星的等离子体：美国国家航空航天局/欧洲航天局哈勃太空望远镜的一张新图像极其详细地捕捉到了狮子座红矮星沃尔夫 359。沃尔夫 359 被归类为 M6 红矮星，其不寻常的等离子体喷射表明它具有某些特殊性质。哈勃望远镜捕捉到了这样一个事件。

更多示例请参考 GitHub 仓库。

2560x1536 多扩散示例

没错，你没听错！借助 MultiDiffusion 的 StableDiffusionPanoramaPipeline 和 xformers 的 enable_xformers_memory_efficient_attention，你实际上可以在具有 15GB VRAM 的普通 Google Colab GPU 上生成 1440p 图像！具体细节和代码请参考 使用说明 部分。以下每个示例的生成时间略超过一小时，但绝对值得：

大麦哲伦星云中的水蓝色羽状物：这张图像中出现的深海水蓝色羽状物极为罕见，紫色的气流和星云状的细丝向周围空间延伸。

太空中的恒星：图像中的星团位于一个巨大发射星云的边缘，该星云延伸至浩瀚的太空。星云的一部分被最年轻（最蓝）的大质量恒星电离，在该区域周围的气体云中形成了一个类似气泡的形状。

哈勃拍摄到星系碰撞的图像：美国国家航空航天局/欧洲航天局哈勃太空望远镜的一张新图像捕捉到了两个遥远星系碰撞时扭曲的螺旋结构。由于引力的作用，两个星系的形状被撕裂，通常在螺旋星系中常见的对称螺旋结构明显变形。

哈勃观测到神秘爆发恒星的光波：这张由哈勃太空望远镜高级巡天相机捕捉到的图像，展示了光如何在喷射出的气体波上传播，这些气体正从恒星向太空扩散。

哈勃拍摄到彩色环状星云的图像：美国国家航空航天局/欧洲航天局哈勃太空望远镜拍摄到了一个新的、色彩鲜艳的环状星云。星云看起来像一个椭圆形，边界向周围的夜空扩散。

沃尔夫 359 恒星的等离子体：美国国家航空航天局/欧洲航天局哈勃太空望远镜的一张新图像极其详细地捕捉到了狮子座红矮星沃尔夫 359。沃尔夫 359 被归类为 M6 红矮星，其不寻常的等离子体喷射表明它具有某些特殊性质。哈勃望远镜捕捉到了这样一个事件。

一场缓慢而致命的舞蹈：大多数太阳系只有一颗恒星，而双星系统则极为罕见，其中两颗恒星相互紧密环绕。在这张新图像中，哈勃捕捉到了一个极其罕见的三星系统，三颗恒星以一种大胆而危险的方式相互环绕。

模型详情

模型训练

该模型在 欧空局哈勃深空图像与说明 数据集上进行训练，使用 Google Colab Pro 上的单个 A100 GPU 进行了约 33,000 步（约 12 小时，成本约 20 美元）的训练。更多细节请参考 GitHub 仓库。

相关链接

• 带说明的哈勃深空扫描数据集
• Diffusers 格式的模型权重
• 训练代码
• 哈勃扩散 v1

本模型由 Maxwell Weinzierl (@Supermaxman1) 训练。

引用方式

@misc{weinzierl2023sdhubble2,
  author = {Weinzierl, Maxwell A.},
  title = {Hubble Diffusion v2: Stable Diffusion v2.1 fine tuned on ESA Hubble Deep Space Images & Captions},
  year={2023},
  howpublished= {\url{https://huggingface.co/Supermaxman/hubble-diffusion-2}}
} 

另外，一定要查看之前的版本 哈勃扩散 v1！

📄 许可证

本模型使用 CreativeML Open RAIL++-M 许可证。