Bloom 560m RLHF SD2 Prompter

🚀 BLOOM-560m RLHF SD2 Prompter

本项目使用基于人类反馈的强化学习（RLHF）对mrm8488/bloom - 560m - finetuned - sd - prompts进行进一步微调，以适配Stable Diffusion 2.0，能够为其生成更优质的提示词。

🚀 快速开始

本项目提供了一个Colab演示，你可以通过以下链接访问：包含Stable Diffusion的Colab演示

📦 安装指南

运行此模型需要安装一些必要的库，你可以使用以下命令进行安装：

# 安装运行模型所需的库
!pip install transformers diffusers accelerate -qq

💻 使用示例

基础用法

以下是一个使用该模型生成提示词并生成图像的示例代码：

# 安装运行模型所需的库
!pip install transformers diffusers accelerate -qq

# 导入库
from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler
from transformers import pipeline
import torch

# 这是transformer微调后为其生成提示词的模型
model_id = "stabilityai/stable-diffusion-2-base"

# 在此使用Euler调度器
scheduler = EulerDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, revision="fp16", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

# 加载transformer模型
prompt_pipe = pipeline("text-generation", model="crumb/bloom-560m-RLHF-SD2-prompter")
prompt = "cool landscape"

# 自动完成提示词
prompt = "<s>Prompt: " + prompt + ","
extended_prompt = prompt_pipe(prompt, do_sample=True, max_length=42)[0]['generated_text']
extended_prompt = extended_prompt[10:]
print("Prompt is now: ", extended_prompt)

# 生成图像
image = pipe(extended_prompt).images[0]  

image.save("output.png")
image

示例效果

• 输入提示词：cool landscape

  • 生成的提示词：cool landscape, concept art
  • 生成的图像：

• 输入提示词：cool landscape

  • 生成的提示词：cool landscape, concept art, sharp focus, digital painting
  • 生成的图像：

• 仅输入Prompt:生成的提示词及图像：

  • 生成的提示词：<s>Prompt: 1 0 th century, highly detailed, concept art, cinematic lighting, unreal engine, trending on artstation, artstation hd, artstation hq, very very detailed
  • 生成的图像：

🔧 技术细节

在微调过程中，使用了以下参数：

batch_size = 16
learning_rate = 0.001 # 这就是为什么我不需要花费很长时间进行训练

仅对偏差和层归一化权重进行了训练。该项目已经过多次迭代，目前仍有进一步的优化空间，例如使用美学预测模型进行自动化训练、收集更多关于提示词评分的数据以及进行更全面的训练等。

📄 许可证

本项目使用的许可证为：bigscience - bloom - rail - 1.0

捐赠支持

如果你希望支持作者在更专业的硬件上继续进行此类项目，可以通过以下链接进行捐赠：捐赠链接