Bloom 560m RLHF SD2 Prompter

🚀 BLOOM-560m RLHF SD2 Prompter

本項目使用基於人類反饋的強化學習（RLHF）對mrm8488/bloom - 560m - finetuned - sd - prompts進行進一步微調，以適配Stable Diffusion 2.0，能夠為其生成更優質的提示詞。

🚀 快速開始

本項目提供了一個Colab演示，你可以通過以下鏈接訪問：包含Stable Diffusion的Colab演示

📦 安裝指南

運行此模型需要安裝一些必要的庫，你可以使用以下命令進行安裝：

# 安裝運行模型所需的庫
!pip install transformers diffusers accelerate -qq

💻 使用示例

基礎用法

以下是一個使用該模型生成提示詞並生成圖像的示例代碼：

# 安裝運行模型所需的庫
!pip install transformers diffusers accelerate -qq

# 導入庫
from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler
from transformers import pipeline
import torch

# 這是transformer微調後為其生成提示詞的模型
model_id = "stabilityai/stable-diffusion-2-base"

# 在此使用Euler調度器
scheduler = EulerDiscreteScheduler.from_pretrained(model_id, subfolder="scheduler")
pipe = StableDiffusionPipeline.from_pretrained(model_id, scheduler=scheduler, revision="fp16", torch_dtype=torch.float16)
pipe = pipe.to("cuda")

# 加載transformer模型
prompt_pipe = pipeline("text-generation", model="crumb/bloom-560m-RLHF-SD2-prompter")
prompt = "cool landscape"

# 自動完成提示詞
prompt = "<s>Prompt: " + prompt + ","
extended_prompt = prompt_pipe(prompt, do_sample=True, max_length=42)[0]['generated_text']
extended_prompt = extended_prompt[10:]
print("Prompt is now: ", extended_prompt)

# 生成圖像
image = pipe(extended_prompt).images[0]  

image.save("output.png")
image

示例效果

• 輸入提示詞：cool landscape

  • 生成的提示詞：cool landscape, concept art
  • 生成的圖像：

• 輸入提示詞：cool landscape

  • 生成的提示詞：cool landscape, concept art, sharp focus, digital painting
  • 生成的圖像：

• 僅輸入Prompt:生成的提示詞及圖像：

  • 生成的提示詞：<s>Prompt: 1 0 th century, highly detailed, concept art, cinematic lighting, unreal engine, trending on artstation, artstation hd, artstation hq, very very detailed
  • 生成的圖像：

🔧 技術細節

在微調過程中，使用了以下參數：

batch_size = 16
learning_rate = 0.001 # 這就是為什麼我不需要花費很長時間進行訓練

僅對偏差和層歸一化權重進行了訓練。該項目已經過多次迭代，目前仍有進一步的優化空間，例如使用美學預測模型進行自動化訓練、收集更多關於提示詞評分的數據以及進行更全面的訓練等。

📄 許可證

本項目使用的許可證為：bigscience - bloom - rail - 1.0

捐贈支持

如果你希望支持作者在更專業的硬件上繼續進行此類項目，可以通過以下鏈接進行捐贈：捐贈鏈接