Magicbrush Jul7

🚀 魔法畫筆（MagicBrush）擴散器版本

這是 https://huggingface.co/osunlp/InstructPix2Pix-MagicBrush 的擴散器（diffuser）版本，具體為 MagicBrush-epoch-52-step-4999.ckpt 的擴散器實現。它能夠基於文本指令對圖像進行修改，例如將圖像中的山脈變成有雪的樣子。

🚀 快速開始

代碼示例

以下是使用該模型的代碼示例：

from PIL import Image, ImageOps
import requests
import torch
from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler
from PIL import Image

url = "https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/mountain.png"

def download_image(url):
    image = Image.open(requests.get(url, stream=True).raw)
    image = ImageOps.exif_transpose(image)
    image = image.convert("RGB")
    return image

image = download_image(url)
prompt = "make the mountains snowy"

class MagicBrush():
    def __init__(self, weight="vinesmsuic/magicbrush-jul7"):
        self.pipe = StableDiffusionInstructPix2PixPipeline.from_pretrained(
                        weight, 
                        torch_dtype=torch.float16
                    ).to("cuda")
        self.pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(self.pipe.scheduler.config)
        
    def infer_one_image(self, src_image, instruct_prompt, seed):
        generator = torch.manual_seed(seed)
        image = self.pipe(instruct_prompt, image=src_image, num_inference_steps=20, image_guidance_scale=1.5, guidance_scale=7, generator=generator).images[0]
        return image

model = MagicBrush()
image_output = model.infer_one_image(image, prompt, 42)
image_output

示例結果

📄 許可證

此模型為開放訪問，所有人均可使用，採用 CreativeML OpenRAIL - M 許可證進一步明確了權利和使用規定。CreativeML OpenRAIL 許可證規定如下：

1. 不得使用該模型故意生成或分享非法或有害的輸出或內容。
2. 作者對您生成的輸出不主張任何權利，您可以自由使用這些輸出，但需對其使用負責，且使用不得違反許可證中的規定。
3. 您可以重新分發模型權重，並將該模型用於商業用途和/或作為服務使用。如果您這樣做，請務必包含與許可證中相同的使用限制，並向所有用戶提供 CreativeML OpenRAIL - M 許可證的副本（請完整且仔細地閱讀許可證）。 請在此閱讀完整許可證