Magicbrush Jul7

🚀 InstructPix2Pix-MagicBrushのDiffuser版

このプロジェクトは、https://huggingface.co/osunlp/InstructPix2Pix-MagicBrush のDiffuser版です。具体的には、MagicBrush-epoch-52-step-4999.ckpt のDiffuserバージョンを提供しています。

🚀 クイックスタート

以下のコードを使って、このモデルを簡単に試すことができます。

基本的な使用法

from PIL import Image, ImageOps
import requests
import torch
from diffusers import StableDiffusionInstructPix2PixPipeline, EulerAncestralDiscreteScheduler
from PIL import Image

url = "https://huggingface.co/datasets/diffusers/diffusers-images-docs/resolve/main/mountain.png"

def download_image(url):
    image = Image.open(requests.get(url, stream=True).raw)
    image = ImageOps.exif_transpose(image)
    image = image.convert("RGB")
    return image

image = download_image(url)
prompt = "make the mountains snowy"

class MagicBrush():
    def __init__(self, weight="vinesmsuic/magicbrush-jul7"):
        self.pipe = StableDiffusionInstructPix2PixPipeline.from_pretrained(
                        weight, 
                        torch_dtype=torch.float16
                    ).to("cuda")
        self.pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(self.pipe.scheduler.config)
        
    def infer_one_image(self, src_image, instruct_prompt, seed):
        generator = torch.manual_seed(seed)
        image = self.pipe(instruct_prompt, image=src_image, num_inference_steps=20, image_guidance_scale=1.5, guidance_scale=7, generator=generator).images[0]
        return image

model = MagicBrush()
image_output = model.infer_one_image(image, prompt, 42)
image_output

出力例

📄 ライセンス

このモデルはオープンアクセスで、すべての人が利用できます。CreativeML OpenRAIL-Mライセンスによって、さらに権利と使用方法が規定されています。

CreativeML OpenRAILライセンスでは以下のことが規定されています：

1. このモデルを使って、意図的に違法または有害な出力やコンテンツを作成したり共有したりすることはできません。
2. 作成した出力に対して、著者は何らの権利も主張しません。あなたは自由にそれらを使用できますが、その使用はライセンスに定められた規定に違反してはなりません。
3. モデルの重みを再配布したり、商用利用やサービスとして利用することができます。その際には、ライセンスに記載されている同じ使用制限を含め、CreativeML OpenRAIL-Mのコピーをすべてのユーザーに共有する必要があります（ライセンス全体を注意深く読んでください）。

ライセンス全文はこちらをご覧ください