Omnigen V1 Fp16 Bnb 4bit

🚀 OmniGen-v1 4bit-NF4 float16モデル

このリポジトリには、OmniGen-v1のbitsandbytes 4bit-NF4 float16モデルの重みが含まれています。これらはGoogle Colabユーザーやbfloat16をサポートしないGPUを持つユーザー向けです。他の4ビットを探している方は、より高品質な画像を生成するため、bf16-bnb-4bitモデルを選択することをおすすめします。OmniGenに関する詳細は、元のモデルカードを参照してください。

🚀 クイックスタート

始める前に、元のクイックスタートガイドに従って環境をセットアップしてください。

⚠️ 重要提示

この機能はまだ公式にサポートされていません。あなたはこのプルリクエストからリポジトリをインストールする必要があります。

💻 使用例

基本的な使用法

from OmniGen import OmniGenPipeline, OmniGen

# pass the quantized model in the pipeline
model = OmniGen.from_pretrained('gryan/OmniGen-v1-fp16-bnb-4bit', dtype=torch.float16)
pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1", model=model)

# proceed as normal!

## テキストから画像へ
images = pipe(
    prompt="A curly-haired man in a red shirt is drinking tea.", 
    height=1024, 
    width=1024, 
    guidance_scale=2.5,
    seed=0,
)
images[0].save("example_t2i.png")  # save output PIL Image

## マルチモーダルから画像へ
# In the prompt, we use the placeholder to represent the image. The image placeholder should be in the format of <img><|image_*|></img>
# You can add multiple images in the input_images. Please ensure that each image has its placeholder. For example, for the list input_images [img1_path, img2_path], the prompt needs to have two placeholders: <img><|image_1|></img>, <img><|image_2|></img>.
images = pipe(
    prompt="A man in a black shirt is reading a book. The man is the right man in <img><|image_1|></img>.",
    input_images=["./imgs/test_cases/two_man.jpg"],
    height=1024, 
    width=1024,
    guidance_scale=2.5, 
    img_guidance_scale=1.6,
    seed=0
)
images[0].save("example_ti2i.png")  # save output PIL image

🖼️ 画像サンプル

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📦 関連リンク