Omnigen V1 Bnb 8bit

🚀 OmniGen-v1 8位模型權重倉庫

本倉庫包含 OmniGen-v1 的bitsandbytes 8位模型權重。有關OmniGen的詳細信息，請參閱 原始模型卡片。

🚀 快速開始

在開始之前，請按照原始的 快速開始指南 設置好您的環境。

⚠️ 重要提示

注意：此功能尚未得到官方支持。您需要從 此拉取請求 安裝該倉庫。

✨ 主要特性

• 提供OmniGen-v1的8位模型權重。
• 同時提供不同精度的4位權重：
  • 4位 (bf16, nf4) 權重：gryan/OmniGen-v1-bnb-4bit
  • 4位 (fp16, nf4) 權重：gryan/OmniGen-v1-fp16-bnb-4bit，適用於較舊的GPU（< Ampere/RTX 30xx）或Colab用戶。

📦 安裝指南

由於此功能未得到官方支持，您需要從 此拉取請求 安裝該倉庫。

💻 使用示例

基礎用法

from OmniGen import OmniGenPipeline, OmniGen

# pass the quantized model in the pipeline
model = OmniGen.from_pretrained('gryan/OmniGen-v1-bnb-8bit')
pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1", model=model)

# proceed as normal!

## Text to Image
images = pipe(
    prompt="A curly-haired man in a red shirt is drinking tea.", 
    height=1024, 
    width=1024, 
    guidance_scale=2.5,
    seed=0,
)
images[0].save("example_t2i.png")  # save output PIL Image

## Multi-modal to Image
# In the prompt, we use the placeholder to represent the image. The image placeholder should be in the format of <img><|image_*|></img>
# You can add multiple images in the input_images. Please ensure that each image has its placeholder. For example, for the list input_images [img1_path, img2_path], the prompt needs to have two placeholders: <img><|image_1|></img>, <img><|image_2|></img>.
images = pipe(
    prompt="A man in a black shirt is reading a book. The man is the right man in <img><|image_1|></img>.",
    input_images=["./imgs/test_cases/two_man.jpg"],
    height=1024, 
    width=1024,
    guidance_scale=2.5, 
    img_guidance_scale=1.6,
    seed=0
)
images[0].save("example_ti2i.png")  # save output PIL image

📚 詳細文檔

本倉庫主要提供OmniGen-v1的8位模型權重，詳細的模型信息和使用說明請參考 原始模型卡片。

📄 許可證

本項目採用MIT許可證。

🖼️ 8位圖像示例