Omnigen V1

🚀 OmniGen：統一圖像生成

OmniGen是一個統一的圖像生成模型，可根據多模態提示生成各種圖像。它設計簡單、靈活且易用，能直接通過任意多模態指令生成圖像，無需額外插件和操作。

🚀 快速開始

使用OmniGen

通過Github安裝：

git clone https://github.com/staoxiao/OmniGen.git
cd OmniGen
pip install -e .

你也可以創建一個新環境以避免衝突：

# 創建一個Python 3.10.12的conda環境（你也可以使用virtualenv）
conda create -n omnigen python=3.10.12
conda activate omnigen

# 根據你的CUDA版本安裝pytorch，例如
pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118

git clone https://github.com/staoxiao/OmniGen.git
cd OmniGen
pip install -e .

以下是一些使用示例：

from OmniGen import OmniGenPipeline

pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1")  
# 注意：你的本地模型路徑也是可以的，例如 'pipe = OmniGenPipeline.from_pretrained(your_local_model_path)'，其中your_local_model_path中的所有文件應按照https://huggingface.co/Shitao/OmniGen-v1/tree/main的結構組織

## 文本到圖像
images = pipe(
    prompt="A curly-haired man in a red shirt is drinking tea.", 
    height=1024, 
    width=1024, 
    guidance_scale=2.5,
    seed=0,
)
images[0].save("example_t2i.png")  # 保存輸出的PIL圖像

## 多模態到圖像
# 在提示中，我們使用佔位符來表示圖像。圖像佔位符的格式應為 <img><|image_*|></img>
# 你可以在input_images中添加多個圖像。請確保每個圖像都有其佔位符。例如，對於列表input_images [img1_path, img2_path]，提示中需要有兩個佔位符：<img><|image_1|></img>，<img><|image_2|></img>。
images = pipe(
    prompt="A man in a black shirt is reading a book. The man is the right man in <img><|image_1|></img>.",
    input_images=["./imgs/test_cases/two_man.jpg"],
    height=1024, 
    width=1024,
    guidance_scale=2.5, 
    img_guidance_scale=1.6,
    seed=0
)
images[0].save("example_ti2i.png")  # 保存輸出的PIL圖像

• 如果內存不足，你可以設置 offload_model=True。如果輸入多個圖像時推理時間過長，你可以減小 max_input_image_size。有關所需資源和高效運行OmniGen的方法，請參考 docs/inference.md#requiremented-resources。
• 有關更多圖像生成示例，請參考 inference.ipynb 和 inference_demo.ipynb。
• 有關推理參數的更多詳細信息，請參考 docs/inference.md。

使用Diffusers

即將推出。

Gradio演示

我們在 Huggingface 上構建了一個在線演示。

對於本地Gradio演示，你需要安裝 pip install gradio spaces，然後可以運行：

pip install gradio spaces
python app.py

使用Google Colab

要在Google Colab中使用，請使用以下命令：

!git clone https://github.com/staoxiao/OmniGen.git
%cd OmniGen
!pip install -e .
!pip install gradio spaces
!python app.py --share

✨ 主要特性

• 統一生成：能夠根據多模態提示生成各種圖像，涵蓋文本到圖像、主題驅動生成、身份保留生成、圖像編輯和圖像條件生成等多種任務。
• 無需額外插件：可自動根據文本提示識別輸入圖像中的特徵，無需額外的插件或操作。
• 靈活可控：用戶可以通過調整參數靈活控制圖像生成過程。
• 易於微調：提供訓練腳本，方便用戶根據自己的需求對模型進行微調。

📦 安裝指南

通過Github安裝

git clone https://github.com/staoxiao/OmniGen.git
cd OmniGen
pip install -e .

創建新環境安裝

# 創建一個Python 3.10.12的conda環境（你也可以使用virtualenv）
conda create -n omnigen python=3.10.12
conda activate omnigen

# 根據你的CUDA版本安裝pytorch，例如
pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118

git clone https://github.com/staoxiao/OmniGen.git
cd OmniGen
pip install -e .

💻 使用示例

基礎用法

from OmniGen import OmniGenPipeline

pipe = OmniGenPipeline.from_pretrained("Shitao/OmniGen-v1")  

## 文本到圖像
images = pipe(
    prompt="A curly-haired man in a red shirt is drinking tea.", 
    height=1024, 
    width=1024, 
    guidance_scale=2.5,
    seed=0,
)
images[0].save("example_t2i.png")  # 保存輸出的PIL圖像

高級用法

## 多模態到圖像
# 在提示中，我們使用佔位符來表示圖像。圖像佔位符的格式應為 <img><|image_*|></img>
# 你可以在input_images中添加多個圖像。請確保每個圖像都有其佔位符。例如，對於列表input_images [img1_path, img2_path]，提示中需要有兩個佔位符：<img><|image_1|></img>，<img><|image_2|></img>。
images = pipe(
    prompt="A man in a black shirt is reading a book. The man is the right man in <img><|image_1|></img>.",
    input_images=["./imgs/test_cases/two_man.jpg"],
    height=1024, 
    width=1024,
    guidance_scale=2.5, 
    img_guidance_scale=1.6,
    seed=0
)
images[0].save("example_ti2i.png")  # 保存輸出的PIL圖像

📚 詳細文檔

推理代碼

• 2024-10-28：我們發佈了新版本的推理代碼，優化了內存使用和時間成本。你可以參考 docs/inference.md 瞭解詳細信息。

模型功能

OmniGen是一個統一的圖像生成模型，可用於執行各種任務，包括但不限於文本到圖像生成、主題驅動生成、身份保留生成、圖像編輯和圖像條件生成。我們在 inference.ipynb 中展示了一些示例，並在 inference_demo.ipynb 中展示了一個有趣的圖像生成和修改流程。

微調

我們提供了一個訓練腳本 train.py 來對OmniGen進行微調。以下是一個LoRA微調的示例：

accelerate launch --num_processes=1 train.py \
    --model_name_or_path Shitao/OmniGen-v1 \
    --batch_size_per_device 2 \
    --condition_dropout_prob 0.01 \
    --lr 1e-3 \
    --use_lora \
    --lora_rank 8 \
    --json_file ./toy_data/toy_subject_data.jsonl \
    --image_path ./toy_data/images \
    --max_input_length_limit 18000 \
    --keep_raw_resolution \
    --max_image_size 1024 \
    --gradient_accumulation_steps 1 \
    --ckpt_every 10 \
    --epochs 200 \
    --log_every 1 \
    --results_dir ./results/toy_finetune_lora

請參考 docs/fine-tuning.md 瞭解更多詳細信息（例如全量微調）。

🔧 技術細節

你可以在我們的 論文 中查看詳細信息。

📄 許可證

本倉庫遵循 MIT許可證。

引用

如果你發現這個倉庫有用，請考慮給它一個星 ⭐ 並引用：

@article{xiao2024omnigen,
  title={Omnigen: Unified image generation},
  author={Xiao, Shitao and Wang, Yueze and Zhou, Junjie and Yuan, Huaying and Xing, Xingrun and Yan, Ruiran and Wang, Shuting and Huang, Tiejun and Liu, Zheng},
  journal={arXiv preprint arXiv:2409.11340},
  year={2024}
}

貢獻者

感謝所有貢獻者的努力，熱烈歡迎新成員加入！

更多信息請參考我們的倉庫：https://github.com/VectorSpaceLab/OmniGen

新聞 | 方法論 | 功能 | 快速開始 | 微調 | 許可證 | 引用