🚀 SDXL版GLIGEN適配器項目
本項目旨在藉助Hugging Face風格的管道,支持SDXL版本的GLIGEN適配器。該項目是創建InteractDiffusion XL工作的一部分。更多詳細信息請訪問Github倉庫。
📦 安裝信息
屬性 |
詳情 |
數據集 |
jiuntian/sa1b-sdxl-latents-1024、jiuntian/sa-1b_boxes_sdxl |
基礎模型 |
stabilityai/stable-diffusion-xl-base-1.0 |
管道標籤 |
text-to-image |
庫名稱 |
diffusers |
許可證 |
apache-2.0 |
✨ 主要特性
IGLIGEN在Diffusers框架上覆現了GLIGEN,並使訓練過程更易於復現。他們已經發布了適用於SD v1.4/v1.5、SD v2.0/v2.1的代碼和預訓練權重,但對SDXL的支持仍備受期待。本倉庫開源了適用於SDXL的GLIGEN適配器的預訓練權重,以及Diffusers管道和訓練代碼。我們感謝GLIGEN和IGLIGEN的作者們所做的工作。
💻 使用示例
基礎用法
import torch
from diffusers import DiffusionPipeline
pipeline = DiffusionPipeline.from_pretrained(
"jiuntian/gligen-xl-1024", trust_remote_code=True, torch_dtype=torch.float16
).to("cuda")
prompt = "An image of grassland with a dog."
output_images = pipeline(
prompt,
num_inference_steps=50,
height=1024, width=1024,
gligen_scheduled_sampling_beta=0.4,
gligen_boxes=[[0.1, 0.6, 0.3, 0.8]],
gligen_phrases=["a dog"],
num_images_per_prompt=1,
output_type="pt"
).images
📚 詳細文檔
本倉庫(IGLIGEN - XL)的作者與GLIGEN和IGLIGEN的作者沒有關聯。由於IGLIGEN - XL基於GLIGEN和IGLIGEN,如果你使用IGLIGEN - XL的代碼或適配器,請考慮引用原始的GLIGEN和IGLIGEN論文:
@article{li2023gligen,
title={GLIGEN: Open-Set Grounded Text-to-Image Generation},
author={Li, Yuheng and Liu, Haotian and Wu, Qingyang and Mu, Fangzhou and Yang, Jianwei and Gao, Jianfeng and Li, Chunyuan and Lee, Yong Jae},
journal={CVPR},
year={2023}
}
@article{lian2023llmgrounded,
title={Llm-grounded diffusion: Enhancing prompt understanding of text-to-image diffusion models with large language models},
author={Lian, Long and Li, Boyi and Yala, Adam and Darrell, Trevor},
journal={arXiv preprint arXiv:2305.13655},
year={2023}
}
該項目是創建InteractDiffusion XL工作的一部分。
如果你使用IGLIGEN - XL的代碼/訓練權重,請考慮引用InteractDiffusion:
@inproceedings{hoe2023interactdiffusion,
title={InteractDiffusion: Interaction Control in Text-to-Image Diffusion Models},
author={Jiun Tian Hoe and Xudong Jiang and Chee Seng Chan and Yap-Peng Tan and Weipeng Hu},
year={2024},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
}