🚀 CAT-Tryoff-Flux模型卡
CAT-Tryoff-Flux是一款先进的试穿模型。它采用了与CATVTON - FLUX相同的方法。该模型能够从人物穿着衣物的图像中提取并重构衣物的前视图。
🚀 快速开始
transformer = FluxTransformer2DModel.from_pretrained(
"xiaozaa/cat-tryoff-flux",
torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
"black-forest-labs/FLUX.1-dev",
transformer=transformer,
torch_dtype=torch.bfloat16
).to("cuda")
✨ 主要特性
- 可用于虚拟试穿应用,让用户直观看到不同服装穿在人身上的效果。
- 能从人物穿着衣物的图像中提取并重构衣物前视图。
📦 安装指南
本模型可通过命令行界面直接使用,所需参数如下:
- 输入人物图像
- 人物掩码
- 服装图像
- 随机种子(可选)
💻 使用示例
基础用法
transformer = FluxTransformer2DModel.from_pretrained(
"xiaozaa/cat-tryoff-flux",
torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
"black-forest-labs/FLUX.1-dev",
transformer=transformer,
torch_dtype=torch.bfloat16
).to("cuda")
📚 详细文档
模型详情
模型描述
模型来源
训练详情
训练数据
VITON - HD数据集
训练过程
对Flux1 - dev - fill进行微调
评估
总结
BibTeX引用:
@misc{chong2024catvtonconcatenationneedvirtual,
title={CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models},
author={Zheng Chong and Xiao Dong and Haoxiang Li and Shiyue Zhang and Wenqing Zhang and Xujie Zhang and Hanqing Zhao and Xiaodan Liang},
year={2024},
eprint={2407.15886},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2407.15886},
}
@article{lhhuang2024iclora,
title={In-Context LoRA for Diffusion Transformers},
author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
journal={arXiv preprint arxiv:2410.23775},
year={2024}
}
📄 许可证
本模型使用的许可证为cc - by - nc - 2.0。
📦 模型信息
属性 |
详情 |
模型类型 |
CAT-Tryoff-Flux |
基础模型 |
black-forest-labs/FLUX.1-Fill-dev |
管道标签 |
image-to-image |
标签 |
tryon、vto |