Catvton Flux Alpha

🚀 CATVTON - Flux模型卡

CATVTON - Flux是一种先进的虚拟试穿解决方案，它将CATVTON（对比外观和拓扑虚拟试穿）与Flux填充修复模型相结合，以实现逼真且准确的服装转移。

🚀 快速开始

要开始使用该模型，可通过以下代码示例进行操作：

transformer = FluxTransformer2DModel.from_pretrained(
    "xiaozaa/catvton-flux-alpha", 
    torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    transformer=transformer,
    torch_dtype=torch.bfloat16
).to("cuda")

✨ 主要特性

• 结合CATVTON与Flux填充修复模型，实现逼真准确的服装转移。
• 在VITON - HD数据集上取得了SOTA性能，FID值达到5.593255043029785。

📚 详细文档

更新信息

最新成果（2024/11/24）： CatVton - Flux - Alpha在VITON - HD数据集上以FID值5.593255043029785达到了SOTA性能。测试配置：缩放比例30，步数30。我的VITON - HD测试推理结果可点击此处查看

模型详情

模型描述

• 开发者：X/Twitter:Black Magic An

模型来源

• 仓库地址：github

用途

该模型专为虚拟试穿应用而设计，允许用户直观展示不同服装穿在人身上的效果。可以通过命令行界面直接使用，所需参数如下：

• 输入人物图像
• 人物遮罩
• 服装图像
• 随机种子（可选）

训练详情

训练数据

VITON - HD数据集

训练过程

对Flux1 - dev - fill进行微调

评估

评估指标

FID：5.593255043029785（SOTA）

评估结果

[更多信息待补充]

引用信息

@misc{chong2024catvtonconcatenationneedvirtual,
 title={CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models}, 
 author={Zheng Chong and Xiao Dong and Haoxiang Li and Shiyue Zhang and Wenqing Zhang and Xujie Zhang and Hanqing Zhao and Xiaodan Liang},
 year={2024},
 eprint={2407.15886},
 archivePrefix={arXiv},
 primaryClass={cs.CV},
 url={https://arxiv.org/abs/2407.15886}, 
}
@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

信息表格