Catvton Flux Beta

🚀 CATVTON-Flux模型卡片

CATVTON-Flux是一種先進的虛擬試穿解決方案，它將CATVTON（對比外觀和拓撲虛擬試穿）與Flux填充修復模型相結合，實現逼真且準確的服裝轉移。

🚀 快速開始

要開始使用該模型，可通過以下代碼：

transformer = FluxTransformer2DModel.from_pretrained(
    "xiaozaa/catvton-flux-beta", 
    torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    transformer=transformer,
    torch_dtype=torch.bfloat16
).to("cuda")

✨ 主要特性

該模型專為虛擬試穿應用而設計，允許用戶直觀地看到不同服裝穿在人身上的效果。

📦 安裝指南

暫未提及具體安裝步驟，可參考代碼示例部分進行模型加載。

💻 使用示例

基礎用法

transformer = FluxTransformer2DModel.from_pretrained(
    "xiaozaa/catvton-flux-beta", 
    torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    transformer=transformer,
    torch_dtype=torch.bfloat16
).to("cuda")

📚 詳細文檔

模型詳情

模型描述

• 開發者：X/Twitter:Black Magic An

模型來源

• 倉庫地址：github

使用場景

該模型可用於虛擬試穿應用，可通過命令行界面直接使用，所需參數如下：

• 輸入人物圖像
• 人物遮罩
• 服裝圖像
• 隨機種子（可選）

訓練詳情

訓練數據

dresscode數據集

訓練過程

對Flux1-dev-fill進行微調

評估

結果

[需要更多信息]

總結

BibTeX引用：

@misc{chong2024catvtonconcatenationneedvirtual,
 title={CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models}, 
 author={Zheng Chong and Xiao Dong and Haoxiang Li and Shiyue Zhang and Wenqing Zhang and Xujie Zhang and Hanqing Zhao and Xiaodan Liang},
 year={2024},
 eprint={2407.15886},
 archivePrefix={arXiv},
 primaryClass={cs.CV},
 url={https://arxiv.org/abs/2407.15886}, 
}
@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

📄 許可證

cc-by-nc-2.0

📋 信息表格