Catvton Flux Beta

🚀 CATVTON-Flux

CATVTON-Fluxは、CATVTON（Contrastive Appearance and Topology Virtual Try-On）とFlux fill inpaintingモデルを組み合わせた、リアルで正確な衣服の着用シミュレーションを実現する高度なバーチャルトライオンソリューションです。

🚀 クイックスタート

このモデルを使用するには、以下のコードを実行します。

transformer = FluxTransformer2DModel.from_pretrained(
    "xiaozaa/catvton-flux-beta", 
    torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    transformer=transformer,
    torch_dtype=torch.bfloat16
).to("cuda")

✨ 主な機能

このモデルはバーチャルトライオンアプリケーションに最適化されており、ユーザーは異なる衣服が人物にどのように見えるかを視覚化することができます。

📦 インストール

このモデルは、コマンドラインインターフェイスを通じて直接使用できます。必要なパラメータは以下の通りです。

• 入力人物画像
• 人物マスク
• 衣服画像
• ランダムシード（オプション）

📚 ドキュメント

モデルの詳細

モデルの説明

• 開発者: X/Twitter:Black Magic An

モデルのソース

• リポジトリ: github

学習の詳細

学習データ

dresscodeデータセット

学習手順

Flux1-dev-fillのファインチューニング

評価

結果

[詳細情報が必要です]

概要

BibTeX:

@misc{chong2024catvtonconcatenationneedvirtual,
 title={CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models}, 
 author={Zheng Chong and Xiao Dong and Haoxiang Li and Shiyue Zhang and Wenqing Zhang and Xujie Zhang and Hanqing Zhao and Xiaodan Liang},
 year={2024},
 eprint={2407.15886},
 archivePrefix={arXiv},
 primaryClass={cs.CV},
 url={https://arxiv.org/abs/2407.15886}, 
}
@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

📄 ライセンス

このモデルは、cc-by-nc-2.0ライセンスの下で提供されています。

📦 モデル情報