Catvton Flux Alpha

🚀 CATVTON - Flux

CATVTON - Fluxは、高度な仮想試着ソリューションです。CATVTON（Contrastive Appearance and Topology Virtual Try - On）とFlux fillインペインティングモデルを組み合わせることで、リアルで正確な衣服の転写を実現します。

🚀 クイックスタート

このモデルは仮想試着アプリケーションに設計されており、ユーザーは様々な衣服が人に合った場合の見た目を視覚化することができます。以下のパラメータを使用してコマンドラインインターフェースから直接使用することができます。

• 入力人物画像
• 人物マスク
• 衣服画像
• ランダムシード（オプション）

モデルの使用を開始するには、以下のコードを実行します。

transformer = FluxTransformer2DModel.from_pretrained(
    "xiaozaa/catvton-flux-alpha", 
    torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    transformer=transformer,
    torch_dtype=torch.bfloat16
).to("cuda")

✨ 主な機能

• CATVTONとFlux fillインペインティングモデルを組み合わせた高度な仮想試着ソリューション。
• VITON - HDデータセットでSOTAの性能を達成（FID: 5.593255043029785）。

📦 インストール

ドキュメントに具体的なインストール手順は記載されていません。

💻 使用例

基本的な使用法

transformer = FluxTransformer2DModel.from_pretrained(
    "xiaozaa/catvton-flux-alpha", 
    torch_dtype=torch.bfloat16
)
pipe = FluxFillPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    transformer=transformer,
    torch_dtype=torch.bfloat16
).to("cuda")

📚 ドキュメント

モデルの詳細

モデルの説明

• 開発者: X/Twitter:Black Magic An

モデルのソース

• リポジトリ: github

トレーニングの詳細

トレーニングデータ

VITON - HDデータセット

トレーニング手順

Flux1 - dev - fillのファインチューニング

評価

指標

FID: 5.593255043029785（SOTA）

結果

[詳細情報が必要]

最新情報

最新成果 (2024/11/24): CatVton - Flux - Alphaは、VITON - HDデータセットでFID: 5.593255043029785のSOTA性能を達成しました。テスト設定: scale 30, step 30。私のVITON - HDテスト推論結果はこちらから入手できます。

引用

@misc{chong2024catvtonconcatenationneedvirtual,
 title={CatVTON: Concatenation Is All You Need for Virtual Try-On with Diffusion Models}, 
 author={Zheng Chong and Xiao Dong and Haoxiang Li and Shiyue Zhang and Wenqing Zhang and Xujie Zhang and Hanqing Zhao and Xiaodan Liang},
 year={2024},
 eprint={2407.15886},
 archivePrefix={arXiv},
 primaryClass={cs.CV},
 url={https://arxiv.org/abs/2407.15886}, 
}
@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

📄 ライセンス

cc - by - nc - 2.0