Photomaker

🚀 PhotoMakerモデルカード

このモデルは、ユーザーが1枚または数枚の顔写真とテキストプロンプトを入力することで、数秒でカスタマイズされた写真や絵を生成できます（トレーニング不要！）。また、SDXLベースのモデルに適応させたり、他のLoRAモジュールと組み合わせて使用することも可能です。

🚀 クイックスタート

ユーザーは1枚または数枚の顔写真とテキストプロンプトを入力することで、数秒でカスタマイズされた写真や絵を受け取ることができます（トレーニング不要！）。さらに、このモデルはSDXLベースの任意のベースモデルに適応させることができ、他のLoRAモジュールと組み合わせて使用することもできます。

リアルな結果

スタイル化された結果

より多くの結果は、プロジェクトページで確認できます。

✨ 主な機能

このモデルは、ユーザーが顔写真とテキストプロンプトを入力することで、カスタマイズされた写真や絵を生成できます。また、SDXLベースのモデルに適応させたり、他のLoRAモジュールと組み合わせて使用することが可能です。

📚 ドキュメント

モデルの詳細

ロードされた状態辞書の2つのキーに対応する2つの部分が主に含まれています。

1. id_encoderには、微調整されたOpenCLIP-ViT-H-14といくつかの融合レイヤーが含まれています。
2. lora_weightsは、UNetのすべてのアテンションレイヤーに適用され、ランクは64に設定されています。

使用方法

このリポジトリから直接モデルをダウンロードすることも、Pythonスクリプトでダウンロードすることもできます。

from huggingface_hub import hf_hub_download
photomaker_ckpt = hf_hub_download(repo_id="TencentARC/PhotoMaker", filename="photomaker-v1.bin", repo_type="model")

その後、GitHubリポジトリの指示に従ってください。

制限事項

• このモデルは、アジア男性の顔に対するカスタマイズ性能が低下します。
• モデルは、人間の手を正確にレンダリングすることが依然として困難です。

バイアス

画像生成モデルの能力は印象的ですが、社会的バイアスを強化または悪化させる可能性もあります。

引用

BibTeX:

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。