Photomaker V2

🚀 PhotoMaker V2モデルカード

このモデルは、ユーザーが1枚または数枚の顔写真とテキストプロンプトを入力することで、数秒でカスタマイズされた写真や絵を生成できます（トレーニング不要！）。また、SDXLベースのモデルに適応させたり、他のLoRAモジュールと組み合わせて使用することも可能です。

🚀 クイックスタート

ユーザーは1枚または数枚の顔写真とテキストプロンプトを入力することで、数秒でカスタマイズされた写真や絵を受け取ることができます（トレーニング不要！）。また、このモデルはSDXLベースの任意のベースモデルに適応させたり、他のLoRAモジュールと組み合わせて使用することもできます。

リアルな結果

スタイル化された結果

さらなる結果は、プロジェクトページで確認できます。

✨ 主な機能

• ユーザーが顔写真とテキストプロンプトを入力することで、数秒でカスタマイズされた写真や絵を生成。
• SDXLベースのモデルに適応させることができる。
• 他のLoRAモジュールと組み合わせて使用可能。

📚 ドキュメント

モデルの詳細

ロードされた状態辞書の2つのキーに対応する2つの部分を主に含んでいます。

1. id_encoder：微調整されたOpenCLIP-ViT-H-14といくつかの融合レイヤーを含みます。
2. lora_weights：UNet内のすべてのアテンションレイヤーに適用され、ランクは64に設定されています。

💻 使用例

基本的な使用法

# このリポジトリからモデルを直接ダウンロードすることもできます。
# また、Pythonスクリプトでモデルをダウンロードすることもできます。
from huggingface_hub import hf_hub_download
photomaker_ckpt = hf_hub_download(repo_id="TencentARC/PhotoMaker-V2", filename="photomaker-v2.bin", repo_type="model")

その後、GitHubリポジトリの指示に従ってください。

🔧 技術詳細

モデルは主に2つの部分から構成されています。id_encoderは微調整されたOpenCLIP-ViT-H-14といくつかの融合レイヤーを含み、lora_weightsはUNet内のすべてのアテンションレイヤーに適用され、ランクは64に設定されています。

🔧 制限事項

• このモデルのカスタマイズ性能は、アジア男性の顔で低下します。
• モデルは人間の手を正確に描画することに依然として苦労しています。

🔧 バイアス

画像生成モデルの能力は印象的ですが、社会的バイアスを強化または悪化させる可能性もあります。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 引用

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}