Photomaker V2

🚀 照片生成器V2模型卡片

照片生成器V2模型允許用戶輸入一張或幾張人臉照片以及文本提示，即可在數秒內獲得定製化的照片或繪畫（無需訓練）。此外，該模型可適配基於SDXL的任何基礎模型，也能與其他LoRA模塊結合使用。

🚀 快速開始

你可以直接從本倉庫下載模型，也可以在Python腳本中使用以下代碼下載：

from huggingface_hub import hf_hub_download
photomaker_ckpt = hf_hub_download(repo_id="TencentARC/PhotoMaker-V2", filename="photomaker-v2.bin", repo_type="model")

之後，請遵循我們GitHub倉庫中的說明進行操作。

✨ 主要特性

逼真效果展示

風格化效果展示

更多效果可查看我們的項目頁面。

🔧 技術細節

模型主要包含兩部分，對應加載狀態字典中的兩個鍵：

1. id_encoder：包含微調後的OpenCLIP - ViT - H - 14和幾個融合層。
2. lora_weights：應用於UNet中的所有注意力層，秩設置為64。

⚠️ 侷限性

• 該模型在亞洲男性面部的定製性能有所下降。
• 模型在準確渲染人類手部方面仍存在困難。

⚠️ 偏差問題

儘管圖像生成模型的能力令人印象深刻，但它們也可能強化或加劇社會偏差。

📄 許可證

本項目採用Apache - 2.0許可證。

📚 引用

@inproceedings{li2023photomaker,
  title={PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding},
  author={Li, Zhen and Cao, Mingdeng and Wang, Xintao and Qi, Zhongang and Cheng, Ming-Ming and Shan, Ying},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2024}
}