Kolors IP Adapter FaceID Plus

🚀 Kolors-IP-Adapter-FaceID-Plus模塊權重與推理代碼

本項目提供基於 Kolors基礎模型 的 Kolors-IP-Adapter-FaceID-Plus 模塊權重和推理代碼。該項目可助力文本到圖像的生成，在人臉相關圖像生成上表現出色。

     

📖 介紹

我們提供基於 Kolors基礎模型 的 Kolors-IP-Adapter-FaceID-Plus 模塊權重和推理代碼。Kolors-IP-Adapter-FaceID-Plus 的生成結果示例如下：

• 我們的 Kolors-IP-Adapter-FaceID-Plus 模塊在大規模、高質量的人臉數據集上進行訓練。我們使用 insightface 生成的人臉 ID 嵌入和人臉區域的 CLIP 特徵，以保留人臉 ID 和結構信息。

📊 評估

為了進行評估，我們構建了一個包含 200 多張參考圖像和文本提示的測試集。我們邀請了幾位圖像專家為不同模型的生成結果提供公正的評分。專家們根據五個標準對生成的圖像進行評估：視覺吸引力、文本忠實度、人臉相似度、面部美感和總體滿意度。視覺吸引力和文本忠實度用於衡量文本到圖像的生成能力，遵循基礎模型的評估標準。同時，人臉相似度和麵部美感用於評估所提出的 Kolors-IP-Adapter-FaceID-Plus 的性能。結果總結如下表所示，其中 Kolors-IP-Adapter-FaceID-Plus 在所有指標上都優於 SDXL-IP-Adapter-FaceID-Plus。

Kolors-IP-Adapter-FaceID-Plus 使用中文提示，而 SDXL-IP-Adapter-FaceID-Plus 使用英文提示。

📦 安裝指南

依賴安裝

依賴和安裝過程與 Kolors基礎模型 基本相同。

1. 克隆倉庫並安裝依賴

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
pip install insightface onnxruntime-gpu
python3 setup.py install

2. 下載權重 鏈接：

huggingface-cli download --resume-download Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus --local-dir weights/Kolors-IP-Adapter-FaceID-Plus

或者

git lfs clone https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-FaceID-Plus weights/Kolors-IP-Adapter-FaceID-Plus

💻 使用示例

推理

python ipadapter_FaceID/sample_ipadapter_faceid_plus.py ./ipadapter_FaceID/assets/image1.png "穿著晚禮服，在星光下的晚宴場景中，燭光閃閃，整個場景洋溢著浪漫而奢華的氛圍"

python ipadapter_FaceID/sample_ipadapter_faceid_plus.py ./ipadapter_FaceID/assets/image2.png "西部牛仔，牛仔帽，荒野大鏢客，背景是西部小鎮，仙人掌，,日落餘暉, 暖色調, 使用XT4膠片拍攝, 噪點, 暈影, 柯達膠捲，復古"

致謝

• 感謝 insightface 提供的人臉表徵。
• 感謝 IP-Adapter 提供的代碼庫。

📄 許可證

本項目採用 Apache-2.0 許可證。