SDXL EcomID

🚀 EcomID - 基於單張參考ID圖像生成定製化圖像

EcomID旨在從單張參考ID圖像生成定製化圖像，在關鍵點的控制下確保強大的語義一致性。本項目結合了 PuLID 和 InstantID 的優勢，提供了更好的背景一致性、面部關鍵點控制以及更逼真的面部表現和更高的相似度。

中文版Readme

🚀 快速開始

項目概述

EcomID結合了PuLID和InstantID的優勢，用於從單張參考ID圖像生成定製化圖像，能在關鍵點控制下保證語義一致性，同時提升背景一致性、面部關鍵點控制和麵部表現的真實度與相似度。

展示案例

與其他方法的比較

1、保留文本到圖像的生成能力

提示詞	參考圖像	EcomID	InstantID
女孩，白皮膚，黑頭髮，長波浪發，歐洲風格客廳，復古色調，有裝飾，景深效果。

EcomID 在保留背景生成能力的同時，最大程度減少風格化，大大提高了真實感。可視化結果顯示，生成的肖像更加真實，背景語義一致性更好，展示了EcomID在生成真實圖像方面的優勢。

2、改進的面部控制和一致性

提示詞	參考圖像	EcomID	InstantID	PuLID
一個男人站在圖書館的特寫肖像，旁邊抱著 兩個微笑的小孩。

EcomID使用關鍵點作為訓練的條件輸入，允許精確調整面部的位置、大小和方向。這種能力確保生成的肖像更易於控制，同時進一步提高面部相似度和圖像的整體質量。

更多展示案例

EcomID增強了肖像表現，在確保語義一致性和更高的內部ID相似度（即不受年齡、髮型、眼鏡或其他身體變化影響的特徵）的同時，呈現出更真實、更美觀的外觀。

提示詞	參考圖像	EcomID	InstantID	PuLID
一個 雙馬尾小女孩 的特寫肖像，穿著白色連衣裙，在日落時站在海灘上。
一個 非常小的女孩 的特寫肖像，雙馬尾，戴著 帽子 穿著白色連衣裙，在日落時站在海灘上。
一位頭髮花白的偵探，軟氈帽 在他的方下巴上投下陰影，嘴裡叼著雪茄，他的風衣讓人想起黑色電影，在 雨中的小巷 裡。
一個 留著齊劉海和長髮 的微笑女孩穿著校服站在櫻花樹下，手裡拿著一本書。
一個 非常老的 女巫，穿著黑色披風，戴著尖頂帽子，拿著魔杖，背景是一片迷霧森林。
一個穿著賽博朋克風格服裝的男人：霓虹燈裝飾，反光太陽鏡，以及帶有發光電路圖案的皮夾克。他面無表情地站在溼漉漉的城市景觀中。

更多基礎模型、分辨率和風格

SDXL模型	提示詞	參考圖像	EcomID	InstantID	PuLID
sd-xl-base-1.0	女孩，單人，棕色頭髮，手裡拿著一隻小熊，穿著校服，站在圖書館裡，卡通風格。
EcomXL	一個 非常小的女孩 的特寫肖像，雙馬尾，戴著 帽子 穿著白色連衣裙，在日落時站在海灘上。
DreamShaperXL	單人，直視鏡頭，微笑，棕色頭髮，上半身，敞開的衣服，露齒，敞開的夾克，黑色夾克，模糊背景，寫實風格。
leosam_xl_v7	一個女孩的特寫肖像，單人，連衣裙，珠寶，海灘和大海，粉色連衣裙，寫實風格。

注意事項

• 除非另有說明，展示案例均使用基礎模型EcomXL生成，該模型也與其他各種基於SDXL的模型高度兼容，如 leosams-helloworld-xl、dreamshaper-xl、stable-diffusion-xl-base-1.0 等。
• 它與SDXL Turbo/Lighting、EcomXL Inpainting ControlNet 和 EcomXL Softedge ControlNet 配合使用效果也非常好。

使用方法

ComfyUI

• EcomID_ComfyUI節點已發佈：點擊此處

訓練細節

本模型在200萬張淘寶圖像上進行訓練，其中人臉比例大於3%，圖像分辨率大於800，美學評分高於5.5。

• 混合精度：fp16
• 學習率：1e - 4
• 批量大小：2
• 圖像尺寸：1024x1024

✨ 主要特性

• 結合PuLID和InstantID的優勢，實現更好的背景一致性、面部關鍵點控制和更逼真的面部表現。
• 從單張參考ID圖像生成定製化圖像，確保強大的語義一致性。
• 與多種SDXL模型兼容，且與SDXL Turbo/Lighting、EcomXL Inpainting ControlNet和EcomXL Softedge ControlNet配合良好。

📚 詳細文檔

EcomID結構

• PuLID的IP-Adapter：EcomID集成了PuLID的ID編碼器和交叉注意力組件，並通過對齊損失進行訓練。這種方法有效地減少了ID嵌入在交叉注意力部分對文本嵌入的干擾，最大限度地減少了對基礎模型文本到圖像生成能力的破壞。
• InstantID的IdentityNet架構：利用 200萬張美觀的人像圖像數據集，IdentityNet增強了關鍵點控制，提高了ID一致性和麵部真實感。在訓練過程中，IP適配器被凍結，僅訓練IdentityNet。面部地標用作條件輸入，而面部嵌入通過交叉注意力集成到IdentityNet中。

🔧 技術細節

模型訓練使用了200萬張淘寶圖像，這些圖像具有特定的要求，包括人臉比例、分辨率和美學評分。訓練採用了混合精度（fp16）、特定的學習率（1e - 4）、批量大小（2）和圖像尺寸（1024x1024）。

📄 許可證

本項目採用Apache-2.0許可證。