Infiniteyou

🚀 InfiniteYou模型卡

InfiniteYou是一個用於文本到圖像生成的模型，它能夠在保留人物身份的同時進行靈活的照片重塑，解決了現有方法中身份相似度不足、文本 - 圖像對齊不佳以及生成質量和美學效果低等問題。

🚀 快速開始

本倉庫提供了以下論文的官方模型： InfiniteYou: Flexible Photo Recrafting While Preserving Your Identity
Liming Jiang, Qing Yan, Yumin Jia, Zichuan Liu, Hao Kang, Xin Lu
ByteDance Intelligent Creation

摘要：實現靈活且高保真的身份保留圖像生成仍然是一項艱鉅的任務，特別是對於像FLUX這樣的先進擴散變換器（DiTs）。我們推出了InfiniteYou (InfU)，這是最早利用DiTs完成此任務的強大框架之一。InfU解決了現有方法的重大問題，如身份相似度不足、文本 - 圖像對齊不佳以及生成質量和美學效果低等。InfU的核心是InfuseNet，它通過殘差連接將身份特徵注入到DiT基礎模型中，在保持生成能力的同時提高了身份相似度。一種多階段訓練策略，包括預訓練和使用合成單人多樣本（SPMS）數據進行有監督微調（SFT），進一步改善了文本 - 圖像對齊，提高了圖像質量，並緩解了面部複製粘貼問題。大量實驗表明，InfU達到了最先進的性能，超越了現有的基線模型。此外，InfU的即插即用設計確保了與各種現有方法的兼容性，為更廣泛的社區做出了有價值的貢獻。

📦 安裝指南

請克隆我們的 GitHub代碼倉庫，並按照 詳細說明 安裝和使用已發佈的模型進行本地推理。

我們感謝Hugging Face團隊提供的GPU支持。你也可以在線嘗試我們的 InfiniteYou - FLUX Hugging Face演示。

💡 使用建議

⚠️ 重要提示

以下是使用InfiniteYou - FLUX v1.0模型的一些重要提示，請仔細閱讀。

💡 使用建議

• 我們發佈了InfiniteYou - FLUX v1.0的兩個模型變體：aes_stage2 和 sim_stage1。aes_stage2 是我們經過第二階段SFT後的模型，默認使用該模型以獲得更好的文本 - 圖像對齊和美學效果。如果你希望實現更高的身份相似度，請嘗試使用 sim_stage1。
• 為了更好地滿足特定的個人需求，我們發現調整我們 代碼 中的兩個參數非常有用：--infusenet_conditioning_scale（默認值：1.0）和 --infusenet_guidance_start（默認值：0.0）。通常情況下，你可能不需要調整它們。如有必要，可先嚐試稍微增大 --infusenet_guidance_start（例如，0.1）（這對 sim_stage1 尤其有幫助）。如果仍然不滿意，再嘗試稍微減小 --infusenet_conditioning_scale（例如，0.9）。
• 我們還提供了兩個LoRA模型（Realism 和 Anti - blur），以增加使用的靈活性。如果需要，可先僅嘗試使用 Realism。這些都是完全可選的，它們是可供嘗試的示例，但在我們的論文中並未使用。
• 如果生成的性別不符合你的偏好，請嘗試在文本提示中添加特定的詞語，如“一個男人”、“一個女人”等。我們鼓勵使用包容和尊重的語言。

🏰 模型庫

🆚 與最先進相關方法的比較

InfU與最先進的基線模型FLUX.1 - dev IP - Adapter和PuLID - FLUX的定性比較結果。FLUX.1 - dev IP - Adapter（IPA）生成結果的身份相似度和文本 - 圖像對齊不足。PuLID - FLUX生成的圖像具有不錯的身份相似度，但存在文本 - 圖像對齊不佳的問題（第1、2、4列），並且圖像質量（如第5列中的手部效果不佳）和美學吸引力有所下降。此外，PuLID - FLUX的面部複製粘貼問題很明顯（第5列）。相比之下，所提出的InfU在所有方面都優於基線模型。

⚙️ 與現成流行方法的即插即用特性

InfU具有理想的即插即用設計，與許多現有方法兼容。它自然支持用FLUX.1 - dev的任何變體替換基礎模型，例如使用FLUX.1 - schnell進行更高效的生成（例如，在4步內完成）。與ControlNets和LoRAs的兼容性為定製任務提供了更多的可控性和靈活性。值得注意的是，與OminiControl的兼容性擴展了我們進行多概念個性化的潛力，例如交互式身份（ID）和對象個性化生成。InfU還與IP - Adapter（IPA）兼容，可用於個性化圖像的風格化，通過IPA注入風格參考時能產生不錯的結果。我們的即插即用特性可能會擴展到更多的方法，為更廣泛的社區做出有價值的貢獻。

📜 免責聲明和許可證

本倉庫和相關演示中使用的圖像來自已同意的受試者或由模型生成。這些圖片僅用於展示我們研究的能力。如果你有任何疑慮，請隨時與我們聯繫，我們將立即刪除任何不適當的內容。

我們的模型根據 知識共享署名 - 非商業性使用4.0國際公共許可證 發佈，僅用於學術研究目的。從 InsightFace、FLUX.1 - dev 基礎模型、LoRAs（Realism 和 Anti - blur）等手動或自動下載人臉模型時，必須遵循其原始許可證，並僅用於學術研究目的。

本研究旨在對生成式AI領域產生積極影響。使用此方法必須負責任，並遵守當地法律。開發者不對任何潛在的濫用行為承擔責任。

📖 引用

如果你發現InfiniteYou對你的研究或應用有用，請引用我們的論文：

@article{jiang2025infiniteyou,
  title={{InfiniteYou}: Flexible Photo Recrafting While Preserving Your Identity},
  author={Jiang, Liming and Yan, Qing and Jia, Yumin and Liu, Zichuan and Kang, Hao and Lu, Xin},
  journal={arXiv preprint},
  volume={arXiv:2503.16418},
  year={2025}
}

如果你能給我們的 Github倉庫 點個星⭐，我們將不勝感激。非常感謝！