In Context LoRA

🚀 上下文 LoRA（In-Context LoRA）

📢 In-Context LoRA（IC-LoRA）是一種用於微調文本到圖像模型的技術，可生成具有自定義內在關係的圖像集，並支持基於另一組圖像進行條件生成。它為圖像生成任務提供了強大的靈活性和可控性。

📢 [項目頁面] [GitHub 倉庫] [論文]

🚀 快速開始

🔥 最新消息

• [2024-12-17] 🚀 我們很高興地發佈了 IDEA-Bench，這是一個全面的基準測試，旨在評估生成模型的零樣本任務泛化能力。該基準測試包含了跨越 275 個獨特案例的 100 個現實世界設計任務。儘管其具有通用目的，但表現最佳的模型 EMU2 在 100 分中僅獲得了 6.81 分，凸顯了該領域當前面臨的挑戰。快來探索這個基準測試，挑戰模型性能的極限！
• [2024-11-16] 🌟 社區繼續在 IC-LoRA 上進行創新！令人興奮的項目包括用於 虛擬試穿、產品設計、對象消除、角色扮演 等的模型、ComfyUI 節點和工作流。在 使用 IC-LoRA 的社區創作 中探索他們的創作。非常感謝所有貢獻者的傑出努力！

✨ 使用 IC-LoRA 的社區創作

我們很高興展示社區利用上下文 LoRA（IC-LoRA）開展的創新項目。如果您有更多推薦或項目要分享，請隨時提交 拉取請求！

項目名稱	類型	支持的任務	示例結果
1. Comfyui_Object_Migration	ComfyUI 節點、工作流和 LoRA 模型	服裝遷移、卡通服裝寫實化等
2. Flux Simple Try On - In Context Lora	LoRA 模型和 ComfyUI 工作流	虛擬試穿
3. Flux In Context - visual identity Lora in Comfy	ComfyUI 工作流	視覺形象轉移
4. Workflows Flux In Context Lora For Product Design	ComfyUI 工作流	產品設計、角色扮演等
5. Flux Product Design - In Context Lora	LoRA 模型和 ComfyUI 工作流	產品設計
6. In Context lora + Character story generator + flux+ shichen	ComfyUI 工作流	角色電影故事生成
7. In- Context-Lora｜Cute 4koma 可愛四格漫畫	LoRA 模型和 ComfyUI 工作流	漫畫條生成
8. Creative Effects & Design LoRA Pack (In-Context LORA)	LoRA 模型和 ComfyUI 工作流	電影鏡頭生成等

我們衷心感謝所有貢獻者為推進 IC-LoRA 生態系統所做的傑出工作。

✨ 主要特性

• 與任務無關的框架：IC-LoRA 是一個通用框架，但對於不同的應用，它需要針對特定任務進行微調。
• 可定製的圖像集生成：您可以微調文本到圖像模型，以 生成具有可定製內在關係的圖像集。
• 基於圖像集的條件生成：您還可以 基於另一組圖像來條件生成一組圖像，從而實現廣泛的可控生成應用。

如需更多詳細信息和示例，請閱讀我們的 論文 或訪問我們的 項目頁面。

📚 詳細文檔

模型概述

上下文 LoRA 對文本到圖像模型（例如 FLUX）進行微調，以生成具有可定製內在關係的圖像集，並可選擇使用 SDEdit 基於另一組圖像進行條件生成。它可以適應廣泛的任務。

這個模型中心包含了跨越 10 個任務的上下文 LoRA 模型。模型庫 詳細介紹了這些模型及其推薦設置。有關這些模型的訓練方式的更多詳細信息，請參考我們的 論文。

核心思想

IC-LoRA 的核心概念是將條件圖像和目標圖像 拼接 成一個單一的複合圖像，同時使用 自然語言 來定義任務。這種方法能夠無縫適應廣泛的應用。

模型庫

以下列出了 10 個上下文 LoRA 模型及其推薦設置。

📄 許可證

這個模型中心使用 FLUX 作為基礎模型。用戶在使用此代碼時必須遵守 FLUX 的許可證。有關更多詳細信息，請參考 FLUX 的許可證。

🔗 引用

如果您發現這項工作在您的研究中很有用，請考慮引用：

@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

@article{lhhuang2024iclora,
  title={Group Diffusion Transformers are Unsupervised Multitask Learners},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Dou, Huanzhang and Shi, Yupeng and Feng, Yutong and Liang, Chen and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.15027},
  year={2024}
}

📥 下載模型

這些模型的權重以 Safetensors 格式提供。

在 文件與版本 標籤中下載它們。