In Context LoRA

🚀 上下文 LoRA（In-Context LoRA）

📢 In-Context LoRA（IC-LoRA）是一种用于微调文本到图像模型的技术，可生成具有自定义内在关系的图像集，并支持基于另一组图像进行条件生成。它为图像生成任务提供了强大的灵活性和可控性。

📢 [项目页面] [GitHub 仓库] [论文]

🚀 快速开始

🔥 最新消息

• [2024-12-17] 🚀 我们很高兴地发布了 IDEA-Bench，这是一个全面的基准测试，旨在评估生成模型的零样本任务泛化能力。该基准测试包含了跨越 275 个独特案例的 100 个现实世界设计任务。尽管其具有通用目的，但表现最佳的模型 EMU2 在 100 分中仅获得了 6.81 分，凸显了该领域当前面临的挑战。快来探索这个基准测试，挑战模型性能的极限！
• [2024-11-16] 🌟 社区继续在 IC-LoRA 上进行创新！令人兴奋的项目包括用于 虚拟试穿、产品设计、对象消除、角色扮演 等的模型、ComfyUI 节点和工作流。在 使用 IC-LoRA 的社区创作 中探索他们的创作。非常感谢所有贡献者的杰出努力！

✨ 使用 IC-LoRA 的社区创作

我们很高兴展示社区利用上下文 LoRA（IC-LoRA）开展的创新项目。如果您有更多推荐或项目要分享，请随时提交 拉取请求！

项目名称	类型	支持的任务	示例结果
1. Comfyui_Object_Migration	ComfyUI 节点、工作流和 LoRA 模型	服装迁移、卡通服装写实化等
2. Flux Simple Try On - In Context Lora	LoRA 模型和 ComfyUI 工作流	虚拟试穿
3. Flux In Context - visual identity Lora in Comfy	ComfyUI 工作流	视觉形象转移
4. Workflows Flux In Context Lora For Product Design	ComfyUI 工作流	产品设计、角色扮演等
5. Flux Product Design - In Context Lora	LoRA 模型和 ComfyUI 工作流	产品设计
6. In Context lora + Character story generator + flux+ shichen	ComfyUI 工作流	角色电影故事生成
7. In- Context-Lora｜Cute 4koma 可爱四格漫画	LoRA 模型和 ComfyUI 工作流	漫画条生成
8. Creative Effects & Design LoRA Pack (In-Context LORA)	LoRA 模型和 ComfyUI 工作流	电影镜头生成等

我们衷心感谢所有贡献者为推进 IC-LoRA 生态系统所做的杰出工作。

✨ 主要特性

• 与任务无关的框架：IC-LoRA 是一个通用框架，但对于不同的应用，它需要针对特定任务进行微调。
• 可定制的图像集生成：您可以微调文本到图像模型，以 生成具有可定制内在关系的图像集。
• 基于图像集的条件生成：您还可以 基于另一组图像来条件生成一组图像，从而实现广泛的可控生成应用。

如需更多详细信息和示例，请阅读我们的 论文 或访问我们的 项目页面。

📚 详细文档

模型概述

上下文 LoRA 对文本到图像模型（例如 FLUX）进行微调，以生成具有可定制内在关系的图像集，并可选择使用 SDEdit 基于另一组图像进行条件生成。它可以适应广泛的任务。

这个模型中心包含了跨越 10 个任务的上下文 LoRA 模型。模型库 详细介绍了这些模型及其推荐设置。有关这些模型的训练方式的更多详细信息，请参考我们的 论文。

核心思想

IC-LoRA 的核心概念是将条件图像和目标图像 拼接 成一个单一的复合图像，同时使用 自然语言 来定义任务。这种方法能够无缝适应广泛的应用。

模型库

以下列出了 10 个上下文 LoRA 模型及其推荐设置。

📄 许可证

这个模型中心使用 FLUX 作为基础模型。用户在使用此代码时必须遵守 FLUX 的许可证。有关更多详细信息，请参考 FLUX 的许可证。

🔗 引用

如果您发现这项工作在您的研究中很有用，请考虑引用：

@article{lhhuang2024iclora,
  title={In-Context LoRA for Diffusion Transformers},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Shi, Yupeng and Dou, Huanzhang and Liang, Chen and Feng, Yutong and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.23775},
  year={2024}
}

@article{lhhuang2024iclora,
  title={Group Diffusion Transformers are Unsupervised Multitask Learners},
  author={Huang, Lianghua and Wang, Wei and Wu, Zhi-Fan and Dou, Huanzhang and Shi, Yupeng and Feng, Yutong and Liang, Chen and Liu, Yu and Zhou, Jingren},
  journal={arXiv preprint arxiv:2410.15027},
  year={2024}
}

📥 下载模型

这些模型的权重以 Safetensors 格式提供。

在 文件与版本 标签中下载它们。