🚀 Illustrious XL v0.1
Illustrious XL v0.1 是一款专注于插画生成的 Stable Diffusion XL 模型,它基于 Kohaku XL Beta 5 继续训练而来。该模型利用大规模标注数据集 Danbooru2023 进行训练,能够生成多样化的角色设计和艺术风格的图像,适用于创意和艺术领域的 AI 生成任务。
🚀 快速开始
Illustrious XL 是一款专注于插画的 Stable Diffusion XL 模型,它基于 Kohaku XL Beta 5 继续训练,由 OnomaAI 研究团队开发。该模型专注于利用大规模标注数据集 Danbooru2023。我们在此发布了 v0.1 和 v0.1 - GUIDED 模型,采用公平的公共人工智能许可证,但不鼓励将模型用于商业化目的或任何闭源用途。如需完整的技术细节,请参考我们的技术报告。
✨ 主要特性
模型信息
属性 |
详情 |
名称 |
Illustrious - XL - v0.1 |
模型类型 |
Stable Diffusion XL 模型 |
数据集 |
在 Danbooru2023 数据集上进行微调 |
模型描述
- Illustrious - XL:是一个强大的生成模型系列,在全面的 Danbooru2023 数据集及其变体上进行了微调。它包含了来自数据集的各种角色设计、风格和艺术知识,适用于创意和艺术领域的 AI 生成任务。
- Illustrious - XL - v0.1:是未经调整的基础模型,可作为未来所有模型变体的基础。可以在此模型上训练 LoRAs / 适配器,以满足未来的使用场景。该模型仅用于研究目的,未针对美学或偏好进行调整。
- Illustrious - XL - v0.1 - GUIDED:是经过最低限度安全控制的模型,更适合日常使用。
技术细节
相关技术报告请参考:https://arxiv.org/abs/2409.19946
使用条款
- 建议使用官方仓库,以防止恶意攻击。
- 用户必须同意许可证才能使用该模型。如许可证中所述,我们不对生成的结果或可能的变体承担任何责任。
- 如许可证中所述,用户不得将生成的结果用于任何禁止的目的,包括但不限于:
- 有害或恶意活动:包括骚扰、威胁、传播虚假信息或任何旨在伤害个人或群体的用途。
- 非法活动:使用生成的内容违反任何适用的法律法规。
- 不道德、冒犯性内容生成:生成违反道德准则的冒犯性、诽谤性或有争议的内容。
安全控制建议
- 生成模型偶尔可能会产生意外或有害的输出。
- 为了降低这种风险,强烈建议使用 GUIDED 模型变体,该变体包含额外的安全机制,以确保负责任的内容生成。
- 通过选择此变体,用户可以显著降低生成有害或意外内容的可能性。
- 我们计划通过广泛的研究更新 GUIDED 模型变体及其方法。
训练/合并策略
您可以基于此模型进行微调、合并或训练 LoRA。但是,为了促进开源社区的发展,您需要:
- 公开分享任何派生模型的详细信息,包括对根据公平人工智能公共许可证许可的原始模型的引用。
- 提供用于微调或训练的数据集和“合并配方”的信息。
- 遵守 公平人工智能公共许可证,确保任何派生作品也是开源的。
上传/生成策略
我们不限制生成结果的任何上传或传播,因为我们不拥有生成材料的任何权利。这包括“个人训练的模型 / 微调模型 / 训练的 LoRA 相关结果”。但是,我们恳请您公开生成细节,以促进开源社区和研究的发展。
商业化禁止
- 禁止对任何 闭源微调/合并模型进行商业化,这些模型不允许公众访问模型的源代码/权重及其使用方法。
- 根据许可证,您必须公开发布任何派生模型和变体。此模型旨在用于开源用途,所有派生模型必须遵循相同的原则。
使用建议
- 不建议过度使用关键构图标签,如“特写”、“颠倒”或“牛仔视角”,因为它们可能会相互冲突并导致混淆,影响模型结果。
- 推荐的采样方法:Euler a,采样步数:20 - 28,CFG:5 - 7.5(可能根据使用情况有所不同)。
- 建议根据您的使用情况使用合适的构图标签,如“上半身”、“牛仔视角”、“肖像”或“全身”。
- 模型支持质量标签,如:“最差质量”、“低质量”、“平均质量”、“高质量”、“最佳质量”和“杰作(质量)”。
- 注意:模型没有任何默认风格,这是基础模型的预期行为。
🔧 技术细节
开发历程
当我们开始开发 Illustrious XL 系列时,目标很简单:当时没有适用于插画的强大预训练模型,所以我们决定自己构建一个——一个预训练级别的微调模型,供艺术家和研究人员使用。我们也知道将所有内容保留在内部不会推动该领域的发展,因此我们向公众发布了 v0.1,并专注于训练更新的变体,通过提高质量、深化知识和改进架构来进一步提升模型的能力。在此过程中,我们意外发现该模型不仅擅长插画,还能理解自然语言、处理复杂提示并生成高分辨率图像,远远超出了我们最初的计划。
模型版本
- v0.1(2024 年 5 月训练)
- v1.0(2024 年 7 月)
- v1.1(2024 年 8 月)
- v2.0(2024 年 9 月)
- v3(2024 年 11 月)
- v3.5(结合了 Google 的 v - 参数化的特殊变体)
这些模型在自然语言构图和图像生成方面更进一步。
未来计划
经过几个月的幕后工作,我们终于准备好向前迈进。我们将逐步推出最新模型,同时逐步将以前的版本开源,以便进行研究和改进。在此过程中,预计会有诸如 真正的 2K 分辨率生成 和更好的自然语言对齐等突破。
开源承诺
这需要时间,但我们正在快速推进。我们的下一代模型已经在开发中,旨在解决 SD XL 基础架构的一些基本限制。随着进展,旧模型自然会被弃用,并相应地发布权重。我们的团队旨在谨慎行事,确保每个版本都有全面的解释和见解。
向后兼容性
我们构建的每个模型都考虑了向后兼容性,因为 Illustrious XL 不仅仅是创造新事物,更是为微调创建一个更好的基础。这就是为什么我们在正确训练 LoRAs 方面投入了大量精力,不久后,我们将分享如何更有效地训练它们的见解。
📄 许可证
本模型采用公平人工智能公共许可证 1.0 - SD(fair - ai - public - license - 1.0 - sd),许可证链接:[https://freedevproject.org/faipl - 1.0 - sd/](https://freedevproject.org/faipl - 1.0 - sd/)。
总结
总之,Onoma AI 计划逐步推出开源权重,并鼓励社区关注即将到来的发展——我们才刚刚开始。