Noobai XL Vpred 0.75s

🚀 NoobAI XL V-Pred 0.75s

这是一个图像生成模型，基于Laxhar/noobai-XL_v1.0开发，利用了完整的Danbooru和e621数据集，带有原生标签和自然语言字幕。它采用v预测模型（与eps预测不同），需要特定的参数配置。

🚀 快速开始

本模型与EPS模型的工作方式不同，请仔细阅读以下使用说明。

✨ 主要特性

• 基于Laxhar/noobai-XL_v1.0构建，利用全Danbooru和e621数据集，带有原生标签和自然语言字幕。
• 作为v预测模型实现，与eps预测模型不同，需要特定参数配置。

📦 安装指南

方法一：reForge

1. （如果尚未安装reForge）按照仓库中的说明安装reForge。
2. 启动WebUI并像往常一样使用模型。

方法二：ComfyUI

使用节点进行示例操作。 comfy_ui_workflow_sample

方法三：WebUI

请注意，开发分支不稳定，可能包含错误。

1. （如果尚未安装WebUI）按照仓库中的说明安装WebUI。
2. 切换到dev分支：

git switch dev

3. 拉取最新更新：

git pull

4. 启动WebUI并像往常一样使用模型。

方法四：Diffusers

import torch
from diffusers import StableDiffusionXLPipeline
from diffusers import EulerDiscreteScheduler

ckpt_path = "/path/to/model.safetensors"
pipe = StableDiffusionXLPipeline.from_single_file(
    ckpt_path,
    use_safetensors=True,
    torch_dtype=torch.float16,
)
scheduler_args = {"prediction_type": "v_prediction", "rescale_betas_zero_snr": True}
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, **scheduler_args)
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = """masterpiece, best quality,artist:john_kafka,artist:nixeu,artist:quasarcake, chromatic aberration, film grain, horror \(theme\), limited palette, x-shaped pupils, high contrast, color contrast, cold colors, arlecchino \(genshin impact\), black theme,  gritty, graphite \(medium\)"""
negative_prompt = "nsfw, worst quality, old, early, low quality, lowres, signature, username, logo, bad hands, mutated hands, mammal, anthro, furry, ambiguous form, feral, semi-anthro"

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=832,
    height=1216,
    num_inference_steps=28,
    guidance_scale=5,
    generator=torch.Generator().manual_seed(42),
).images[0]

image.save("output.png")

注意：请确保您的机器上已安装Git并正确配置了环境。

💻 使用示例

基础用法

# 上述方法四的代码示例即为基础用法示例
import torch
from diffusers import StableDiffusionXLPipeline
from diffusers import EulerDiscreteScheduler

ckpt_path = "/path/to/model.safetensors"
pipe = StableDiffusionXLPipeline.from_single_file(
    ckpt_path,
    use_safetensors=True,
    torch_dtype=torch.float16,
)
scheduler_args = {"prediction_type": "v_prediction", "rescale_betas_zero_snr": True}
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, **scheduler_args)
pipe.enable_xformers_memory_efficient_attention()
pipe = pipe.to("cuda")

prompt = """masterpiece, best quality,artist:john_kafka,artist:nixeu,artist:quasarcake, chromatic aberration, film grain, horror \(theme\), limited palette, x-shaped pupils, high contrast, color contrast, cold colors, arlecchino \(genshin impact\), black theme,  gritty, graphite \(medium\)"""
negative_prompt = "nsfw, worst quality, old, early, low quality, lowres, signature, username, logo, bad hands, mutated hands, mammal, anthro, furry, ambiguous form, feral, semi-anthro"

image = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    width=832,
    height=1216,
    num_inference_steps=28,
    guidance_scale=5,
    generator=torch.Generator().manual_seed(42),
).images[0]

image.save("output.png")

高级用法

目前文档未提供高级用法相关代码示例。

📚 详细文档

推荐设置

参数

• CFG：4 ~ 5
• 步数：28 ~ 35
• 采样方法：Euler（⚠️ 其他采样器无法正常工作）
• 分辨率：总面积约为1024x1024。最佳选择包括：768x1344、832x1216、896x1152、1024x1024、1152x896、1216x832、1344x768

提示词

• 提示词前缀：

masterpiece, best quality, newest, absurdres, highres, safe,

• 负提示词：

nsfw, worst quality, old, early, low quality, lowres, signature, username, logo, bad hands, mutated hands, mammal, anthro, furry, ambiguous form, feral, semi-anthro

使用指南

标题

<1girl/1boy/1other/...>, <character>, <series>, <artists>, <special tags>, <general tags>, <other tags>

质量标签

对于质量标签，我们通过以下过程评估图像的受欢迎程度：

• 基于各种来源和评级进行数据归一化。
• 根据日期的近期性应用基于时间的衰减系数。
• 根据此处理在整个数据集中对图像进行排名。

我们的最终目标是确保质量标签能有效跟踪近年来用户的偏好。

百分位数范围	质量标签
> 95%	masterpiece
> 85%，<= 95%	best quality
> 60%，<= 85%	good quality
> 30%，<= 60%	normal quality
<= 30%	worst quality

美学标签

标签	描述
very awa	根据waifu-scorer美学评分排名前5%的图像
worst aesthetic	根据waifu-scorer和aesthetic-shadow-v2美学评分排名后5%的所有图像
...	...

日期标签

有两种类型的日期标签：年份标签和时期标签。对于年份标签，使用year xxxx格式，即year 2021。对于时期标签，请参考以下表格：

年份范围	时期标签
2005 - 2010	old
2011 - 2014	early
2014 - 2017	mid
2018 - 2020	recent
2021 - 2024	newest

数据集

• 截至训练日期（大约在2024 - 10 - 23之前）的最新Danbooru图像
• Hugging Face上的E621图像e621-2024-webp-4Mpixel数据集

交流方式

• QQ群：
  • 875042008
  • 914818692
  • 635772191
• Discord：Laxhar Dream Lab SDXL NOOB

如何在v-pred SDXL模型上训练LoRA

这是一篇针对基于sd-scripts的LoRA训练者的教程。 文章链接：https://civitai.com/articles/8723

实用工具

Laxhar Lab正在为NoobXL训练一个专用的ControlNet模型，并且这些模型正在逐步发布。到目前为止，已经发布了normal、depth和canny模型。 模型链接：https://civitai.com/models/929685

模型详情

属性	详情
开发者	Laxhar Lab
模型类型	基于扩散的文本到图像生成模型
微调基础	Laxhar/noobai-XL_v1.0
赞助方	Lanyun Cloud

重要提示

⚠️ 重要提示

本模型的工作方式与EPS模型不同！请仔细阅读指南！

🔧 技术细节

本模型基于Laxhar/noobai-XL_v1.0，利用完整的Danbooru和e621数据集，带有原生标签和自然语言字幕。它实现为v预测模型（与eps预测不同），需要特定的参数配置。

📄 许可证

本模型的许可证继承自https://huggingface.co/OnomaAIResearch/Illustrious-xl-early-release-v0 fair-ai-public-license-1.0-sd，并添加了以下条款。任何使用本模型及其变体的行为均受此许可证约束。

一、使用限制

• 禁止用于有害、恶意或非法活动，包括但不限于骚扰、威胁和传播错误信息。
• 禁止生成不道德或冒犯性内容。
• 禁止违反用户所在司法管辖区的法律法规。

二、商业禁止

我们禁止任何形式的商业化，包括但不限于对模型、衍生模型或模型生成产品的货币化或商业使用。

三、开源社区

为了促进繁荣的开源社区，用户必须遵守以下要求：

• 开源衍生模型、合并模型、LoRA以及基于上述模型的产品。
• 分享工作细节，如合成公式、提示词和工作流程。
• 遵循公平人工智能公共许可证，确保衍生作品保持开源。

四、免责声明

生成的模型可能会产生意外或有害的输出。用户必须承担使用的所有风险和潜在后果。

参与者和贡献者

参与者

• L_A_X：Civitai | Liblib.art | Huggingface
• li_li：Civitai | Huggingface
• nebulae：Civitai | Huggingface
• Chenkin：Civitai | Huggingface
• Euge：Civitai | Huggingface | Github

贡献者

• Narugo1992：感谢narugo1992和deepghs团队开源各种训练集、图像处理工具和模型。
• Mikubill：感谢Mikubill提供的Naifu训练器。
• Onommai：感谢OnommAI开源一个强大的基础模型。
• V-Prediction：感谢以下人员的详细说明和实验：
  • adsfssdf
  • bluvoll
  • bvhari
  • catboxanon
  • parsee-mizuhashi
  • very-aesthetic
  • momoura
  • madmanfourohfour
• 社区：aria1th261、neggles、sdtana、chewing、irldoggo、reoe、kblueleaf、Yidhar、ageless、白玲可、Creeper、KaerMorh、吟游诗人、SeASnAkE、zwh20081、Wenaka⁧~喵、稀里哗啦、幸运二副、昨日の約、445、EBIX、Sopp、Y_X、Minthybasis、Rakosz