Proteusv0.4 Lightning

🚀 ProteusV0.4：风格更新闪电版

本次更新着重提升了风格表现能力，类似于Midjourney的实现方式，而非在提示词理解方面取得进展。所采用的方法不会侵犯任何受版权保护的材料。

🚀 快速开始

Proteus简介

Proteus是对OpenDalleV1.1的一次重大升级，它充分利用了OpenDalleV1.1的核心功能，以提供更出色的结果。其主要改进领域包括对提示词的响应更加灵敏，以及增强的创意能力。为了实现这些改进，它使用了大约220,000张来自免版权库存图像（其中包含一些动漫图像）且带有GPTV字幕的图像进行微调，随后对这些图像进行了归一化处理。此外，还通过精心挑选的10,000对高质量AI生成图像对，采用了直接偏好优化（DPO）方法。

为了追求最佳性能，在通过动态应用方法将众多低秩自适应（LORA）模型选择性地集成到主模型之前，会对它们进行独立训练。这些技术在学习阶段针对模型的特定部分进行优化，同时避免对其他部分造成干扰。因此，Proteus在描绘复杂的面部特征和逼真的皮肤纹理方面有显著改进，同时在各种美学领域，尤其是超现实主义、动漫和卡通风格的可视化方面保持了出色的表现。

目前，该模型总共在400,000多张图像上进行了微调/训练。

ProteusV0.4-Lightning的设置

要使用ProteusV0.4-Lightning获得最佳效果，请使用以下设置：

• CFG Scale：使用1到2的CFG比例。
• Steps：若需要更多细节，可设置为4到10步；若追求更快的结果，可设置为8步。
• Sampler：eular
• Scheduler：normal
• Resolution：1280x1280或1024x1024

此外，建议在提示词中使用以下关键词以提升效果：最佳质量、高清、~*~美学~*~。

如果您在构思提示词时遇到困难，可以使用我整理的这个GPT来帮助优化提示词：点击访问

💻 使用示例

基础用法

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    EulerAncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.4-Lightning", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=2,
    num_inference_steps=8
).images[0]

📄 许可证

本项目采用GPL-3.0许可证。

如果您认可我的工作，请通过以下方式支持我：

• 捐赠支持
• 关注我的Twitter