Proteusv0.3 Lightning

🚀 ProteusV0.3-Lightning

ProteusV0.3-Lightning采用了字节跳动发布的全新Lightning方法，能在保证质量和提示理解能力的前提下，实现更快的推理速度。

🚀 快速开始

模型介绍

Proteus是在OpenDalleV1.1基础上的一次重大升级，它充分利用了OpenDalleV1.1的核心功能，进一步提升了性能。主要改进体现在对提示的响应更加灵敏，以及具备更强的创造力。为了达到这一效果，模型使用了约220,000张带有GPTV字幕的免版权库存图像（其中包含一些动漫图像）进行微调，并对这些图像进行了归一化处理。此外，还通过精心挑选的10,000对高质量AI生成图像对，运用了直接偏好优化（DPO）技术。

为了实现最佳性能，在训练过程中会独立训练多个低秩自适应（LORA）模型，然后通过动态应用方法有选择地将它们集成到主模型中。这些技术能够针对模型的特定部分进行优化，同时避免在学习过程中对其他部分产生干扰。因此，Proteus在描绘复杂的面部特征和逼真的皮肤纹理方面有显著提升，同时在各种美学领域，特别是超现实主义、动漫和卡通风格的可视化方面，也保持了出色的表现。

模型设置

使用以下设置可以让ProteusV0.3-Lightning达到最佳效果：

此外，建议在提示词中使用以下关键词来提升效果：最佳质量、高清、~*~美学~*~。

如果在构思提示词时遇到困难，可以使用这个我整理的GPT来帮助优化提示词：点击访问

示例展示

💻 使用示例

基础用法

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    EulerAncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.3-Lightning", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=1,
    num_inference_steps=4
).images[0]

📄 许可证

本项目采用GPL-3.0许可证。

支持作者

如果您觉得这个项目有帮助，请通过以下方式支持作者的工作：

• 捐赠
• 关注作者