Proteusv0.2

🚀 ProteusV0.2

ProteusV0.2是一款强大的文本到图像生成模型，它在OpenDalleV1.1的基础上进行了显著改进，能更好地理解提示词，在多种风格的图像生成上表现出色，尤其在超现实主义、动漫和卡通风格方面。

🚀 快速开始

模型特点

ProteusV0.2与RealCartoonXL合并，仅以0.5%的权重，就解决了无法理解与动漫或卡通风格相关标签的问题。与版本0.1相比，版本0.2有了细微但显著的改进，在提示理解上超越了MJ6，同时也接近其风格表现能力。

模型优势

Proteus是对OpenDalleV1.1的复杂增强，利用其核心功能来提供更优的结果。主要改进领域包括对提示的更高响应性和增强的创作能力。为实现这一点，它使用了约220,000张来自免版权库存图像（包含一些动漫）的GPTV字幕图像进行微调，然后进行了归一化处理。此外，还通过精心挑选的10,000对高质量AI生成图像对，采用了直接偏好优化（DPO）方法。

模型效果

为追求最佳性能，大量的低秩适应（LORA）模型被独立训练，然后通过动态应用方法有选择地整合到主模型中。这些技术在学习阶段针对模型的特定部分，同时避免干扰其他区域。因此，Proteus在描绘复杂的面部特征和逼真的皮肤纹理方面有显著改进，同时在各种美学领域，特别是超现实主义、动漫和卡通风格可视化方面保持了出色的能力。

✨ 主要特性

• 风格融合：与RealCartoonXL合并，解决动漫和卡通风格标签理解问题。
• 提示理解增强：超越MJ6的提示理解能力。
• 多风格适配：在超现实主义、动漫和卡通风格等多种美学领域表现出色。
• 细节优化：在描绘复杂面部特征和皮肤纹理方面有显著改进。

📦 安装指南

使用以下设置以获得ProteusV0.2的最佳效果：

• CFG Scale：使用8到7的CFG比例。
• Steps：20到60步以获得更多细节，20步以获得更快结果。
• Sampler：DPM++ 2M SDE
• Scheduler：Karras
• Resolution：1280x1280或1024x1024

此外，建议在提示词中使用以下关键词来提升效果：最佳质量、高清、~*~美学~*~。

如果在构思提示词方面遇到困难，可以使用这个我整理的GPT来帮助优化提示词：点击进入

💻 使用示例

基础用法

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    KDPM2AncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.2", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = KDPM2AncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=7.5,
    num_inference_steps=50
).images[0]

📄 许可证

本项目采用GPL-3.0许可证。

支持作者

如果您觉得这个项目有帮助，请通过以下方式支持作者：

• 捐赠
• 关注作者

示例展示