Proteusv0.4 Lightning

🚀 ProteusV0.4：風格更新閃電版

本次更新著重提升了風格表現能力，類似於Midjourney的實現方式，而非在提示詞理解方面取得進展。所採用的方法不會侵犯任何受版權保護的材料。

🚀 快速開始

Proteus簡介

Proteus是對OpenDalleV1.1的一次重大升級，它充分利用了OpenDalleV1.1的核心功能，以提供更出色的結果。其主要改進領域包括對提示詞的響應更加靈敏，以及增強的創意能力。為了實現這些改進，它使用了大約220,000張來自免版權庫存圖像（其中包含一些動漫圖像）且帶有GPTV字幕的圖像進行微調，隨後對這些圖像進行了歸一化處理。此外，還通過精心挑選的10,000對高質量AI生成圖像對，採用了直接偏好優化（DPO）方法。

為了追求最佳性能，在通過動態應用方法將眾多低秩自適應（LORA）模型選擇性地集成到主模型之前，會對它們進行獨立訓練。這些技術在學習階段針對模型的特定部分進行優化，同時避免對其他部分造成干擾。因此，Proteus在描繪複雜的面部特徵和逼真的皮膚紋理方面有顯著改進，同時在各種美學領域，尤其是超現實主義、動漫和卡通風格的可視化方面保持了出色的表現。

目前，該模型總共在400,000多張圖像上進行了微調/訓練。

ProteusV0.4-Lightning的設置

要使用ProteusV0.4-Lightning獲得最佳效果，請使用以下設置：

• CFG Scale：使用1到2的CFG比例。
• Steps：若需要更多細節，可設置為4到10步；若追求更快的結果，可設置為8步。
• Sampler：eular
• Scheduler：normal
• Resolution：1280x1280或1024x1024

此外，建議在提示詞中使用以下關鍵詞以提升效果：最佳質量、高清、~*~美學~*~。

如果您在構思提示詞時遇到困難，可以使用我整理的這個GPT來幫助優化提示詞：點擊訪問

💻 使用示例

基礎用法

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    EulerAncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.4-Lightning", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=2,
    num_inference_steps=8
).images[0]

📄 許可證

本項目採用GPL-3.0許可證。

如果您認可我的工作，請通過以下方式支持我：

• 捐贈支持
• 關注我的Twitter