Proteusv0.3 Lightning

🚀 ProteusV0.3-Lightning

ProteusV0.3-Lightning採用了字節跳動發佈的全新Lightning方法，能在保證質量和提示理解能力的前提下，實現更快的推理速度。

🚀 快速開始

模型介紹

Proteus是在OpenDalleV1.1基礎上的一次重大升級，它充分利用了OpenDalleV1.1的核心功能，進一步提升了性能。主要改進體現在對提示的響應更加靈敏，以及具備更強的創造力。為了達到這一效果，模型使用了約220,000張帶有GPTV字幕的免版權庫存圖像（其中包含一些動漫圖像）進行微調，並對這些圖像進行了歸一化處理。此外，還通過精心挑選的10,000對高質量AI生成圖像對，運用了直接偏好優化（DPO）技術。

為了實現最佳性能，在訓練過程中會獨立訓練多個低秩自適應（LORA）模型，然後通過動態應用方法有選擇地將它們集成到主模型中。這些技術能夠針對模型的特定部分進行優化，同時避免在學習過程中對其他部分產生干擾。因此，Proteus在描繪複雜的面部特徵和逼真的皮膚紋理方面有顯著提升，同時在各種美學領域，特別是超現實主義、動漫和卡通風格的可視化方面，也保持了出色的表現。

模型設置

使用以下設置可以讓ProteusV0.3-Lightning達到最佳效果：

此外，建議在提示詞中使用以下關鍵詞來提升效果：最佳質量、高清、~*~美學~*~。

如果在構思提示詞時遇到困難，可以使用這個我整理的GPT來幫助優化提示詞：點擊訪問

示例展示

💻 使用示例

基礎用法

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    EulerAncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.3-Lightning", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=1,
    num_inference_steps=4
).images[0]

📄 許可證

本項目採用GPL-3.0許可證。

支持作者

如果您覺得這個項目有幫助，請通過以下方式支持作者的工作：

• 捐贈
• 關注作者