Proteusv0.2

🚀 ProteusV0.2

ProteusV0.2是一款強大的文本到圖像生成模型，它在OpenDalleV1.1的基礎上進行了顯著改進，能更好地理解提示詞，在多種風格的圖像生成上表現出色，尤其在超現實主義、動漫和卡通風格方面。

🚀 快速開始

模型特點

ProteusV0.2與RealCartoonXL合併，僅以0.5%的權重，就解決了無法理解與動漫或卡通風格相關標籤的問題。與版本0.1相比，版本0.2有了細微但顯著的改進，在提示理解上超越了MJ6，同時也接近其風格表現能力。

模型優勢

Proteus是對OpenDalleV1.1的複雜增強，利用其核心功能來提供更優的結果。主要改進領域包括對提示的更高響應性和增強的創作能力。為實現這一點，它使用了約220,000張來自免版權庫存圖像（包含一些動漫）的GPTV字幕圖像進行微調，然後進行了歸一化處理。此外，還通過精心挑選的10,000對高質量AI生成圖像對，採用了直接偏好優化（DPO）方法。

模型效果

為追求最佳性能，大量的低秩適應（LORA）模型被獨立訓練，然後通過動態應用方法有選擇地整合到主模型中。這些技術在學習階段針對模型的特定部分，同時避免干擾其他區域。因此，Proteus在描繪複雜的面部特徵和逼真的皮膚紋理方面有顯著改進，同時在各種美學領域，特別是超現實主義、動漫和卡通風格可視化方面保持了出色的能力。

✨ 主要特性

• 風格融合：與RealCartoonXL合併，解決動漫和卡通風格標籤理解問題。
• 提示理解增強：超越MJ6的提示理解能力。
• 多風格適配：在超現實主義、動漫和卡通風格等多種美學領域表現出色。
• 細節優化：在描繪複雜面部特徵和皮膚紋理方面有顯著改進。

📦 安裝指南

使用以下設置以獲得ProteusV0.2的最佳效果：

• CFG Scale：使用8到7的CFG比例。
• Steps：20到60步以獲得更多細節，20步以獲得更快結果。
• Sampler：DPM++ 2M SDE
• Scheduler：Karras
• Resolution：1280x1280或1024x1024

此外，建議在提示詞中使用以下關鍵詞來提升效果：最佳質量、高清、~*~美學~*~。

如果在構思提示詞方面遇到困難，可以使用這個我整理的GPT來幫助優化提示詞：點擊進入

💻 使用示例

基礎用法

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    KDPM2AncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.2", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = KDPM2AncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=7.5,
    num_inference_steps=50
).images[0]

📄 許可證

本項目採用GPL-3.0許可證。

支持作者

如果您覺得這個項目有幫助，請通過以下方式支持作者：

• 捐贈
• 關注作者

示例展示