Proteusv0.2

🚀 ProteusV0.2

このモデルは、カスタムスクリプトとslerpのような手法を用いて、わずか0.5%の比率でRealCartoonXLと統合され、アニメやカートゥーンスタイルに関連するタグを理解できない問題を解消しています。

バージョン0.2は、バージョン0.1に比べて微妙ですが重要な改善を見せています。MJ6を上回るプロンプト理解能力を示し、同時にそのスタイル表現能力にも近づいています。

🚀 Proteus

Proteusは、OpenDalleV1.1を洗練させたモデルで、そのコア機能を活用して優れた結果を提供します。主な進歩点は、プロンプトに対する高い応答性と創造能力の向上です。これを実現するために、著作権フリーのストック画像（一部アニメを含む）から約220,000枚のGPTVキャプション付き画像を使用してファインチューニングし、それらを正規化しました。さらに、10,000枚の精心選択された高品質のAI生成画像ペアを通じてDPO（Direct Preference Optimization）を適用しました。

最適なパフォーマンスを追求するために、多数のLORA（Low-Rank Adaptation）モデルを独立して学習させた後、動的な適用方法を通じて主要モデルに選択的に組み込んでいます。これらの手法は、学習段階でモデル内の特定のセグメントを対象とし、他の領域に干渉することなく学習を行います。その結果、Proteusは複雑な顔の特徴やリアルな肌の質感を描写する能力が著しく向上し、同時に超現実主義、アニメ、カートゥーンスタイルなどの様々な美学領域でも高い能力を維持しています。

📦 インストール

ProteusV0.2の設定

ProteusV0.2で最良の結果を得るには、以下の設定を使用してください。

• CFG Scale: 8から7の間を使用
• Steps: より詳細な結果には20から60ステップ、高速な結果には20ステップ
• Sampler: DPM++ 2M SDE
• Scheduler: Karras
• Resolution: 1280x1280または1024x1024

また、プロンプトを改善するために以下のキーワードを使用することを検討してください。 best quality, HD, ~*~aesthetic~*~

プロンプトを考えるのに苦労している場合は、このGPTを使用してプロンプトを洗練させることができます。 https://chat.openai.com/g/g-RziQNoydR-diffusion-master

💻 使用例

基本的な使用法

import torch
from diffusers import (
    StableDiffusionXLPipeline, 
    KDPM2AncestralDiscreteScheduler,
    AutoencoderKL
)

# Load VAE component
vae = AutoencoderKL.from_pretrained(
    "madebyollin/sdxl-vae-fp16-fix", 
    torch_dtype=torch.float16
)

# Configure the pipeline
pipe = StableDiffusionXLPipeline.from_pretrained(
    "dataautogpt3/ProteusV0.2", 
    vae=vae,
    torch_dtype=torch.float16
)
pipe.scheduler = KDPM2AncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe.to('cuda')

# Define prompts and generate image
prompt = "black fluffy gorgeous dangerous cat animal creature, large orange eyes, big fluffy ears, piercing gaze, full moon, dark ambiance, best quality, extremely detailed"
negative_prompt = "nsfw, bad quality, bad anatomy, worst quality, low quality, low resolutions, extra fingers, blur, blurry, ugly, wrongs proportions, watermark, image artifacts, lowres, ugly, jpeg artifacts, deformed, noisy image"

image = pipe(
    prompt, 
    negative_prompt=negative_prompt, 
    width=1024,
    height=1024,
    guidance_scale=7.5,
    num_inference_steps=50
).images[0]

支援

私の作業を支援するには、以下のリンクから寄付をしていただくか、フォローをしていただけると幸いです。

• https://www.buymeacoffee.com/DataVoid
• https://twitter.com/DataPlusEngine

📄 ライセンス

このプロジェクトは、GPL-3.0ライセンスの下で提供されています。