Trained Lumina2 Lora Yarn

🚀 クイックスタート

このモデルは、Alpha-VLLM/Lumina-Image-2.0をベースにDreamBoothを用いて学習されたLoRA重みです。以下の手順で使用できます。

✨ 主な機能

• このモデルは、Alpha-VLLM/Lumina-Image-2.0のDreamBooth LoRA重みです。
• yarn art styleというトリガーワードを使って画像生成を行うことができます。

📦 インストール

モデルのダウンロード

Files & versionsタブから*.safetensors LoRAをダウンロードしてください。

💻 使用例

基本的な使用法

import torch
from diffusers import Lumina2Text2ImgPipeline

pipe = Lumina2Text2ImgPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Image-2.0", torch_dtype=torch.bfloat16
).to("cuda")

pipe.load_lora_weights("trained-lumina2-lora-yarn")
prompt = "a puppy in a pond, yarn art style"

image = pipe(
    prompt, 
    negative_prompt="bad quality, worse quality, degenerate quality", 
    guidance_scale=6,
    num_inference_steps=35, 
    generator=torch.manual_seed(0)
).images[0]

高度な使用法

import torch
from diffusers import Lumina2Text2ImgPipeline

pipe = Lumina2Text2ImgPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Image-2.0", torch_dtype=torch.bfloat16
).to("cuda")


system_prompts = [
    None, 
    "You are an assistant designed to generate superior images with a dark overall theme.",
    "You are an assistant designed to generate superior images with a bright and shiny overall theme."
]

pipe.load_lora_weights("trained-lumina2-lora-yarn")
prompt = "a puppy in a pond, yarn art style"

for sp in system_prompts:
    filename = "yarn_lora"
    image = pipe(
        prompt, 
        negative_prompt="bad quality, worse quality, degenerate quality",
        system_prompt=sp, 
        guidance_scale=6,
        num_inference_steps=35, 
        generator=torch.manual_seed(0)
    ).images[0]
    if sp:
        filename += "_" + "_".join(sp.split(" ")).replace(",", "").replace(".", "")
        filename = filename[:100]
    
    image.save(f"{filename}.png")

📚 ドキュメント

モデルの説明

これらは、Alpha-VLLM/Lumina-Image-2.0のtrained-lumina2-lora-yarn DreamBooth LoRAの重みです。重みは、DreamBoothを使用し、Lumina2 diffusers trainerで学習されました。

トリガーワード

画像生成をトリガーするには、yarn art styleを使用する必要があります。学習中には、以下のsystem_promptも使用されました（Noneの場合は無視してください）: None。

結果

このモデルはsystem_promptの恩恵を受けます。以下は、異なるsystem_promptでの比較です。

条件	画像
システムプロンプトなし
暗い雰囲気のシステムプロンプト
明るい雰囲気のシステムプロンプト

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。