Naomi Makkelie Seaweed Painting Style 3

🚀 SDXL LoRA DreamBooth - rikhoffbauer2/naomi-makkelie-seaweed-painting-style-3

このモデルは、rikhoffbauer2/naomi-makkelie-seaweed-painting-style-3のLoRA適応重みを使用した、stabilityai/stable-diffusion-xl-base-1.0用のテキストから画像を生成するモデルです。

🚀 クイックスタート

このモデルを使用することで、特定のスタイルの画像を生成することができます。以下に、モデルのダウンロード方法と使用例を示します。

✨ 主な機能

• 特定のスタイル（rikhoffbauer2/naomi-makkelie-seaweed-painting-style-3）を持つ画像を生成できます。
• 複数のUI（AUTOMATIC1111、Comfy UI、SD.Next、Invoke）で使用可能です。
• 🧨 diffusersライブラリを使用してプログラムからも利用できます。

📦 インストール

モデルのダウンロード

AUTOMATIC1111やComfy UI、SD.Next、InvokeなどのUIで使用する場合：

• LoRA：naomi-makkelie-seaweed-painting-style-3.safetensors をここからダウンロード 💾。
  • これを models/Lora フォルダに配置します。
  • AUTOMATIC1111では、プロンプトに <lora:naomi-makkelie-seaweed-painting-style-3:1> を追加することでLoRAをロードします。ComfyUIでは 通常のLoRAとしてロード します。
• Embeddings：naomi-makkelie-seaweed-painting-style-3_emb.safetensors をここからダウンロード 💾。
  • これを embeddings フォルダに配置します。
  • プロンプトに naomi-makkelie-seaweed-painting-style-3_emb を追加して使用します。例えば、in the style of naomi-makkelie-seaweed-painting-style-3_emb のように。 （このLoRAはLoRAとEmbeddingsを一緒に学習させているため、両方が必要です）

💻 使用例

基本的な使用法

from diffusers import AutoPipelineForText2Image
import torch
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
        
pipeline = AutoPipelineForText2Image.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipeline.load_lora_weights('rikhoffbauer2/naomi-makkelie-seaweed-painting-style-3', weight_name='pytorch_lora_weights.safetensors')
embedding_path = hf_hub_download(repo_id='rikhoffbauer2/naomi-makkelie-seaweed-painting-style-3', filename='naomi-makkelie-seaweed-painting-style-3_emb.safetensors', repo_type="model")
state_dict = load_file(embedding_path)
pipeline.load_textual_inversion(state_dict["clip_l"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder, tokenizer=pipeline.tokenizer)
pipeline.load_textual_inversion(state_dict["clip_g"], token=["<s0>", "<s1>"], text_encoder=pipeline.text_encoder_2, tokenizer=pipeline.tokenizer_2)
        
image = pipeline('in the style of <s0><s1>').images[0]

より詳細な情報（LoRAの重み付け、マージ、融合など）については、diffusersでのLoRAのロードに関するドキュメント を参照してください。

📚 ドキュメント

トリガーワード

学習したコンセプトの画像生成をトリガーするには、プロンプト内の各コンセプト識別子を新しく挿入されたトークンに置き換えます。

コンセプト TOK をトリガーするには → プロンプトで <s0><s1> を使用します。

🔧 技術詳細

• すべての ファイルとバージョン。
• 重みは 🧨 diffusers Advanced Dreambooth Training Script を使用して学習されました。
• テキストエンコーダのLoRAは有効にされていません（False）。
• ピボタルチューニングは有効にされています（True）。
• 学習に使用された特別なVAE：madebyollin/sdxl-vae-fp16-fix。

📄 ライセンス

このモデルは、openrail++ ライセンスの下で提供されています。