SD3.5 Large IP Adapter

🚀 SD3.5-Large-IP-Adapter

このリポジトリには、InstantX Teamの研究者によって公開されたSD3.5-Largeモデル用のIP-Adapterが含まれています。このモデルでは、画像がテキストのように機能するため、他のテキストに反応しない場合や干渉する場合がありますが、是非このモデルを楽しんでいただき、Twitterで皆さんの創作作品を共有していただけると幸いです。

🚀 クイックスタート

このIP-Adapterを使用することで、SD3.5-Largeモデルをより柔軟に利用することができます。以下のセクションで詳細をご紹介します。

✨ 主な機能

• 画像エンコーダの高性能化：google/siglip-so400m-patch14-384を使用して画像をエンコードすることで、高品質な画像生成が可能です。
• 新しいレイヤーの追加：すべての38ブロックに新しいレイヤーを追加することで、モデルの表現力を向上させています。

📦 インストール

コードはまだdiffusersに統合されていないため、現時点ではローカルファイルを使用してください。

💻 使用例

基本的な使用法

import torch
from PIL import Image

from models.transformer_sd3 import SD3Transformer2DModel
from pipeline_stable_diffusion_3_ipa import StableDiffusion3Pipeline

model_path = 'stabilityai/stable-diffusion-3.5-large'
ip_adapter_path = './ip-adapter.bin'
image_encoder_path = "google/siglip-so400m-patch14-384"

transformer = SD3Transformer2DModel.from_pretrained(
    model_path, subfolder="transformer", torch_dtype=torch.bfloat16
)

pipe = StableDiffusion3Pipeline.from_pretrained(
    model_path, transformer=transformer, torch_dtype=torch.bfloat16
).to("cuda")

pipe.init_ipadapter(
    ip_adapter_path=ip_adapter_path, 
    image_encoder_path=image_encoder_path, 
    nb_token=64, 
)

ref_img = Image.open('./assets/1.jpg').convert('RGB')

# please note that SD3.5 Large is sensitive to highres generation like 1536x1536
image = pipe(
    width=1024,
    height=1024,
    prompt='a cat',
    negative_prompt="lowres, low quality, worst quality",
    num_inference_steps=24, 
    guidance_scale=5.0,
    generator=torch.Generator("cuda").manual_seed(42),
    clip_image=ref_img,
    ipadapter_scale=0.5,
).images[0]
image.save('./result.jpg')

📚 ドキュメント

モデルカード

これは通常のIP-Adapterで、すべての38ブロックに新しいレイヤーが追加されています。画像エンコードにはgoogle/siglip-so400m-patch14-384を使用し、TimeResamplerを採用して投影しています。画像トークン数は64に設定されています。

展示例

Community ComfyUIサポート

詳細はComfyUI-InstantX-IPAdapter-SD3を参照してください。

📄 ライセンス

このモデルはstabilityai-ai-communityの下で公開されています。すべての著作権は保持されています。

謝辞

このプロジェクトはHuggingFaceとfal.aiによって支援されています。また、ComfyUIノードをサポートしてくれたSlickytailに感謝します。

引用

もしこのプロジェクトがあなたの研究に役立った場合、以下のように引用してください。

@misc{sd35-large-ipa,
    author = {InstantX Team},
    title = {InstantX SD3.5-Large IP-Adapter Page},
    year = {2024},
}