Shuttle 3 Diffusion

✨ 主な機能

モデルバリアント

これらのモデルバリアントは、さまざまなハードウェア機能とユースケースに最適化された異なる精度レベルと形式を提供します。

• bfloat16
• GGUF
• fp8

モデルは、https://chat.shuttleai.com/images のウェブサイトで試すことができます。

📦 インストール

APIを使用したモデルの利用

ShuttleAIを通じてAPI経由でShuttle 3 Diffusionを使用することができます。

• ShuttleAI
• ShuttleAI Docs

🧨 Diffusersを使用したモデルの利用

diffusersをインストールまたはアップグレードします。

pip install -U diffusers

次に、DiffusionPipelineを使用してモデルを実行できます。

import torch
from diffusers import DiffusionPipeline

# Load the diffusion pipeline from a pretrained model, using bfloat16 for tensor types.
pipe = DiffusionPipeline.from_pretrained(
    "shuttleai/shuttle-3-diffusion", torch_dtype=torch.bfloat16
).to("cuda")

# Uncomment the following line to save VRAM by offloading the model to CPU if needed.
# pipe.enable_model_cpu_offload()

# Uncomment the lines below to enable torch.compile for potential performance boosts on compatible GPUs.
# Note that this can increase loading times considerably.
# pipe.transformer.to(memory_format=torch.channels_last)
# pipe.transformer = torch.compile(
#     pipe.transformer, mode="max-autotune", fullgraph=True
# )

# Set your prompt for image generation.
prompt = "A cat holding a sign that says hello world"

# Generate the image using the diffusion pipeline.
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    num_inference_steps=4,
    max_sequence_length=256,
    # Uncomment the line below to use a manual seed for reproducible results.
    # generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Save the generated image.
image.save("shuttle.png")

詳細については、diffusersのドキュメントを参照してください。

ComfyUIを使用したモデルの利用

ComfyUIを使用してShuttle 3 Diffusionでローカル推論を実行するには、このsafetensorsファイルを使用できます。

💻 使用例

他のモデルとの比較

Shuttle 3 Diffusionは、わずか4ステップでFlux Devよりも良い画像を生成することができ、Apache 2ライセンスの下で提供されています。 詳細な例

学習の詳細

Shuttle 3 Diffusionは、Flux.1 Schnellをベースとしています。わずか4ステップでFlux DevまたはProに似た画像を生成することができ、Apache 2ライセンスの下で提供されています。モデルは学習中に部分的にデディスティルされました。10ステップを超えて使用すると、「リファイナーモード」に入り、構図を変えることなく画像の詳細を向上させます。特殊な学習方法を採用することで、Schnellシリーズモデルの制限を克服し、詳細と色を改善しています。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。