Shuttle 3 Diffusion Fp8

🚀 Shuttle 3 Diffusion

Shuttle 3 Diffusionは、テキストプロンプトから詳細で多様な画像をわずか4ステップで生成するテキスト・イメージ変換AIモデルです。画像品質、排版、複雑なプロンプトの理解、リソース効率などの面で性能が向上しています。

✨ 主な機能

モデルバリアント

これらのモデルバリアントは、さまざまなハードウェア機能とユースケースに最適化された、異なる精度レベルと形式を提供します。

• bfloat16
• GGUF
• fp8

デモ画像

ウェブサイトでの試用

こちらのウェブサイトでモデルを試すことができます。https://chat.shuttleai.com/images

他のモデルとの比較

Shuttle 3 Diffusionは、4ステップでFlux Devよりも良質な画像を生成することができ、Apache 2ライセンスの下で提供されています。 詳細な例

📦 インストール

APIを使用したモデルの利用

ShuttleAIを通じてAPIでShuttle 3 Diffusionを使用することができます。

• ShuttleAI
• ShuttleAI Docs

🧨 Diffusersを使用したモデルの利用

diffusersをインストールまたはアップグレードします。

pip install -U diffusers

💻 使用例

基本的な使用法

import torch
from diffusers import DiffusionPipeline

# Load the diffusion pipeline from a pretrained model, using bfloat16 for tensor types.
pipe = DiffusionPipeline.from_pretrained(
    "shuttleai/shuttle-3-diffusion", torch_dtype=torch.bfloat16
).to("cuda")

# Uncomment the following line to save VRAM by offloading the model to CPU if needed.
# pipe.enable_model_cpu_offload()

# Uncomment the lines below to enable torch.compile for potential performance boosts on compatible GPUs.
# Note that this can increase loading times considerably.
# pipe.transformer.to(memory_format=torch.channels_last)
# pipe.transformer = torch.compile(
#     pipe.transformer, mode="max-autotune", fullgraph=True
# )

# Set your prompt for image generation.
prompt = "A cat holding a sign that says hello world"

# Generate the image using the diffusion pipeline.
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    num_inference_steps=4,
    max_sequence_length=256,
    # Uncomment the line below to use a manual seed for reproducible results.
    # generator=torch.Generator("cpu").manual_seed(0)
).images[0]

# Save the generated image.
image.save("shuttle.png")

詳細については、diffusersのドキュメントを参照してください。

ComfyUIを使用したモデルの利用

ComfyUIを使用してShuttle 3 Diffusionでローカル推論を実行するには、このsafetensorsファイルを使用することができます。

🔧 技術詳細

Shuttle 3 Diffusionは、Flux.1 Schnellをベースにしています。4ステップでFlux DevまたはProに似た画像を生成することができ、Apache 2ライセンスの下で提供されています。モデルはトレーニング中に部分的にデディスティルされました。10ステップを超えて使用すると、「リファイナーモード」に入り、構図を変えることなく画像の詳細が向上します。特殊なトレーニング方法を採用することで、Schnellシリーズモデルの制限を克服し、詳細と色が改善されています。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。