Lumina Next SFT Diffusers

🚀 Lumina-Next-SFT

Lumina-Next-SFTは20億のパラメータを持つNext - DiTモデルで、Gemma - 2Bをテキストエンコーダとして利用し、高品質な教師付き微調整（SFT）によって強化されています。

当社の生成モデルはNext - DiTをバックボーンとし、テキストエンコーダはGemma 2Bモデルで、VAEはstabilityaiによって微調整されたsdxlのバージョンを使用しています。

• 生成モデル: Next - DiT
• テキストエンコーダ: Gemma - 2B
• VAE: stabilityai/sdxl - vae

Lumina - T2X論文

✨ 主な機能

📰 ニュース

• [2024 - 07 - 08] 🎉🎉🎉 Lumina - Nextがdiffusersでサポートされるようになりました！@yiyixuxuと@sayakpaulに感謝！
• [2024 - 06 - 08] 🎉🎉🎉 Lumina - Next - SFTモデルをリリースしました。
• [2024 - 05 - 28] Lumina - Next - T2Iモデルを更新し、2K解像度の画像生成をサポートするようにしました。
• [2024 - 05 - 16] .pthの重みを.safetensorsの重みに変換しました。最新のコードを取得してdemo.pyを使用して推論を行ってください。
• [2024 - 05 - 12] Lumina - T2Iの次のバージョンであるLumina - Next - T2Iをリリースし、より高速で低メモリ使用量の画像生成モデルを提供します。

🎮 モデルズー

当社モデルのさらなるチェックポイントは近日公開予定です~

📦 インストール

1. conda環境を作成し、PyTorchをインストール

注意: ドライバーバージョンに合わせてCUDAバージョンを調整する必要がある場合があります。

conda create -n Lumina_T2X -y
conda activate Lumina_T2X
conda install python=3.11 pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=12.1 -c pytorch -c nvidia -y

2. 依存関係をインストール

pip install diffusers huggingface_hub

3. flash - attnをインストール

pip install flash-attn --no-build-isolation

💻 使用例

推論

1. 事前学習済みモデルを準備 ⭐⭐ （推奨）huggingface_cliを使用して当社のモデルをダウンロードできます:

huggingface-cli download --resume-download Alpha-VLLM/Lumina-Next-SFT-diffusers --local-dir /path/to/ckpt

2. デモコードで実行:

from diffusers import LuminaText2ImgPipeline
import torch

pipeline = LuminaText2ImgPipeline.from_pretrained("/path/to/ckpt/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16).to("cuda")

# または、コードを直接使用してモデルをダウンロードすることもできます
# pipeline = LuminaText2ImgPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16).to("cuda")

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. "
                        "Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で公開されています。