Cogvideox 2b

🚀 CogVideoX-2B

CogVideoX-2Bは、ビデオ生成モデルです。入門レベルのモデルで、互換性を考慮しています。実行や二次開発のコストが低く、さまざまなシーンでの利用に適しています。

📄 中文で読む | 🤗 Huggingface Space | 🌐 Github | 📜 arxiv

📍 QingYing と API Platform を訪問して、商用ビデオ生成モデルを体験してください。

🎥 デモ展示

📖 モデル紹介

CogVideoXは、QingYing を起源とするビデオ生成モデルのオープンソースバージョンです。以下の表に、現在提供しているビデオ生成モデルのリストとその基本情報を示します。

データ説明

• diffusers ライブラリを使用してテストする場合、diffusers ライブラリが提供するすべての最適化が有効になります。このソリューションは、NVIDIA A100 / H100 以外のデバイスでの実際のVRAM/メモリ使用量についてはテストされていません。一般的に、このソリューションは NVIDIA Ampereアーキテクチャ 以上のすべてのデバイスに適応できます。最適化を無効にすると、VRAM使用量が大幅に増加し、ピークVRAM使用量は表に示されている値の約3倍になります。ただし、速度は3 - 4倍になります。一部の最適化を選択的に無効にすることができます。以下のコードを参照してください。

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

• マルチGPU推論を行う場合、enable_model_cpu_offload() 最適化を無効にする必要があります。
• INT8モデルを使用すると、推論速度が低下します。これは、VRAMが少ないGPUでも推論を正常に行えるようにするためで、ビデオ品質の損失を最小限に抑えつつ、推論速度は大幅に低下します。
• 2Bモデルは FP16 精度で学習され、5Bモデルは BF16 精度で学習されています。推論には、モデルが学習された精度を使用することをお勧めします。
• PytorchAO と Optimum-quanto を使用して、テキストエンコーダ、Transformer、VAEモジュールを量子化し、CogVideoXのメモリ要件を削減することができます。これにより、無料のT4 ColabやVRAMが小さいGPUでもモデルを実行できるようになります！また、TorchAO量子化は torch.compile と完全に互換性があり、推論速度を大幅に向上させることができます。FP8 精度は NVIDIA H100 以上のデバイスでのみ使用でき、torch、torchao、diffusers、accelerate のPythonパッケージをソースからインストールする必要があります。CUDA 12.4 が推奨されます。
• 推論速度テストでも上記のVRAM最適化スキームを使用しました。VRAM最適化を行わない場合、推論速度は約10％向上します。量子化は diffusers バージョンのモデルのみがサポートしています。
• モデルは英語入力のみをサポートしています。他の言語は、大規模モデルによって英語に翻訳してから入力することができます。

注意事項

• SAT を使用して、SATバージョンのモデルの推論と微調整を行ってください。詳細については、GitHubをご覧ください。

🚀 クイックスタート

このモデルは、huggingface diffusersライブラリを使用したデプロイをサポートしています。以下の手順に従ってデプロイできます。

GitHub を訪問し、関連するプロンプトの最適化と変換を確認することをお勧めします。これにより、より良い体験が得られます。

1. 必要な依存関係をインストールする

# diffusers>=0.30.1
# transformers>=0.44.0
# accelerate>=0.33.0 (ソースからのインストールを推奨)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. コードを実行する

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-2b",
    torch_dtype=torch.float16
)

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()
video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

💪 量子化推論

PytorchAO と Optimum-quanto を使用して、テキストエンコーダ、Transformer、VAEモジュールを量子化し、CogVideoXのメモリ要件を削減することができます。これにより、無料のT4 ColabやVRAMが小さいGPUでもモデルを実行できるようになります！また、TorchAO量子化は torch.compile と完全に互換性があり、推論速度を大幅に向上させることができます。

# 始めるには、PytorchAOをGitHubソースからインストールし、PyTorch Nightlyを使用する必要があります。
# 次のリリースまでは、ソースとナイトリー版のインストールが必要です。

import torch
from diffusers import AutoencoderKLCogVideoX, CogVideoXTransformer3DModel, CogVideoXPipeline
from diffusers.utils import export_to_video
+ from transformers import T5EncoderModel
+ from torchao.quantization import quantize_, int8_weight_only, int8_dynamic_activation_int8_weight

+ quantization = int8_weight_only

+ text_encoder = T5EncoderModel.from_pretrained("THUDM/CogVideoX-5b", subfolder="text_encoder", torch_dtype=torch.bfloat16)
+ quantize_(text_encoder, quantization())

+ transformer = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX-5b", subfolder="transformer", torch_dtype=torch.bfloat16)
+ quantize_(transformer, quantization())

+ vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-2b", subfolder="vae", torch_dtype=torch.bfloat16)
+ quantize_(vae, quantization())

# パイプラインを作成し、推論を実行する
pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-2b",
+    text_encoder=text_encoder,
+    transformer=transformer,
+    vae=vae,
    torch_dtype=torch.bfloat16,
)
pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。