Cogvideox 5b

🚀 CogVideoX-5B

CogVideoX-5Bは、テキストから高品質なビデオを生成することができるオープンソースのビデオ生成モデルです。このモデルは、多様なシーンやスタイルのビデオを生成し、ビデオ制作やエンターテイメントなどの分野での応用が期待されています。

📄 中文で読む | 🤗 Huggingface Space | 🌐 Github | 📜 arxiv

🎥 デモ展示

📚 モデル紹介

CogVideoXは、QingYingに由来するビデオ生成モデルのオープンソースバージョンです。以下の表に、現在提供しているビデオ生成モデルのリストとその基本情報を示します。

データ説明

• diffusersライブラリでテストする際には、enable_model_cpu_offload()オプションとpipe.vae.enable_tiling()最適化を有効にしました。このソリューションは、NVIDIA A100/H100以外のデバイスでの実際のVRAM/メモリ使用量についてはテストされていません。一般的に、このソリューションはNVIDIA Ampereアーキテクチャ以上のすべてのデバイスに適応できます。最適化を無効にすると、VRAM使用量が大幅に増加し、ピークVRAMは表の値の約3倍になります。
• マルチGPU推論を行う場合、enable_model_cpu_offload()最適化を無効にする必要があります。
• INT8モデルを使用すると、推論速度が低下します。これは、VRAMが少ないGPUに対応するために行われており、ビデオ品質の損失を最小限に抑えながら推論を適切に実行できますが、推論速度は大幅に低下します。
• 2BモデルはFP16精度でトレーニングされており、5BモデルはBF16精度でトレーニングされています。推論には、モデルのトレーニングに使用された精度を使用することをお勧めします。
• FP8精度はNVIDIA H100以上のデバイスでのみ使用でき、torch、torchao、diffusers、accelerateのPythonパッケージをソースからインストールする必要があります。CUDA 12.4が推奨されます。
• 推論速度のテストでも、前述のVRAM最適化スキームを使用しました。VRAM最適化を行わない場合、推論速度は約10％向上します。diffusersを使用するモデルのみが量子化をサポートしています。
• モデルは英語入力のみをサポートしています。他の言語は大規模モデルの改良時に英語に翻訳することができます。

注意事項

• SATを使用して、SATバージョンのモデルの推論と微調整を行います。詳細については、GitHubをご覧ください。

🚀 クイックスタート

このモデルは、huggingface diffusersライブラリを使用したデプロイをサポートしています。以下の手順に従ってデプロイすることができます。

GitHubを訪問し、関連するプロンプトの最適化と変換を確認することをお勧めします。これにより、より良い体験を得ることができます。

1. 必要な依存関係をインストールします。

# diffusers>=0.30.1
# transformers>=4.44.2
# accelerate>=0.33.0 (ソースからのインストールを推奨)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. コードを実行します。

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

🔍 モデルを探索する

githubをご覧ください。ここでは以下の内容を見つけることができます。

1. より詳細な技術的な詳細とコードの説明。
2. プロンプトの最適化と変換。
3. SATバージョンのモデルの推論と微調整、さらにはプレリリース。
4. プロジェクトの更新ログのダイナミクス、より多くのインタラクティブな機会。
5. CogVideoに関するその他の情報。

📄 ライセンス

このプロジェクトは、こちらのライセンスの下で公開されています。