Seba Ai

🚀 Seba-AI-5B

Seba-AI-5Bは、高品質なビデオ生成を実現するモデルです。CogVideoXシリーズの一つで、多様なビデオ生成タスクに対応しています。

🚀 クイックスタート

このモデルはhuggingfaceのdiffusersライブラリを使用したデプロイをサポートしています。以下の手順に従ってデプロイできます。

💡 使用提案 より良い体験を得るために、GitHubを訪問し、関連するプロンプトの最適化と変換を確認することをおすすめします。

1. 必要な依存関係をインストールします。

# diffusers>=0.30.1
# transformers>=4.44.2
# accelerate>=0.33.0 (ソースからのインストールを推奨)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. コードを実行します。

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, f"

✨ 主な機能

• 高品質なビデオ生成が可能で、視覚的な効果が優れています。
• 複数の推論精度と量子化オプションをサポートしており、異なるハードウェア環境に対応します。
• 特定のハードウェアでのVRAM使用量を最適化し、低コストでの実行が可能です。

📚 ドキュメント

デモ展示

📄 Glitch Readme | 🤗 Glitch-Tech | 🌐 Hugging Fcae |

📍 Glitch H/F と API Platform を訪問して、商用ビデオ生成モデルを体験してください。

モデル紹介

CogVideoXは、QingYingに由来するビデオ生成モデルのオープンソースバージョンです。以下の表に、現在提供しているビデオ生成モデルのリストとその基本情報を示します。

データ説明

• diffusersライブラリを使用してテストする場合、diffusersライブラリが提供するすべての最適化を有効にします。このソリューションは、NVIDIA A100 / H100以外のデバイスでの実際のVRAM/メモリ使用量についてはテストされていません。一般的に、このソリューションはNVIDIA Ampereアーキテクチャ以上のすべてのデバイスに適応できます。最適化を無効にすると、VRAM使用量が大幅に増加し、ピークVRAM使用量は表に示されている値の約3倍になります。ただし、速度は3 - 4倍になります。一部の最適化を選択的に無効にすることができます。

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

• マルチGPU推論を行う場合、enable_model_cpu_offload()最適化を無効にする必要があります。
• INT8モデルを使用すると、推論速度が低下します。これは、VRAMが少ないGPUでも、最小限のビデオ品質の損失で正常に推論を行えるようにするためですが、推論速度は大幅に低下します。
• 2BモデルはFP16精度でトレーニングされ、5BモデルはBF16精度でトレーニングされています。推論には、モデルがトレーニングされた精度を使用することをおすすめします。
• PytorchAOと[Optimum - quanto](https://github.com/huggingface/optimum - quanto/)を使用して、テキストエンコーダー、Transformer、VAEモジュールを量子化し、CogVideoXのメモリ要件を削減することができます。これにより、無料のT4 ColabやVRAMが少ないGPUでもモデルを実行できるようになります。TorchAO量子化はtorch.compileと完全に互換性があり、推論速度を大幅に向上させることができることにも注意してください。FP8精度は、NVIDIA H100以上のデバイスでのみ使用でき、torch、torchao、diffusers、accelerateのPythonパッケージをソースからインストールする必要があります。CUDA 12.4が推奨されます。
• 推論速度テストでも上記のVRAM最適化スキームを使用しました。VRAM最適化を行わない場合、推論速度は約10%向上します。diffusersバージョンのモデルのみが量子化をサポートしています。
• モデルは英語入力のみをサポートしています。他の言語は、大規模モデルによる改良時に英語に翻訳することができます。

注意事項

• SATを使用して、SATバージョンのモデルの推論とファインチューニングを行います。詳細については、GitHubをご覧ください。

📄 ライセンス

このプロジェクトは[MITライセンス](https://huggingface.co/THUDM/CogVideoX - 5b/blob/main/LICENSE)の下でライセンスされています。