Seba Ai

🚀 Seba-AI-5B

Seba-AI-5B 是基於 CogVideoX 的視頻生成模型，具有較高的視頻生成質量和更好的視覺效果，支持使用 huggingface diffusers 庫進行部署。

🚀 快速開始

本模型支持使用 huggingface diffusers 庫進行部署，你可以按照以下步驟進行部署。

建議你訪問我們的 GitHub 查看相關的提示詞優化和轉換，以獲得更好的體驗。

1. 安裝所需依賴

# diffusers>=0.30.1
# transformers>=4.44.2
# accelerate>=0.33.0 (建議從源代碼安裝)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

2. 運行代碼

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

✨ 主要特性

• 高質量視頻生成：CogVideoX-5B 模型具有更高的視頻生成質量和更好的視覺效果。
• 多精度支持：支持多種推理精度，如 FP16、BF16、FP32 等。
• 多 GPU 推理：支持多 GPU 推理，可提高推理速度。
• 量化支持：可使用 PytorchAO 和 Optimum-quanto 對模型進行量化，降低內存需求。

📦 安裝指南

安裝所需依賴：

# diffusers>=0.30.1
# transformers>=4.44.2
# accelerate>=0.33.0 (建議從源代碼安裝)
# imageio-ffmpeg>=0.5.1
pip install --upgrade transformers accelerate diffusers imageio-ffmpeg 

💻 使用示例

基礎用法

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
    torch_dtype=torch.bfloat16
)

pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

高級用法

使用量化推理：

# 開始前，需要從 GitHub 源代碼安裝 PytorchAO 和 PyTorch Nightly。
# 直到下一個版本發佈前，需要進行源代碼和夜間版安裝。

import torch
from diffusers import AutoencoderKLCogVideoX, CogVideoXTransformer3DModel, CogVideoXPipeline
from diffusers.utils import export_to_video
+ from transformers import T5EncoderModel
+ from torchao.quantization import quantize_, int8_weight_only, int8_dynamic_activation_int8_weight

+ quantization = int8_weight_only

+ text_encoder = T5EncoderModel.from_pretrained("THUDM/CogVideoX-5b", subfolder="text_encoder", torch_dtype=torch.bfloat16)
+ quantize_(text_encoder, quantization())

+ transformer = CogVideoXTransformer3DModel.from_pretrained("THUDM/CogVideoX-5b", subfolder="transformer", torch_dtype=torch.bfloat16)
+ quantize_(transformer, quantization())

+ vae = AutoencoderKLCogVideoX.from_pretrained("THUDM/CogVideoX-5b", subfolder="vae", torch_dtype=torch.bfloat16)
+ quantize_(vae, quantization())

# 創建管道並進行推理
pipe = CogVideoXPipeline.from_pretrained(
    "THUDM/CogVideoX-5b",
+    text_encoder=text_encoder,
+    transformer=transformer,
+    vae=vae,
    torch_dtype=torch.bfloat16,
)
pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

video = pipe(
    prompt=prompt,
    num_videos_per_prompt=1,
    num_inference_steps=50,
    num_frames=49,
    guidance_scale=6,
    generator=torch.Generator(device="cuda").manual_seed(42),
).frames[0]

export_to_video(video, "output.mp4", fps=8)

📚 詳細文檔

模型介紹

CogVideoX 是源自 QingYing 的視頻生成模型的開源版本。下表展示了我們目前提供的視頻生成模型列表及其基礎信息。

數據說明

• 使用 diffusers 庫進行測試時，啟用了 diffusers 庫提供的所有優化。此解決方案尚未在除 NVIDIA A100 / H100 以外的設備上測試實際顯存/內存使用情況。一般來說，此解決方案可適用於所有 NVIDIA Ampere 架構 及以上的設備。如果禁用優化，顯存使用量將顯著增加，峰值顯存使用量約為表中顯示的 3 倍。不過，速度將提高 3 - 4 倍。你可以選擇性地禁用一些優化，包括：

pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

• 進行多 GPU 推理時，需要禁用 enable_model_cpu_offload() 優化。
• 使用 INT8 模型會降低推理速度。這是為了確保顯存較低的 GPU 能夠正常進行推理，同時保持最小的視頻質量損失，不過推理速度會顯著下降。
• 2B 模型使用 FP16 精度進行訓練，5B 模型使用 BF16 精度進行訓練。建議使用模型訓練時的精度進行推理。
• PytorchAO 和 Optimum-quanto 可用於對文本編碼器、Transformer 和 VAE 模塊進行量化，以降低 CogVideoX 的內存需求。這使得在免費的 T4 Colab 或顯存較小的 GPU 上運行模型成為可能！值得注意的是，TorchAO 量化與 torch.compile 完全兼容，可顯著提高推理速度。FP8 精度必須在 NVIDIA H100 及以上的設備上使用，這需要從源代碼安裝 torch、torchao、diffusers 和 accelerate Python 包。建議使用 CUDA 12.4。
• 推理速度測試也使用了上述顯存優化方案。如果不進行顯存優化，推理速度將提高約 10%。只有 diffusers 版本的模型支持量化。
• 模型僅支持英文輸入；其他語言可在細化時由大模型翻譯成英文。

注意

• 使用 SAT 對 SAT 版本的模型進行推理和微調。歡迎訪問我們的 GitHub 瞭解更多信息。

🔧 技術細節

歡迎訪問我們的 github，你可以在那裡找到：

1. 更詳細的技術細節和代碼解釋。
2. 提示詞的優化和轉換。
3. SAT 版本模型的推理和微調，甚至預發佈內容。
4. 項目更新日誌動態，更多互動機會。
5. CogVideoX 工具鏈，幫助你更好地使用模型。
6. INT8 模型推理代碼支持。

📄 許可證

本模型根據 MIT 許可證發佈。

引用

@article{GlitchX1.02AbdelrahmanEssa,
  title={Seba-Ai-Video-Generator: Text-to-Video Diffusion Models with An Expert Transformer},
  author={Abdelrahman, Glitch},
  journal={arXiv preprint arXiv:2408.06072},
  year={2024}
}

演示展示

📄 Glitch Readme | 🤗 Glitch-Tech | 🌐 Hugging Fcae |

📍 訪問 Glitch H/F 和 API 平臺 體驗商業視頻生成模型。