Allegro TI2V

🚀 Allegro - 圖像到視頻生成模型

Allegro是一款強大的圖像到視頻生成模型，它能夠根據用戶提供的文本提示和圖像生成高質量的視頻。該模型具有開源、多功能、高質量輸出等特點，為視頻內容創作提供了新的可能性。

畫廊 · GitHub · 博客 · 論文 · Discord

🖼️ 畫廊

如需更多演示和相應的提示，請查看 Allegro畫廊。

✨ 主要特性

• 開源：完整的模型權重和代碼向社區開放，採用Apache 2.0許可證！
• 多功能內容創作：能夠生成廣泛的內容，從人類和動物的特寫鏡頭到各種動態場景。
• 文本 - 圖像到視頻生成：根據用戶提供的提示和圖像生成視頻。支持的輸入類型包括：
  • 根據用戶提示和第一幀圖像生成後續視頻內容。
  • 根據用戶提示以及第一幀和最後一幀圖像生成中間視頻內容。
• 高質量輸出：以15 FPS的幀率生成6秒的詳細視頻，分辨率為720x1280，可使用 EMA-VFI 插值到30 FPS。
• 小巧高效：採用1.75億參數的VideoVAE和28億參數的VideoDiT模型。支持多種精度（FP32、BF16、FP16），在BF16模式下使用CPU卸載時，僅需9.3 GB的GPU內存。上下文長度為79.2K，相當於88幀。

📋 模型信息

🚀 快速開始

1. 下載 Allegro GitHub代碼。

2. 安裝必要的依賴項。

   • 確保Python >= 3.10，PyTorch >= 2.4，CUDA >= 12.4。詳情請參閱 requirements.txt。
   • 建議使用Anaconda創建一個新的環境（Python >= 3.10）來運行以下示例。

3. 下載 Allegro-TI2V模型權重。

4. 運行推理。

   python single_inference_ti2v.py \
   --user_prompt 'The car drives along the road.' \
   --first_frame your/path/to/first_frame_image.png \
   --vae your/path/to/vae \
   --dit your/path/to/transformer \
   --text_encoder your/path/to/text_encoder \
   --tokenizer your/path/to/tokenizer \
   --guidance_scale 8 \
   --num_sampling_steps 100 \
   --seed 1427329220
   

   輸出視頻的分辨率固定為720 × 1280。不同分辨率的輸入圖像將自動裁剪和調整大小以適應。

   參數	描述
   --user_prompt	[必需] 圖像到視頻生成的文本輸入。
   --first_frame	[必需] 圖像到視頻生成的第一幀圖像輸入。
   --last_frame	[可選] 如果提供，模型將根據指定的第一幀和最後一幀圖像生成中間視頻內容。
   --enable_cpu_offload	[可選] 將模型卸載到CPU以降低GPU內存成本（約9.3G，相比未啟用CPU卸載時的27.5G），但推理時間將顯著增加。

5. （可選）將視頻插值到30 FPS

• 建議使用 EMA-VFI 將視頻從15 FPS插值到30 FPS。
• 為了獲得更好的視覺質量，可以使用imageio保存視頻。

📄 許可證

本倉庫採用Apache 2.0許可證發佈。