Allegro TI2V

🚀 アレグロ（Allegro） - 高度なビデオ生成モデル

アレグロ（Allegro）は画像からビデオを生成するオープンソースモデルで、多様なコンテンツを高品質に生成できます。

ギャラリー · GitHub · ブログ · 論文 · Discord

🖼️ ギャラリー

✨ 主な機能

• オープンソース：完全なモデルの重みとコードがコミュニティに公開されており、Apache 2.0ライセンスです！
• 多様なコンテンツ作成：人や動物のクローズアップから、様々なダイナミックなシーンまで、幅広いコンテンツを生成できます。
• テキスト・画像からビデオ生成：ユーザーが提供するプロンプトと画像からビデオを生成します。サポートされる入力タイプは以下の通りです。
  • ユーザーのプロンプトと最初のフレーム画像から後続のビデオコンテンツを生成します。
  • ユーザーのプロンプトと最初と最後のフレーム画像から中間のビデオコンテンツを生成します。
• 高品質な出力：720x1280解像度で15 FPSの6秒間の詳細なビデオを生成し、EMA - VFIで30 FPSに補間できます。
• 小型で効率的：175MパラメータのVideoVAEと2.8BパラメータのVideoDiTモデルを備えています。複数の精度（FP32、BF16、FP16）をサポートし、CPUオフロードを使用したBF16モードでは9.3 GBのGPUメモリを使用します。コンテキスト長は79.2K、つまり88フレームです。

📊 モデル情報

🚀 クイックスタート

1. アレグロのGitHubコードをダウンロードします。

2. 必要なライブラリをインストールします。

   • Python >= 3.10、PyTorch >= 2.4、CUDA >= 12.4を確認してください。詳細はrequirements.txtを参照してください。
   • Anacondaを使用して新しい環境（Python >= 3.10）を作成し、以下の例を実行することをおすすめします。

3. アレグロ - TI2Vのモデル重みをダウンロードします。

4. 推論を実行します。

   python single_inference_ti2v.py \
   --user_prompt 'The car drives along the road.' \
   --first_frame your/path/to/first_frame_image.png \
   --vae your/path/to/vae \
   --dit your/path/to/transformer \
   --text_encoder your/path/to/text_encoder \
   --tokenizer your/path/to/tokenizer \
   --guidance_scale 8 \
   --num_sampling_steps 100 \
   --seed 1427329220
   

   出力ビデオの解像度は固定で720 × 1280です。異なる解像度の入力画像は自動的にトリミングおよびリサイズされます。

   引数	説明
   --user_prompt	[必須] 画像からビデオ生成のためのテキスト入力。
   --first_frame	[必須] 画像からビデオ生成のための最初のフレーム画像入力。
   --last_frame	[オプション] 指定された場合、モデルは指定された最初と最後のフレーム画像に基づいて中間のビデオコンテンツを生成します。
   --enable_cpu_offload	[オプション] モデルをCPUにオフロードしてGPUメモリコストを削減します（約9.3G、CPUオフロードを有効にしない場合は27.5G）が、推論時間は大幅に増加します。

5. （オプション）ビデオを30 FPSに補間する

• EMA - VFIを使用してビデオを15 FPSから30 FPSに補間することをおすすめします。
• より良い視覚品質のために、imageioを使用してビデオを保存することができます。

📄 ライセンス

このリポジトリはApache 2.0ライセンスの下で公開されています。