Allegro T2V 40x720P

🚀 アレグロ（Allegro）

アレグロ（Allegro）は、テキストから動画を生成するオープンソースのモデルです。多様なコンテンツを生成でき、高品質な動画を出力します。また、パラメータが少なく効率的で、GPUメモリの使用量も抑えられます。

ギャラリー · GitHub · ブログ · 論文 · Discord · ウェイトリストに登録 (Discordで試してみましょう！)

🚀 クイックスタート

1. 必要なライブラリをインストールします。

   • Python >= 3.10、PyTorch >= 2.4、CUDA >= 12.4が必要です。

   • Anacondaを使って新しい環境（Python >= 3.10）を作成することをおすすめします。conda create -n rllegro python=3.10 -y を実行して、以下の例を実行します。

   • pip install git+https://github.com/huggingface/diffusers.git torch==2.4.1 transformers==4.40.1 accelerate sentencepiece imageio imageio-ffmpeg beautifulsoup4 を実行します。

2. 推論を実行します。

   import torch
   from diffusers import AutoencoderKLAllegro, AllegroPipeline
   from diffusers.utils import export_to_video
   vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro-T2V-40x720P", subfolder="vae", torch_dtype=torch.float32)
   
   pipe = AllegroPipeline.from_pretrained(
       "rhymes-ai/Allegro-T2V-40x720P", vae=vae, torch_dtype=torch.bfloat16
   )
   pipe.to("cuda")
   pipe.vae.enable_tiling()
   
   prompt = "A seaside harbor with bright sunlight and sparkling seawater, with many boats in the water. From an aerial view, the boats vary in size and color, some moving and some stationary. Fishing boats in the water suggest that this location might be a popular spot for docking fishing boats."
   
   positive_prompt = """
   (masterpiece), (best quality), (ultra-detailed), (unwatermarked), 
   {} 
   emotional, harmonious, vignette, 4k epic detailed, shot on kodak, 35mm photo, 
   sharp focus, high budget, cinemascope, moody, epic, gorgeous
   """
   
   negative_prompt = """
   nsfw, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, 
   low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry.
   """
   
   prompt = prompt.format(prompt.lower().strip())
   
   video = pipe(prompt, negative_prompt=negative_prompt, guidance_scale=7.5, max_sequence_length=512, num_inference_steps=100, generator = torch.Generator(device="cuda:0").manual_seed(42)).frames[0]
   export_to_video(video, "output.mp4", fps=15)
   

   pipe.enable_sequential_cpu_offload() を使ってモデルをCPUにオフロードすることで、GPUメモリの使用量を減らすことができますが、推論時間は大幅に増加します。

3. （オプション）動画を30 FPSに補間します。

   EMA-VFI を使って、動画を15 FPSから30 FPSに補間することをおすすめします。

   より良い視覚品質を得るために、imageioを使って動画を保存してください。

4. より高速な推論（Context Parallel、PABなど）については、GitHubリポジトリ を参照してください。

✨ 主な機能

• オープンソース：モデルの重み と コード がコミュニティに公開されており、Apache 2.0ライセンスです！
• 多様なコンテンツ作成：人や動物のクローズアップから、様々なダイナミックなシーンまで、幅広いコンテンツを生成することができます。
• 高品質な出力：368x640および720x1280の解像度で、15 FPSの2〜6秒の詳細な動画を生成します。EMA-VFI を使って30 FPSに補間することができます。
• 小型で効率的：175MパラメータのVideoVAEと2.8BパラメータのVideoDiTモデルを備えています。複数の精度（FP32、BF16、FP16）をサポートし、CPUオフロードを使用したBF16モードでは9.3 GBのGPUメモリを使用します。コンテキスト長は79.2K（88フレーム相当）です。

📦 インストール

必要条件

• Python >= 3.10
• PyTorch >= 2.4
• CUDA >= 12.4

手順

1. Anacondaを使って新しい環境を作成します。

conda create -n rllegro python=3.10 -y
conda activate rllegro

2. 必要なライブラリをインストールします。

pip install git+https://github.com/huggingface/diffusers.git torch==2.4.1 transformers==4.40.1 accelerate sentencepiece imageio imageio-ffmpeg beautifulsoup4

📚 ドキュメント

モデル情報

📄 ライセンス

このリポジトリは、Apache 2.0ライセンスの下で公開されています。