Wan2.1 Fun V1.1 14B Control Camera

🚀 Wan-Fun

😊 ようこそ！このプロジェクトはテキストから動画を生成する機能を提供し、ユーザーに多様な動画生成体験をもたらします。

English | 简体中文

🚀 クイックスタート

1. クラウドでの使用: AliyunDSW/Docker

a. 阿里云 DSW を通じて

DSW では無料の GPU 利用時間があり、ユーザーは一度申請することができ、申請後 3 か月間有効です。 阿里云はFreetierで無料の GPU 利用時間を提供しており、これを取得して阿里云 PAI - DSW で使用すると、5 分以内に CogVideoX - Fun を起動できます。

b. ComfyUI を通じて

私たちの ComfyUI インターフェイスは以下の通りです。詳細はComfyUI READMEを参照してください。

c. Docker を通じて

Docker を使用する場合は、マシンに正しく GPU ドライバと CUDA 環境がインストールされていることを確認してから、以下のコマンドを順に実行してください。

# イメージをプルする
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# イメージに入る
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# コードをクローンする
git clone https://github.com/aigc-apps/VideoX-Fun.git

# VideoX-Fun のディレクトリに入る
cd VideoX-Fun

# ウェイトをダウンロードするためのディレクトリを作成する
mkdir models/Diffusion_Transformer
mkdir models/Personalized_Model

# モデルをダウンロードするには、hugginface リンクまたは modelscope リンクを使用してください。
# CogVideoX-Fun
# https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-5b-InP
# https://modelscope.cn/models/PAI/CogVideoX-Fun-V1.1-5b-InP

# Wan
# https://huggingface.co/alibaba-pai/Wan2.1-Fun-V1.1-14B-InP
# https://modelscope.cn/models/PAI/Wan2.1-Fun-V1.1-14B-InP

2. ローカルインストール: 環境チェック/ダウンロード/インストール

a. 環境チェック

このライブラリは以下の環境で動作することが確認されています。

Windows の詳細情報：

• オペレーティングシステム: Windows 10
• python: python3.10 & python3.11
• pytorch: torch2.2.0
• CUDA: 11.8 & 12.1
• CUDNN: 8+
• GPU： Nvidia - 3060 12G & Nvidia - 3090 24G

Linux の詳細情報：

• オペレーティングシステム: Ubuntu 20.04, CentOS
• python: python3.10 & python3.11
• pytorch: torch2.2.0
• CUDA: 11.8 & 12.1
• CUDNN: 8+
• GPU：Nvidia - V100 16G & Nvidia - A10 24G & Nvidia - A100 40G & Nvidia - A100 80G

約 60GB の空きディスク容量が必要ですので、確認してください。

b. ウェイトの配置

ウェイトを指定されたパスに配置することをおすすめします。

Comfyui を通じて： モデルを Comfyui のウェイトフォルダ ComfyUI/models/Fun_Models/ に入れます。

📦 ComfyUI/
├── 📂 models/
│   └── 📂 Fun_Models/
│       ├── 📂 CogVideoX-Fun-V1.1-2b-InP/
│       ├── 📂 CogVideoX-Fun-V1.1-5b-InP/
│       ├── 📂 Wan2.1-Fun-V1.1-14B-InP
│       └── 📂 Wan2.1-Fun-V1.1-1.3B-InP/

独自の python ファイルまたは UI インターフェイスを実行する場合：

📦 models/
├── 📂 Diffusion_Transformer/
│   ├── 📂 CogVideoX-Fun-V1.1-2b-InP/
│   ├── 📂 CogVideoX-Fun-V1.1-5b-InP/
│   ├── 📂 Wan2.1-Fun-V1.1-14B-InP
│   └── 📂 Wan2.1-Fun-V1.1-1.3B-InP/
├── 📂 Personalized_Model/
│   └── あなたがトレーニングしたトランスフォーマーモデル / あなたがトレーニングした lora モデル (UI ロード用)

✨ 主な機能

このプロジェクトはテキストから動画を生成する機能を提供し、多様なモデルとウェイトをサポートしています。また、ComfyUI や Docker を通じた簡単な起動方法や、ローカルインストールにも対応しています。

📦 インストール

上述のクイックスタートセクションに記載されている手順に従って、クラウドまたはローカルでのインストールを行ってください。

💻 使用例

1. 生成

a、VRAM 節約方案

Wan2.1 のパラメータが非常に大きいため、VRAM 節約方案を検討する必要があります。これにより、消費者向け GPU に対応するために VRAM を節約できます。各予測ファイルには GPU_memory_mode が提供されており、model_cpu_offload、model_cpu_offload_and_qfloat8、sequential_cpu_offload から選択できます。この方案は CogVideoX - Fun の生成にも同様に適用されます。

• model_cpu_offload: モデル全体が使用後に CPU に移動し、一部の VRAM を節約できます。
• model_cpu_offload_and_qfloat8: モデル全体が使用後に CPU に移動し、トランスフォーマーモデルを float8 で量子化することで、より多くの VRAM を節約できます。
• sequential_cpu_offload: モデルの各層が使用後に CPU に移動し、速度は遅くなりますが、大量の VRAM を節約できます。

qfloat8 はモデルの性能を一部低下させますが、より多くの VRAM を節約できます。VRAM が十分な場合は、model_cpu_offload の使用をおすすめします。

b、ComfyUI を通じて

詳細はComfyUI READMEを参照してください。

c、Python ファイルを実行する

• ステップ 1: 対応するウェイトをダウンロードし、models フォルダに配置します。
• ステップ 2: 異なるウェイトと予測目標に応じて、異なるファイルを使用して予測を行います。現在、このライブラリは CogVideoX - Fun、Wan2.1、Wan2.1 - Fun をサポートしており、examples フォルダ内でフォルダ名で区別されています。異なるモデルがサポートする機能は異なるため、状況に応じて区別してください。CogVideoX - Fun を例に説明します。
  • テキストから動画を生成する：
    • examples/cogvideox_fun/predict_t2v.py ファイル内の prompt、neg_prompt、guidance_scale、seed を変更します。
    • その後、examples/cogvideox_fun/predict_t2v.py ファイルを実行し、生成結果を待ちます。結果は samples/cogvideox - fun - videos フォルダに保存されます。
  • 画像から動画を生成する：
    • examples/cogvideox_fun/predict_i2v.py ファイル内の validation_image_start、validation_image_end、prompt、neg_prompt、guidance_scale、seed を変更します。
    • validation_image_start は動画の開始画像、validation_image_end は動画の終了画像です。
    • その後、examples/cogvideox_fun/predict_i2v.py ファイルを実行し、生成結果を待ちます。結果は samples/cogvideox - fun - videos_i2v フォルダに保存されます。
  • 動画から動画を生成する：
    • examples/cogvideox_fun/predict_v2v.py ファイル内の validation_video、validation_image_end、prompt、neg_prompt、guidance_scale、seed を変更します。
    • validation_video は動画から動画を生成する際の参照動画です。以下の動画を使用してデモを実行できます：デモ動画
    • その後、examples/cogvideox_fun/predict_v2v.py ファイルを実行し、生成結果を待ちます。結果は samples/cogvideox - fun - videos_v2v フォルダに保存されます。
  • 通常の制御で動画を生成する（Canny、Pose、Depth など）：
    • examples/cogvideox_fun/predict_v2v_control.py ファイル内の control_video、validation_image_end、prompt、neg_prompt、guidance_scale、seed を変更します。
    • control_video は動画生成を制御するための制御動画で、Canny、Pose、Depth などのオペレーターで抽出された動画です。以下の動画を使用してデモを実行できます：デモ動画
    • その後、examples/cogvideox_fun/predict_v2v_control.py ファイルを実行し、生成結果を待ちます。結果は samples/cogvideox - fun - videos_v2v_control フォルダに保存されます。
• ステップ 3: 独自にトレーニングした他のバックボーンと Lora を組み合わせる場合は、examples/{model_name}/predict_t2v.py 内の examples/{model_name}/predict_i2v.py と lora_path を適宜変更してください。

d、UI インターフェイスを通じて

WebUI はテキストから動画生成、画像から動画生成、動画から動画生成、通常の制御で動画生成（Canny、Pose、Depth など）をサポートしています。現在、このライブラリは CogVideoX - Fun、Wan2.1、Wan2.1 - Fun をサポートしており、examples フォルダ内でフォルダ名で区別されています。異なるモデルがサポートする機能は異なるため、状況に応じて区別してください。CogVideoX - Fun を例に説明します。

• ステップ 1: 対応するウェイトをダウンロードし、models フォルダに配置します。
• ステップ 2: examples/cogvideox_fun/app.py ファイルを実行し、gradio ページにアクセスします。
• ステップ 3: ページで生成モデルを選択し、prompt、neg_prompt、guidance_scale、seed などを入力し、生成をクリックして生成結果を待ちます。結果は sample フォルダに保存されます。

📚 ドキュメント

モデルアドレス

V1.1:

V1.0:

動画作品

Wan2.1-Fun-V1.1-14B-InP && Wan2.1-Fun-V1.1-1.3B-InP

Wan2.1-Fun-V1.1-14B-Control && Wan2.1-Fun-V1.1-1.3B-Control

Generic Control Video + Reference Image:

参照画像	制御動画	Wan2.1-Fun-V1.1-14B-Control	Wan2.1-Fun-V1.1-1.3B-Control

Generic Control Video (Canny, Pose, Depth, etc.) and Trajectory Control:

Wan2.1-Fun-V1.1-14B-Control-Camera && Wan2.1-Fun-V1.1-1.3B-Control-Camera

参考文献

• CogVideo: https://github.com/THUDM/CogVideo/
• EasyAnimate: https://github.com/aigc-apps/EasyAnimate
• Wan2.1: https://github.com/Wan-Video/Wan2.1/
• ComfyUI-KJNodes: https://github.com/kijai/ComfyUI-KJNodes
• ComfyUI-EasyAnimateWrapper: https://github.com/kijai/ComfyUI-EasyAnimateWrapper
• ComfyUI-CameraCtrl-Wrapper: https://github.com/chaojie/ComfyUI-CameraCtrl-Wrapper
• CameraCtrl: https://github.com/hehao13/CameraCtrl

📄 ライセンス

このプロジェクトは Apache License (Version 2.0) を採用しています。