license: apache-2.0 language:

• en
• zh pipeline_tag: text-to-video library_name: diffusers tags:
• video
• video-generation

ワンファン

😊 ようこそ！

English | 简体中文

目次

• 目次
• モデルアドレス
• 動画作品
• クイックスタート
• 使用方法
• 参考文献
• ライセンス

モデルアドレス

V1.0:

動画作品

Wan2.1-Fun-14B-InP && Wan2.1-Fun-1.3B-InP

Wan2.1-Fun-14B-Control && Wan2.1-Fun-1.3B-Control

クイックスタート

1. クラウド利用: AliyunDSW/Docker

a. 阿里雲 DSW経由

DSWには無料GPU時間があり、ユーザーは1回申請可能で、申請後3ヶ月間有効です。

阿里雲はFreetierで無料GPU時間を提供しており、阿里雲PAI-DSWで利用可能で、5分以内にCogVideoX-Funを起動できます。

b. ComfyUI経由

当社のComfyUIインターフェースは以下の通りです。詳細はComfyUI READMEをご覧ください。

c. docker経由

dockerを使用する場合、マシンに正しくGPUドライバーとCUDA環境がインストールされていることを確認し、以下のコマンドを順に実行してください：

# イメージをプル
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# イメージに入る
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# コードをクローン
git clone https://github.com/aigc-apps/CogVideoX-Fun.git

# CogVideoX-Funのディレクトリに入る
cd CogVideoX-Fun

# 重みをダウンロード
mkdir models/Diffusion_Transformer
mkdir models/Personalized_Model

# モデルダウンロードにはhuggingfaceリンクまたはmodelscopeリンクを使用してください。
# CogVideoX-Fun
# https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-5b-InP
# https://modelscope.cn/models/PAI/CogVideoX-Fun-V1.1-5b-InP

# Wan
# https://huggingface.co/alibaba-pai/Wan2.1-Fun-14B-InP
# https://modelscope.cn/models/PAI/Wan2.1-Fun-14B-InP

2. ローカルインストール: 環境チェック/ダウンロード/インストール

a. 環境チェック

このライブラリは以下の環境で動作確認済みです：

Windows 詳細：

• OS Windows 10
• python: python3.10 & python3.11
• pytorch: torch2.2.0
• CUDA: 11.8 & 12.1
• CUDNN: 8+
• GPU： Nvidia-3060 12G & Nvidia-3090 24G

Linux 詳細：

• OS Ubuntu 20.04, CentOS
• python: python3.10 & python3.11
• pytorch: torch2.2.0
• CUDA: 11.8 & 12.1
• CUDNN: 8+
• GPU：Nvidia-V100 16G & Nvidia-A10 24G & Nvidia-A100 40G & Nvidia-A100 80G

約60GBの空きディスク容量が必要です。確認してください！

b. 重み配置

重みは指定パスに配置することを推奨します：

📦 models/
├── 📂 Diffusion_Transformer/
│   ├── 📂 CogVideoX-Fun-V1.1-2b-InP/
│   ├── 📂 CogVideoX-Fun-V1.1-5b-InP/
│   ├── 📂 Wan2.1-Fun-14B-InP
│   └── 📂 Wan2.1-Fun-1.3B-InP/
├── 📂 Personalized_Model/
│   └── 訓練済みtransformerモデル / 訓練済みloraモデル (UIロード用)

使用方法

1. 生成

a、VRAM節約方法

Wan2.1はパラメータが非常に大きいため、VRAM節約方法を考慮する必要があります。各予測ファイルにGPU_memory_modeを提供しており、model_cpu_offload、model_cpu_offload_and_qfloat8、sequential_cpu_offloadから選択可能です。この方法はCogVideoX-Funの生成にも適用可能です。

• model_cpu_offloadはモデル全体が使用後にCPUに移動し、VRAMを節約します。
• model_cpu_offload_and_qfloat8はモデル全体が使用後にCPUに移動し、transformerモデルをfloat8で量子化し、さらにVRAMを節約します。
• sequential_cpu_offloadはモデルの各層が使用後にCPUに移動し、速度は遅いですが大量のVRAMを節約します。

qfloat8はモデル性能を多少低下させますが、より多くのVRAMを節約します。VRAMが十分であればmodel_cpu_offloadを推奨します。

b、comfyui経由

詳細はComfyUI READMEをご覧ください。

c、pythonファイル実行

• ステップ1：対応する重みをダウンロードしmodelsフォルダに配置。
• ステップ2：異なる重みと予測目標に応じて異なるファイルを使用。現在このライブラリはCogVideoX-Fun、Wan2.1、Wan2.1-Funをサポートしており、examplesフォルダ下のフォルダ名で区別されます。機能が異なるため、具体的に区別してください。CogVideoX-Funを例に：
  • テキストから動画生成：
    • examples/cogvideox_fun/predict_t2v.pyファイルでprompt、neg_prompt、guidance_scale、seedを変更。
    • examples/cogvideox_fun/predict_t2v.pyファイルを実行し、結果を待機。結果はsamples/cogvideox-fun-videosフォルダに保存。
  • 画像から動画生成：
    • examples/cogvideox_fun/predict_i2v.pyファイルでvalidation_image_start、validation_image_end、prompt、neg_prompt、guidance_scale、seedを変更。
    • validation_image_startは動画の開始画像、validation_image_endは終了画像。
    • examples/cogvideox_fun/predict_i2v.pyファイルを実行し、結果を待機。結果はsamples/cogvideox-fun-videos_i2vフォルダに保存。
  • 動画から動画生成：
    • examples/cogvideox_fun/predict_v2v.pyファイルでvalidation_video、validation_image_end、prompt、neg_prompt、guidance_scale、seedを変更。
    • validation_videoは参照動画。デモ動画を使用可能。
    • examples/cogvideox_fun/predict_v2v.pyファイルを実行し、結果を待機。結果はsamples/cogvideox-fun-videos_v2vフォルダに保存。
  • 制御動画生成（Canny/Pose/Depthなど）：
    • examples/cogvideox_fun/predict_v2v_control.pyファイルでcontrol_video、validation_image_end、prompt、neg_prompt、guidance_scale、seedを変更。
    • control_videoは制御動画で、Canny/Pose/Depthなどで抽出した動画。デモ動画を使用可能。
    • examples/cogvideox_fun/predict_v2v_control.pyファイルを実行し、結果を待機。結果はsamples/cogvideox-fun-videos_v2v_controlフォルダに保存。
• ステップ3：独自訓練のbackboneやLoraと組み合わせる場合、examples/{model_name}/predict_t2v.pyやexamples/{model_name}/predict_i2v.pyのlora_pathを適宜変更。

d、UIインターフェース経由

webuiはテキストから動画、画像から動画、動画から動画、制御動画生成（Canny/Pose/Depthなど）をサポート。現在このライブラリはCogVideoX-Fun、Wan2.1、Wan2.1-Funをサポートしており、examplesフォルダ下のフォルダ名で区別されます。機能が異なるため、具体的に区別してください。CogVideoX-Funを例に：

• ステップ1：対応する重みをダウンロードしmodelsフォルダに配置。
• ステップ2：examples/cogvideox_fun/app.pyファイルを実行し、gradioページにアクセス。
• ステップ3：ページでモデルを選択し、prompt、neg_prompt、guidance_scale、seedなどを入力後、生成をクリック。結果を待機し、sampleフォルダに保存。

参考文献

• CogVideo: https://github.com/THUDM/CogVideo/
• EasyAnimate: https://github.com/aigc-apps/EasyAnimate
• Wan2.1: https://github.com/Wan-Video/Wan2.1/

ライセンス

このプロジェクトはApache License (Version 2.0)を採用しています。