license: apache-2.0 language:

• en
• zh pipeline_tag: text-to-video library_name: diffusers tags:
• video
• video-generation

ワンファン

😊 ようこそ！

English | 简体中文

目次

• 目次
• モデルアドレス
• 動画作品
• クイックスタート
• 使用方法
• 参考文献
• ライセンス

モデルアドレス

V1.0:

動画作品

Wan2.1-Fun-14B-InP && Wan2.1-Fun-1.3B-InP

Wan2.1-Fun-14B-Control && Wan2.1-Fun-1.3B-Control

クイックスタート

1. クラウド利用: AliyunDSW/Docker

a. 阿里雲 DSW経由

DSWには無料GPU時間があり、ユーザーは1回申請可能で、申請後3ヶ月有効です。

阿里雲はFreetierで無料GPU時間を提供しており、阿里雲PAI-DSWで利用可能で、5分以内でCogVideoX-Funを起動できます。

b. ComfyUI経由

当社のComfyUIインターフェースは以下の通りです。詳細はComfyUI READMEをご覧ください。

c. docker経由

dockerを使用する場合、マシンに正しくGPUドライバとCUDA環境がインストールされていることを確認し、以下のコマンドを順次実行してください：

# イメージをプル
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# イメージに入る
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun

# コードをクローン
git clone https://github.com/aigc-apps/CogVideoX-Fun.git

# CogVideoX-Funのディレクトリに入る
cd CogVideoX-Fun

# 重みをダウンロード
mkdir models/Diffusion_Transformer
mkdir models/Personalized_Model

# モデルダウンロードにはhuggingfaceリンクまたはmodelscopeリンクを使用してください。
# CogVideoX-Fun
# https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-5b-InP
# https://modelscope.cn/models/PAI/CogVideoX-Fun-V1.1-5b-InP

# Wan
# https://huggingface.co/alibaba-pai/Wan2.1-Fun-14B-InP
# https://modelscope.cn/models/PAI/Wan2.1-Fun-14B-InP

2. ローカルインストール: 環境チェック/ダウンロード/インストール

a. 環境チェック

このライブラリは以下の環境で動作確認済みです：

Windows 詳細：

• OS Windows 10
• python: python3.10 & python3.11
• pytorch: torch2.2.0
• CUDA: 11.8 & 12.1
• CUDNN: 8+
• GPU： Nvidia-3060 12G & Nvidia-3090 24G

Linux 詳細：

• OS Ubuntu 20.04, CentOS
• python: python3.10 & python3.11
• pytorch: torch2.2.0
• CUDA: 11.8 & 12.1
• CUDNN: 8+
• GPU：Nvidia-V100 16G & Nvidia-A10 24G & Nvidia-A100 40G & Nvidia-A100 80G

約60GBの空きディスク容量が必要です。確認してください！

b. 重みの配置

重みは指定されたパスに配置するのが最適です：

📦 models/
├── 📂 Diffusion_Transformer/
│   ├── 📂 CogVideoX-Fun-V1.1-2b-InP/
│   ├── 📂 CogVideoX-Fun-V1.1-5b-InP/
│   ├── 📂 Wan2.1-Fun-14B-InP
│   └── 📂 Wan2.1-Fun-1.3B-InP/
├── 📂 Personalized_Model/
│   └── トレーニング済みのtransformerモデル / トレーニング済みのloraモデル (UI読み込み用)

使用方法

1. 生成

a、VRAM節約オプション

Wan2.1のパラメータが非常に大きいため、VRAM節約オプションを考慮し、消費級GPUに適応させる必要があります。各予測ファイルにはGPU_memory_modeを提供しており、model_cpu_offload、model_cpu_offload_and_qfloat8、sequential_cpu_offloadから選択可能です。このオプションはCogVideoX-Funの生成にも適用されます。

• model_cpu_offloadはモデル全体が使用後にCPUに移行し、一部のVRAMを節約します。
• model_cpu_offload_and_qfloat8はモデル全体が使用後にCPUに移行し、さらにtransformerモデルをfloat8で量子化し、より多くのVRAMを節約します。
• sequential_cpu_offloadはモデルの各層が使用後にCPUに移行し、速度は遅いですが、大量のVRAMを節約します。

qfloat8はモデルの性能を一部低下させますが、より多くのVRAMを節約します。VRAMが十分にある場合はmodel_cpu_offloadの使用を推奨します。

b、comfyui経由

詳細はComfyUI READMEをご覧ください。

c、pythonファイルの実行

• ステップ1：対応する重みをダウンロードし、modelsフォルダに配置します。
• ステップ2：異なる重みと予測ターゲットに応じて異なるファイルを使用して予測します。現在このライブラリはCogVideoX-Fun、Wan2.1、Wan2.1-Funをサポートしており、examplesフォルダ内のフォルダ名で区別されます。異なるモデルは異なる機能をサポートしているため、具体的な状況に応じて区別してください。CogVideoX-Funを例にとります。
  • テキストから動画生成：
    • examples/cogvideox_fun/predict_t2v.pyファイルでprompt、neg_prompt、guidance_scale、seedを変更します。
    • その後examples/cogvideox_fun/predict_t2v.pyファイルを実行し、生成結果を待ちます。結果はsamples/cogvideox-fun-videosフォルダに保存されます。
  • 画像から動画生成：
    • examples/cogvideox_fun/predict_i2v.pyファイルでvalidation_image_start、validation_image_end、prompt、neg_prompt、guidance_scale、seedを変更します。
    • validation_image_startは動画の開始画像、validation_image_endは動画の終了画像です。
    • その後examples/cogvideox_fun/predict_i2v.pyファイルを実行し、生成結果を待ちます。結果はsamples/cogvideox-fun-videos_i2vフォルダに保存されます。
  • 動画から動画生成：
    • examples/cogvideox_fun/predict_v2v.pyファイルでvalidation_video、validation_image_end、prompt、neg_prompt、guidance_scale、seedを変更します。
    • validation_videoは動画から動画生成の参照動画です。以下のデモ動画を使用できます：デモ動画
    • その後examples/cogvideox_fun/predict_v2v.pyファイルを実行し、生成結果を待ちます。結果はsamples/cogvideox-fun-videos_v2vフォルダに保存されます。
  • 一般的な制御から動画生成（Canny、Pose、Depthなど）：
    • examples/cogvideox_fun/predict_v2v_control.pyファイルでcontrol_video、validation_image_end、prompt、neg_prompt、guidance_scale、seedを変更します。
    • control_videoは制御動画生成の制御動画で、Canny、Pose、Depthなどの演算子で抽出された動画です。以下のデモ動画を使用できます：デモ動画
    • その後examples/cogvideox_fun/predict_v2v_control.pyファイルを実行し、生成結果を待ちます。結果はsamples/cogvideox-fun-videos_v2v_controlフォルダに保存されます。
• ステップ3：自分でトレーニングした他のbackboneやLoraと組み合わせたい場合は、examples/{model_name}/predict_t2v.pyおよびexamples/{model_name}/predict_i2v.pyのlora_pathを状況に応じて変更します。

d、uiインターフェース経由

webuiはテキストから動画、画像から動画、動画から動画、一般的な制御から動画（Canny、Pose、Depthなど）をサポートしています。現在このライブラリはCogVideoX-Fun、Wan2.1、Wan2.1-Funをサポートしており、examplesフォルダ内のフォルダ名で区別されます。異なるモデルは異なる機能をサポートしているため、具体的な状況に応じて区別してください。CogVideoX-Funを例にとります。

• ステップ1：対応する重みをダウンロードし、modelsフォルダに配置します。
• ステップ2：examples/cogvideox_fun/app.pyファイルを実行し、gradioページに入ります。
• ステップ3：ページで生成モデルを選択し、prompt、neg_prompt、guidance_scale、seedなどを入力し、生成をクリックして結果を待ちます。結果はsampleフォルダに保存されます。

参考文献

• CogVideo: https://github.com/THUDM/CogVideo/
• EasyAnimate: https://github.com/aigc-apps/EasyAnimate
• Wan2.1: https://github.com/Wan-Video/Wan2.1/

ライセンス

このプロジェクトはApache License (Version 2.0)を採用しています。