%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
ZH
Wan2.1 Fun V1.1 1.3B Control Camera
支持多分辨率训练的文图生视频模型，具备首尾帧预测功能
下载量 54
发布时间 : 4/24/2025
模型简介
这是一个文本生成视频的模型，支持多分辨率训练，并具备首尾帧预测功能，可用于从文本或图像生成高质量视频内容。
模型特点
多分辨率支持
支持多种分辨率训练和生成，适应不同应用场景需求
首尾帧预测
具备首尾帧预测功能，可生成更连贯的视频内容
多语言输入
支持中英文输入，适应不同语言用户需求
模型能力
文本生成视频
图像生成视频
多分辨率视频生成
首尾帧预测
使用案例
内容创作
短视频生成
根据文本描述自动生成短视频内容
可生成高质量、连贯的短视频片段
广告制作
快速生成产品宣传视频
可根据产品描述生成专业级广告视频
教育
教学视频生成
根据教学内容自动生成演示视频
可生成清晰、生动的教学演示视频
🚀 万趣（Wan-Fun）
万趣（Wan-Fun）是一款文本到视频的生成模型，支持多语言，可根据文本描述生成高质量的视频内容，具有多分辨率训练、支持首尾图预测、多种控制条件等特性。
🚀 快速开始
云使用
a. 通过阿里云 DSW
DSW 有免费 GPU 时间，用户可申请一次，申请后 3 个月内有效。阿里云在Freetier提供免费 GPU 时间，获取并在阿里云 PAI - DSW 中使用，5 分钟内即可启动 CogVideoX - Fun。
b. 通过 ComfyUI
我们的 ComfyUI 界面如下，具体查看ComfyUI README。
c. 通过 docker
使用 docker 的情况下，请保证机器中已经正确安装显卡驱动与 CUDA 环境，然后依次执行以下命令：
# pull image
docker pull mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
# enter image
docker run -it -p 7860:7860 --network host --gpus all --security-opt seccomp:unconfined --shm-size 200g mybigpai-public-registry.cn-beijing.cr.aliyuncs.com/easycv/torch_cuda:cogvideox_fun
# clone code
git clone https://github.com/aigc-apps/VideoX-Fun.git
# enter VideoX-Fun's dir
cd VideoX-Fun
# download weights
mkdir models/Diffusion_Transformer
mkdir models/Personalized_Model
# Please use the hugginface link or modelscope link to download the model.
# CogVideoX-Fun
# https://huggingface.co/alibaba-pai/CogVideoX-Fun-V1.1-5b-InP
# https://modelscope.cn/models/PAI/CogVideoX-Fun-V1.1-5b-InP
# Wan
# https://huggingface.co/alibaba-pai/Wan2.1-Fun-V1.1-14B-InP
# https://modelscope.cn/models/PAI/Wan2.1-Fun-V1.1-14B-InP
本地安装
a. 环境检查
我们已验证该库可在以下环境中执行：
| 系统 | 操作系统 | Python 版本 | PyTorch 版本 | CUDA 版本 | CUDNN 版本 | GPU |
|---|---|---|---|---|---|---|
| Windows | Windows 10 | python3.10 & python3.11 | torch2.2.0 | 11.8 & 12.1 | 8+ | Nvidia - 3060 12G & Nvidia - 3090 24G |
| Linux | Ubuntu 20.04, CentOS | python3.10 & python3.11 | torch2.2.0 | 11.8 & 12.1 | 8+ | Nvidia - V100 16G & Nvidia - A10 24G & Nvidia - A100 40G & Nvidia - A100 80G |
我们需要大约 60GB 的可用磁盘空间，请检查！
b. 权重放置
我们最好将权重按照指定路径进行放置：
通过 comfyui：
将模型放入 Comfyui 的权重文件夹 ComfyUI/models/Fun_Models/：
📦 ComfyUI/
├── 📂 models/
│ └── 📂 Fun_Models/
│ ├── 📂 CogVideoX-Fun-V1.1-2b-InP/
│ ├── 📂 CogVideoX-Fun-V1.1-5b-InP/
│ ├── 📂 Wan2.1-Fun-V1.1-14B-InP
│ └── 📂 Wan2.1-Fun-V1.1-1.3B-InP/
运行自身的 python 文件或 ui 界面：
📦 models/
├── 📂 Diffusion_Transformer/
│ ├── 📂 CogVideoX-Fun-V1.1-2b-InP/
│ ├── 📂 CogVideoX-Fun-V1.1-5b-InP/
│ ├── 📂 Wan2.1-Fun-V1.1-14B-InP
│ └── 📂 Wan2.1-Fun-V1.1-1.3B-InP/
├── 📂 Personalized_Model/
│ └── your trained trainformer model / your trained lora model (for UI load)
✨ 主要特性
- 多分辨率训练：支持多分辨率的视频预测，可生成不同尺寸的视频。
- 首尾图预测：支持根据首尾图生成视频内容。
- 多种控制条件：支持不同的控制条件，如 Canny、Depth、Pose、MLSD 等，还支持参考图 + 控制条件进行控制，以及使用轨迹控制。
- 多语言支持：支持多语言预测。
📦 安装指南
可通过云使用（阿里云 DSW、ComfyUI、docker）或本地安装的方式进行部署，具体步骤见快速开始部分。
💻 使用示例
生成视频
a、显存节省方案
由于 Wan2.1 的参数非常大，我们需要考虑显存节省方案，以节省显存适应消费级显卡。我们给每个预测文件都提供了 GPU_memory_mode，可以在 model_cpu_offload，model_cpu_offload_and_qfloat8，sequential_cpu_offload 中进行选择。该方案同样适用于 CogVideoX - Fun 的生成。
model_cpu_offload代表整个模型在使用后会进入 cpu，可以节省部分显存。model_cpu_offload_and_qfloat8代表整个模型在使用后会进入 cpu，并且对 transformer 模型进行了 float8 的量化，可以节省更多的显存。sequential_cpu_offload代表模型的每一层在使用后会进入 cpu，速度较慢，节省大量显存。
qfloat8 会部分降低模型的性能，但可以节省更多的显存。如果显存足够，推荐使用 model_cpu_offload。
b、通过 comfyui
具体查看ComfyUI README。
c、运行 python 文件
- 步骤 1：下载对应权重放入 models 文件夹。
- 步骤 2：根据不同的权重与预测目标使用不同的文件进行预测。当前该库支持 CogVideoX - Fun、Wan2.1 和 Wan2.1 - Fun，在 examples 文件夹下用文件夹名以区分，不同模型支持的功能不同，请视具体情况予以区分。以 CogVideoX - Fun 为例：
- 文生视频：
- 使用
examples/cogvideox_fun/predict_t2v.py文件中修改prompt、neg_prompt、guidance_scale和seed。 - 而后运行
examples/cogvideox_fun/predict_t2v.py文件，等待生成结果，结果保存在samples/cogvideox - fun - videos文件夹中。
- 使用
- 图生视频：
- 使用
examples/cogvideox_fun/predict_i2v.py文件中修改validation_image_start、validation_image_end、prompt、neg_prompt、guidance_scale和seed。 validation_image_start是视频的开始图片，validation_image_end是视频的结尾图片。- 而后运行
examples/cogvideox_fun/predict_i2v.py文件，等待生成结果，结果保存在samples/cogvideox - fun - videos_i2v文件夹中。
- 使用
- 视频生视频：
- 使用
examples/cogvideox_fun/predict_v2v.py文件中修改validation_video、validation_image_end、prompt、neg_prompt、guidance_scale和seed。 validation_video是视频生视频的参考视频。您可以使用以下视频运行演示：演示视频- 而后运行
examples/cogvideox_fun/predict_v2v.py文件，等待生成结果，结果保存在samples/cogvideox - fun - videos_v2v文件夹中。
- 使用
- 普通控制生视频（Canny、Pose、Depth 等）：
- 使用
examples/cogvideox_fun/predict_v2v_control.py文件中修改control_video、validation_image_end、prompt、neg_prompt、guidance_scale和seed。 control_video是控制生视频的控制视频，是使用 Canny、Pose、Depth 等算子提取后的视频。您可以使用以下视频运行演示：演示视频- 而后运行
examples/cogvideox_fun/predict_v2v_control.py文件，等待生成结果，结果保存在samples/cogvideox - fun - videos_v2v_control文件夹中。
- 使用
- 文生视频：
- 步骤 3：如果想结合自己训练的其他 backbone 与 Lora，则看情况修改
examples/{model_name}/predict_t2v.py中的examples/{model_name}/predict_i2v.py和lora_path。
d、通过 ui 界面
webui 支持文生视频、图生视频、视频生视频和普通控制生视频（Canny、Pose、Depth 等）。当前该库支持 CogVideoX - Fun、Wan2.1 和 Wan2.1 - Fun，在 examples 文件夹下用文件夹名以区分，不同模型支持的功能不同，请视具体情况予以区分。以 CogVideoX - Fun 为例：
- 步骤 1：下载对应权重放入 models 文件夹。
- 步骤 2：运行
examples/cogvideox_fun/app.py文件，进入 gradio 页面。 - 步骤 3：根据页面选择生成模型，填入
prompt、neg_prompt、guidance_scale和seed等，点击生成，等待生成结果，结果保存在sample文件夹中。
📚 详细文档
模型地址
V1.1
| 名称 | 存储空间 | Hugging Face | Model Scope | 描述 |
|---|---|---|---|---|
| Wan2.1 - Fun - V1.1 - 1.3B - InP | 19.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - V1.1 - 1.3B - InP) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - V1.1 - 1.3B - InP) | Wan2.1 - Fun - V1.1 - 1.3B 文图生视频权重，以多分辨率训练，支持首尾图预测。 |
| Wan2.1 - Fun - V1.1 - 14B - InP | 47.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - V1.1 - 14B - InP) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - V1.1 - 14B - InP) | Wan2.1 - Fun - V1.1 - 14B 文图生视频权重，以多分辨率训练，支持首尾图预测。 |
| Wan2.1 - Fun - V1.1 - 1.3B - Control | 19.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - V1.1 - 1.3B - Control) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - V1.1 - 1.3B - Control) | Wan2.1 - Fun - V1.1 - 1.3B 视频控制权重支持不同的控制条件，如 Canny、Depth、Pose、MLSD 等，支持参考图 + 控制条件进行控制，支持使用轨迹控制。支持多分辨率（512，768，1024）的视频预测，以 81 帧、每秒 16 帧进行训练，支持多语言预测 |
| Wan2.1 - Fun - V1.1 - 14B - Control | 47.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - V1.1 - 14B - Control) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - V1.1 - 14B - Control) | Wan2.1 - Fun - V1.1 - 14B 视频控制权重支持不同的控制条件，如 Canny、Depth、Pose、MLSD 等，支持参考图 + 控制条件进行控制，支持使用轨迹控制。支持多分辨率（512，768，1024）的视频预测，以 81 帧、每秒 16 帧进行训练，支持多语言预测 |
| Wan2.1 - Fun - V1.1 - 1.3B - Control - Camera | 19.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - V1.1 - 1.3B - Control) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - V1.1 - 1.3B - Control) | Wan2.1 - Fun - V1.1 - 1.3B 相机镜头控制权重。支持多分辨率（512，768，1024）的视频预测，以 81 帧、每秒 16 帧进行训练，支持多语言预测 |
| Wan2.1 - Fun - V1.1 - 14B - Control | 47.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - V1.1 - 14B - Control) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - V1.1 - 14B - Control) | Wan2.1 - Fun - V1.1 - 14B 相机镜头控制权重。支持多分辨率（512，768，1024）的视频预测，以 81 帧、每秒 16 帧进行训练，支持多语言预测 |
V1.0
| 名称 | 存储空间 | Hugging Face | Model Scope | 描述 |
|---|---|---|---|---|
| Wan2.1 - Fun - 1.3B - InP | 19.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - 1.3B - InP) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - 1.3B - InP) | Wan2.1 - Fun - 1.3B 文图生视频权重，以多分辨率训练，支持首尾图预测。 |
| Wan2.1 - Fun - 14B - InP | 47.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - 14B - InP) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - 14B - InP) | Wan2.1 - Fun - 14B 文图生视频权重，以多分辨率训练，支持首尾图预测。 |
| Wan2.1 - Fun - 1.3B - Control | 19.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - 1.3B - Control) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - 1.3B - Control) | Wan2.1 - Fun - 1.3B 视频控制权重，支持不同的控制条件，如 Canny、Depth、Pose、MLSD 等，同时支持使用轨迹控制。支持多分辨率（512，768，1024）的视频预测，以 81 帧、每秒 16 帧进行训练，支持多语言预测 |
| Wan2.1 - Fun - 14B - Control | 47.0 GB | [🤗Link](https://huggingface.co/alibaba - pai/Wan2.1 - Fun - 14B - Control) | [😄Link](https://modelscope.cn/models/PAI/Wan2.1 - Fun - 14B - Control) | Wan2.1 - Fun - 14B 视频控制权重，支持不同的控制条件，如 Canny、Depth、Pose、MLSD 等，同时支持使用轨迹控制。支持多分辨率（512，768，1024）的视频预测，以 81 帧、每秒 16 帧进行训练，支持多语言预测 |
视频作品
Wan2.1 - Fun - V1.1 - 14B - InP && Wan2.1 - Fun - V1.1 - 1.3B - InP
Wan2.1 - Fun - V1.1 - 14B - Control && Wan2.1 - Fun - V1.1 - 1.3B - Control
通用控制视频 + 参考图像：
| 参考图像 | 控制视频 | Wan2.1 - Fun - V1.1 - 14B - Control | Wan2.1 - Fun - V1.1 - 1.3B - Control |
|
|||
Wan2.1 - Fun - V1.1 - 14B - Control - Camera && Wan2.1 - Fun - V1.1 - 1.3B - Control - Camera
| 上移 | 左移 | 右移 |
| 下移 | 上移 + 左移 | 上移 + 右移 |
📄 许可证
本项目采用 Apache License (Version 2.0)。
🔗 参考文献
- CogVideo: https://github.com/THUDM/CogVideo/
- EasyAnimate: https://github.com/aigc-apps/EasyAnimate
- Wan2.1: https://github.com/Wan-Video/Wan2.1/
- ComfyUI - KJNodes: https://github.com/kijai/ComfyUI - KJNodes
- ComfyUI - EasyAnimateWrapper: https://github.com/kijai/ComfyUI - EasyAnimateWrapper
- ComfyUI - CameraCtrl - Wrapper: https://github.com/chaojie/ComfyUI - CameraCtrl - Wrapper
- CameraCtrl: https://github.com/hehao13/CameraCtrl
Xclip Base Patch32
MIT
X-CLIP是CLIP的扩展版本，用于通用视频语言理解，通过对比学习在(视频，文本)对上训练，适用于视频分类和视频-文本检索等任务。
文本生成视频
Transformers 英语
Transformers 英语X
microsoft
309.80k
84
LTX Video
其他
首个基于DiT的视频生成模型，能够实时生成高质量视频，支持文本转视频和图像+文本转视频两种场景。
文本生成视频 英语
L
Lightricks
165.42k
1,174
Wan2.1 14B VACE GGUF
Apache-2.0
Wan2.1-VACE-14B模型的GGUF格式版本，主要用于文本到视频的生成任务。
文本生成视频
W
QuantStack
146.36k
139
Animatediff Lightning
Openrail
极速文本生成视频模型，生成速度比原版AnimateDiff快十倍以上
文本生成视频
A
ByteDance
144.00k
925
V Express
V-Express是一个基于音频和面部关键点条件生成的视频生成模型，能够将音频输入转换为动态视频输出。
文本生成视频 英语
V
tk93
118.36k
85
Cogvideox 5b
其他
CogVideoX是源自清影的视频生成模型的开源版本，提供高质量的视频生成能力。
文本生成视频 英语
C
THUDM
92.32k
611
Llava NeXT Video 7B Hf
LLaVA-NeXT-Video是一个开源多模态聊天机器人，通过视频和图像数据混合训练获得优秀的视频理解能力，在VideoMME基准上达到开源模型SOTA水平。
文本生成视频 Transformers 英语
Transformers 英语L
llava-hf
65.95k
88
Wan2.1 T2V 14B Diffusers
Apache-2.0
万2.1是一套全面开放的视频基础模型，旨在突破视频生成的边界，支持中英文文本生成视频、图像生成视频等多种任务。
文本生成视频 支持多种语言
W
Wan-AI
48.65k
24
Wan2.1 T2V 1.3B Diffusers
Apache-2.0
万2.1是一套全面开放的视频基础模型，具备顶尖性能、支持消费级GPU、多任务支持、视觉文本生成和高效视频VAE等特点。
文本生成视频 支持多种语言
W
Wan-AI
45.29k
38
Wan2.1 T2V 14B
Apache-2.0
万2.1是一套综合性开源视频基础模型，具备文本生成视频、图像生成视频、视频编辑、文本生成图像及视频生成音频等多任务能力，支持中英双语文本生成。
文本生成视频 支持多种语言
W
Wan-AI
44.88k
1,238
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型 Transformers 支持多种语言
Transformers 支持多种语言L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。
对话系统 Transformers 英语
Transformers 英语C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98