Zeroscope V2 576w

🚀 zeroscope_v2 576w

这是一个基于Modelscope的无水印视频模型，针对生成高质量16:9画面和流畅视频输出进行了优化。该模型基于原始权重，使用9923个视频片段和29769个带标签的帧进行训练，分辨率为576x320，帧率为24帧。

zeroscope_v2_567w专为与zeroscope_v2_XL配合进行放大处理而设计，可通过kabachuha开发的1111 text2video扩展中的vid2vid功能实现。将此模型作为初步步骤，可在zeroscope_v2_XL中以更高分辨率实现更出色的整体画面合成，允许先在576x320分辨率下进行快速探索，再过渡到高分辨率渲染。查看一些通过zeroscope_v2_XL放大到1024x576分辨率的示例输出（感谢dotsimulate提供）。

在渲染30帧、分辨率为576x320的视频时，zeroscope_v2_576w需要占用7.9GB的显存。

🚀 快速开始

使用1111 text2video扩展

1. 下载zs2_576w文件夹中的文件。
2. 替换“stable-diffusion-webui\models\ModelScope\t2v”目录下的相应文件。

放大建议

对于放大处理，建议通过1111扩展中的vid2vid功能使用zeroscope_v2_XL。在1024x576分辨率下，去噪强度设置在0.66到0.85之间效果最佳。请记住使用与生成原始视频片段时相同的提示词。

在🧨 Diffusers中使用

首先，安装所需的库：

$ pip install diffusers transformers accelerate torch

现在，生成一个视频：

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

prompt = "Darth Vader is surfing on waves"
video_frames = pipe(prompt, num_inference_steps=40, height=320, width=576, num_frames=24).frames
video_path = export_to_video(video_frames)

以下是一些生成结果：

示例	详情
视频示例

已知问题

较低的分辨率或较少的帧数可能会导致输出效果不佳。

致谢

感谢camenduru、kabachuha、ExponentialML、dotsimulate、VANYA、polyware、tin2tin。

📄 许可证

本模型采用CC BY-NC 4.0许可证。