Zeroscope V2 576w

🚀 zeroscope_v2 576w

這是一個基於Modelscope的無水印視頻模型，針對生成高質量16:9畫面和流暢視頻輸出進行了優化。該模型基於原始權重，使用9923個視頻片段和29769個帶標籤的幀進行訓練，分辨率為576x320，幀率為24幀。

zeroscope_v2_567w專為與zeroscope_v2_XL配合進行放大處理而設計，可通過kabachuha開發的1111 text2video擴展中的vid2vid功能實現。將此模型作為初步步驟，可在zeroscope_v2_XL中以更高分辨率實現更出色的整體畫面合成，允許先在576x320分辨率下進行快速探索，再過渡到高分辨率渲染。查看一些通過zeroscope_v2_XL放大到1024x576分辨率的示例輸出（感謝dotsimulate提供）。

在渲染30幀、分辨率為576x320的視頻時，zeroscope_v2_576w需要佔用7.9GB的顯存。

🚀 快速開始

使用1111 text2video擴展

1. 下載zs2_576w文件夾中的文件。
2. 替換“stable-diffusion-webui\models\ModelScope\t2v”目錄下的相應文件。

放大建議

對於放大處理，建議通過1111擴展中的vid2vid功能使用zeroscope_v2_XL。在1024x576分辨率下，去噪強度設置在0.66到0.85之間效果最佳。請記住使用與生成原始視頻片段時相同的提示詞。

在🧨 Diffusers中使用

首先，安裝所需的庫：

$ pip install diffusers transformers accelerate torch

現在，生成一個視頻：

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

prompt = "Darth Vader is surfing on waves"
video_frames = pipe(prompt, num_inference_steps=40, height=320, width=576, num_frames=24).frames
video_path = export_to_video(video_frames)

以下是一些生成結果：

示例	詳情
視頻示例

已知問題

較低的分辨率或較少的幀數可能會導致輸出效果不佳。

致謝

感謝camenduru、kabachuha、ExponentialML、dotsimulate、VANYA、polyware、tin2tin。

📄 許可證

本模型採用CC BY-NC 4.0許可證。