Zeroscope V2 576w

🚀 zeroscope_v2 576w

このモデルは、高品質の16:9の構図と滑らかなビデオ出力を生成するために最適化された、透かしのないModelscopeベースのビデオモデルです。このモデルは、元の重みを使用して、24フレーム、576x320解像度の9,923のクリップと29,769のタグ付きフレームで学習されました。
zeroscope_v2_567wは、kabachuhaによる1111 text2video拡張機能のvid2vidを使用して、zeroscope_v2_XLで拡大するために特別に設計されています。このモデルを最初のステップとして使用することで、zeroscope_v2_XLでより高解像度の優れた全体構図を実現でき、高解像度のレンダリングに移行する前に576x320でより迅速に探索できます。zeroscope_v2_XLを使用して1024x576に拡大されたサンプル出力を確認してください。(提供: dotsimulate)

zeroscope_v2_576wは、576x320で30フレームをレンダリングする際に7.9GBのVRAMを使用します。

🚀 クイックスタート

1111 text2video拡張機能での使用方法

1. zs2_576wフォルダ内のファイルをダウンロードします。
2. 'stable-diffusion-webui\models\ModelScope\t2v'ディレクトリ内の該当するファイルを置き換えます。

拡大の推奨事項

拡大する場合は、1111拡張機能のvid2vidを介してzeroscope_v2_XLを使用することをお勧めします。1024x576でデノイズ強度を0.66から0.85の間に設定すると最適な結果が得られます。元のクリップを生成するために使用したのと同じプロンプトを使用することを忘れないでください。

🧨 Diffusersでの使用方法

まず、必要なライブラリをインストールしましょう。

$ pip install diffusers transformers accelerate torch

次に、ビデオを生成します。

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

pipe = DiffusionPipeline.from_pretrained("cerspense/zeroscope_v2_576w", torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

prompt = "Darth Vader is surfing on waves"
video_frames = pipe(prompt, num_inference_steps=40, height=320, width=576, num_frames=24).frames
video_path = export_to_video(video_frames)

以下はいくつかの結果です。

プロンプト	出力結果
Darth vader is surfing on waves.

既知の問題

低解像度または少ないフレーム数では、最適でない出力につながる可能性があります。

謝辞

camenduru、kabachuha、ExponentialML、dotsimulate、VANYA、polyware、tin2tinに感謝します。

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。