Stable Video Diffusion Img2vid Xt

🚀 安定ビデオ拡散 画像からビデオへのモデルカード

Stable Video Diffusion (SVD) 画像からビデオへの変換モデルは、静止画像を条件付きフレームとして取り込み、そこからビデオを生成する拡散モデルです。

🚀 クイックスタート

モデルの使い始め方については、https://github.com/Stability-AI/generative-models をご覧ください。

✨ 主な機能

Stable Video Diffusion (SVD) 画像からビデオへの変換モデルは、静止画像を入力として受け取り、それを元にビデオを生成します。このモデルは、潜在拡散モデルをベースに構築されており、画像を条件付けとして短いビデオクリップを生成するように訓練されています。

📚 ドキュメント

モデルの詳細

モデルの説明

(SVD) 画像からビデオへの変換モデルは、画像を条件付けとして短いビデオクリップを生成するように訓練された潜在拡散モデルです。このモデルは、同じサイズのコンテキストフレームを与えられた場合、解像度 576x1024 で 25 フレームのビデオを生成するように訓練されており、SVD Image-to-Video [14 frames] から微調整されています。また、時間的な一貫性のために、広く使用されている f8-decoder も微調整しています。利便性のために、標準的なフレームごとのデコーダを こちら で提供しています。

モデルのソース

研究目的では、最も人気のある拡散フレームワーク（訓練と推論の両方）を実装した generative-models GitHub リポジトリ (https://github.com/Stability-AI/generative-models) をお勧めします。

• リポジトリ: https://github.com/Stability-AI/generative-models
• 論文: https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

評価

上のグラフは、GEN-2 および PikaLabs と比較した場合の、SVD-Image-to-Video に対するユーザーの好みを評価しています。SVD-Image-to-Video は、ビデオ品質の点で人間の投票者に好まれています。ユーザー調査の詳細については、研究論文 を参照してください。

使用方法

直接使用

このモデルは研究目的のみを意図しています。可能な研究分野とタスクには以下のようなものがあります。

• 生成モデルに関する研究。
• 有害なコンテンツを生成する可能性のあるモデルの安全なデプロイ。
• 生成モデルの制限とバイアスの調査と理解。
• アートワークの生成とデザインやその他の芸術的プロセスでの使用。
• 教育または創造的なツールでのアプリケーション。

以下に除外される使用方法を説明します。

想定外の使用

このモデルは、人やイベントの事実的または真実の表現を生成するように訓練されていないため、そのようなコンテンツを生成するためにモデルを使用することは、このモデルの能力範囲外です。モデルは、Stability AI の Acceptable Use Policy に違反するような方法で使用してはいけません。

制限とバイアス

制限

• 生成されるビデオは比較的短く（<= 4 秒）、モデルは完全な写実性を達成していません。
• モデルは動きのないビデオや、非常にゆっくりしたカメラパンを生成することがあります。
• モデルはテキストで制御することができません。
• モデルは読み取り可能なテキストをレンダリングすることができません。
• 一般的に顔や人物が適切に生成されないことがあります。
• モデルのオートエンコーディング部分は損失があります。

推奨事項

このモデルは研究目的のみを意図しています。

📄 ライセンス

• ライセンス: other
• ライセンス名: stable-video-diffusion-nc-community
• ライセンスリンク: LICENSE