Stable Video Diffusion Img2vid

🚀 安定ビデオ拡散画像からビデオへのモデルカード

Stable Video Diffusion (SVD) の画像からビデオへの変換モデルは、静止画像を条件付きフレームとして取り込み、そこからビデオを生成する拡散モデルです。これにより、画像を基にしたビデオの生成が可能になります。

🚀 クイックスタート

モデルの使い始め方については、https://github.com/Stability-AI/generative-models をご確認ください。

✨ 主な機能

• 静止画像を条件付きフレームとして、ビデオを生成することができます。
• 576x1024の解像度で14フレームの短いビデオクリップを生成するように学習されています。
• 時間的な一貫性のために、広く使用されている f8-decoder を微調整しています。

📚 ドキュメント

モデルの詳細

モデルの説明

(SVD) 画像からビデオへの変換モデルは、画像を条件付けとして短いビデオクリップを生成するように学習された潜在拡散モデルです。このモデルは、同じサイズのコンテキストフレームを与えられた場合、576x1024の解像度で14フレームを生成するように学習されています。また、時間的な一貫性のために、広く使用されている f8-decoder を微調整しています。利便性のために、標準的なフレーム単位のデコーダを こちら で追加で提供しています。

モデルのソース

研究目的では、最も人気のある拡散フレームワーク（学習と推論の両方）を実装した generative-models GitHubリポジトリ (https://github.com/Stability-AI/generative-models) をお勧めします。

• リポジトリ: https://github.com/Stability-AI/generative-models
• 論文: https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

評価

上のグラフは、GEN-2 と PikaLabs に対するSVD-画像からビデオへのモデルのユーザーの好みを評価しています。SVD-画像からビデオへのモデルは、ビデオ品質の点で人間の投票者に好まれています。ユーザー調査の詳細については、研究論文 を参照してください。

使用方法

直接使用

このモデルは研究目的のみを想定しています。可能な研究分野とタスクには以下が含まれます。

• 生成モデルに関する研究。
• 有害なコンテンツを生成する可能性のあるモデルの安全なデプロイ。
• 生成モデルの制限とバイアスの調査と理解。
• アートワークの生成とデザインやその他の芸術的プロセスでの使用。
• 教育または創造的なツールでのアプリケーション。

除外される使用方法については以下で説明します。

想定外の使用

このモデルは、人やイベントの事実的または真実の表現を生成するように学習されていないため、そのようなコンテンツを生成するためにモデルを使用することは、このモデルの能力範囲外です。モデルは、Stability AIの 使用許諾ポリシー に違反するような方法で使用してはなりません。

制限とバイアス

制限

• 生成されるビデオは比較的短く（<= 4秒）、完全な写実性を達成していません。
• モデルは動きのないビデオや、非常にゆっくりしたカメラパンを生成することがあります。
• モデルはテキストで制御することができません。
• モデルは読み取り可能なテキストをレンダリングすることができません。
• 一般的に顔や人物が適切に生成されないことがあります。
• モデルのオートエンコーディング部分は損失があります。

推奨事項

このモデルは研究目的のみを想定しています。

📄 ライセンス

• ライセンス: other
• ライセンス名: stable-video-diffusion-nc-community
• ライセンスリンク: LICENSE