Stable Video Diffusion Img2vid Xt

🚀 安定ビデオ拡散 画像からビデオへのモデルカード

Stable Video Diffusion (SVD) 画像からビデオへの変換は、静止画像を条件付きフレームとして取り込み、そこからビデオを生成する拡散モデルです。

🚀 クイックスタート

モデルの使い方を始めるには、https://github.com/Stability-AI/generative-models をチェックしてください。

✨ 主な機能

Stable Video Diffusion (SVD) 画像からビデオへの変換は、静止画像を条件付きフレームとして取り込み、そこからビデオを生成することができます。

📚 ドキュメント

モデルの詳細

モデルの説明

(SVD) 画像からビデオへの変換は、画像の条件付けから短いビデオクリップを生成するように訓練された潜在拡散モデルです。このモデルは、同じサイズのコンテキストフレームを与えられた場合、解像度 576x1024 で 25 フレームを生成するように訓練されており、SVD 画像からビデオへの変換 [14 フレーム] から微調整されています。また、時間的な一貫性のために、広く使用されている f8-decoder も微調整しています。利便性のために、標準的なフレーム単位のデコーダを こちら で追加で提供しています。

• 開発者: Stability AI
• 資金提供元: Stability AI
• モデルの種類: 生成型画像からビデオへの変換モデル
• 微調整元のモデル: SVD 画像からビデオへの変換 [14 フレーム]

モデルのソース

研究目的では、最も人気のある拡散フレームワーク（訓練と推論の両方）を実装した generative-models GitHub リポジトリ (https://github.com/Stability-AI/generative-models) をお勧めします。

• リポジトリ: https://github.com/Stability-AI/generative-models
• 論文: https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets

評価

上のグラフは、GEN-2 と PikaLabs に対する SVD-画像からビデオへの変換のユーザーの好みを評価しています。SVD-画像からビデオへの変換は、ビデオの品質の点で人間の投票者に好まれています。ユーザー調査の詳細については、研究論文 を参照してください。

使用方法

直接使用

このモデルは研究目的のみを意図しています。可能な研究分野とタスクには以下が含まれます。

• 生成モデルの研究。
• 有害なコンテンツを生成する可能性のあるモデルの安全なデプロイ。
• 生成モデルの制限とバイアスの調査と理解。
• アートワークの生成とデザインやその他の芸術的なプロセスでの使用。
• 教育用または創造的なツールでのアプリケーション。

除外される使用法については以下で説明します。

想定外の使用

このモデルは、人やイベントの事実的または真実の表現を生成するように訓練されていないため、そのようなコンテンツを生成するためにこのモデルを使用することは、このモデルの能力範囲外です。このモデルは、Stability AI の 利用規約 に違反するような方法で使用してはなりません。

制限とバイアス

制限

• 生成されるビデオは比較的短く（<= 4 秒）、モデルは完全な写実性を達成していません。
• モデルは動きのないビデオや非常にゆっくりしたカメラパンを生成することがあります。
• モデルはテキストで制御することができません。
• モデルは読み取り可能なテキストをレンダリングすることができません。
• 顔や人全体が適切に生成されないことがあります。
• モデルの自動符号化部分は損失があります。

推奨事項

このモデルは研究目的のみを意図しています。

📄 ライセンス

• ライセンス: other
• ライセンス名: stable-video-diffusion-nc-community
• ライセンスリンク: LICENSE