Cat Text To Video 2.3b

🚀 caT text to video

条件付き拡張型のテキストから動画への変換モデルです。ModelScopeのテキストから動画への変換モデルの事前学習済み重みを使用し、時間的な条件付きトランスフォーマーを用いて生成されたクリップを拡張し、クリップ間のスムーズな遷移を実現します。また、クリップ拡張中にシーンを変更するためのプロンプト補間もサポートしています。

このモデルは、WebWid 10Mデータセットを使用して、2つのRTX 6000 Ada GPUで500万ステップの学習を行いました。バッチサイズは1、学習率は1e-6、解像度は320x320です。条件付けには8フレーム、ノイズサンプルには8フレームを使用し、ストライドは6でした。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってインストールを行い、動画生成を開始できます。

📦 インストール

リポジトリのクローン

git clone https://github.com/motexture/caT-text-to-video-2.3b/
cd caT-text-to-video-2.3b
python3 -m venv venv
source venv/bin/activate  # On Windows use `venv\Scripts\activate`
pip install -r requirements.txt
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
python run.py

ブラウザで提供されたURLを開き、インターフェースとやり取りして動画の生成を開始します。

使用例

以下は、このモデルを使用した動画生成の例です。

男性が自転車に乗っている -> 男性がバイクに乗っている

ウィル・スミスがハンバーガーを食べている -> ウィル・スミスがアイスクリームを食べている

ライオンが周りを見回している -> ライオンが走っている

ダース・ベイダーが海でサーフィンをしている

美しいピンク髪のアニメガール -> アニメガールが笑っている

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。