Cat Text To Video 2.3b

🚀 caT文本轉視頻

caT文本轉視頻是一個條件增強的文本到視頻生成模型。它採用了來自ModelScope文本到視頻模型的預訓練權重，並通過時間條件變換器進行增強，以延長生成的視頻片段並實現片段間的平滑過渡。此外，該模型還支持提示插值，以便在視頻片段擴展過程中實現場景切換。

🚀 快速開始

按照以下步驟安裝並運行該模型，即可開始生成視頻。

📦 安裝指南

克隆倉庫

git clone https://github.com/motexture/caT-text-to-video-2.3b/
cd caT-text-to-video-2.3b
python3 -m venv venv
source venv/bin/activate  # 在Windows上使用 `venv\Scripts\activate`
pip install -r requirements.txt
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
python run.py

在瀏覽器中訪問提供的URL，與界面進行交互，即可開始生成視頻。

示例展示

• 從“一個男人在騎自行車”到“一個男人在騎摩托車”
• 從“威爾·史密斯在吃漢堡”到“威爾·史密斯在吃冰淇淋”
• 從“一隻獅子在環顧四周”到“一隻獅子在奔跑”
• “達斯·維達在海上衝浪”
• 從“一個漂亮的粉色頭髮動漫女孩”到“動漫女孩在笑”

🔧 技術細節

該模型在兩個RTX 6000 Ada GPU上進行了500萬步的訓練，使用了WebWid 10M數據集。訓練時的批量大小為1，學習率為1e-6，分辨率為320x320。模型使用8幀進行條件設置，8幀作為噪聲樣本，步長為6。

📄 許可證

本項目採用Apache-2.0許可證。