V Express

🚀 V-Express模型卡片

V-Express是一個具備文本到圖像、音頻到視頻等功能的模型，藉助多種預訓練模型，實現了強大的多媒體內容生成能力。

🚀 快速開始

你可以通過以下鏈接訪問項目的相關資源：

✨ 主要特性

本模型主要使用了以下幾種模型組件：

音頻編碼器

• model_ckpts/wav2vec2-base-960h。（你也可以從原始模型卡片 facebook/wav2vec2-base-960h 獲取該模型）

人臉分析

• model_ckpts/insightface_models/models/buffalo_l。（你也可以從原始倉庫 insightface/buffalo_l 獲取該模型）

V-Express

• model_ckpts/sd-vae-ft-mse。VAE編碼器。（原始模型卡片 stabilityai/sd-vae-ft-mse）
• model_ckpts/stable-diffusion-v1-5。這裡僅需要unet的模型配置文件。（原始模型卡片 runwayml/stable-diffusion-v1-5）
• model_ckpts/v-express。我們將基於音頻和V-kps條件的視頻生成模型稱為V-Express。
• 你需要下載所有的 .bin 模型文件並將其放置在 model_ckpts/v-express 目錄下，這些文件包括 audio_projection.bin、denoising_unet.bin、motion_module.bin、reference_net.bin 和 v_kps_guider.bin。

📄 許可證

有關許可證的更多信息，請參閱 致謝。