Vidtome

🚀 VidToMe：用於零樣本視頻編輯的視頻令牌合併

VidToMe 能夠讓你僅通過一個提示詞就可以立即編輯視頻！🎥 基於 Diffusers 實現的 VidToMe 是一個基於擴散模型的零樣本視頻編輯管道，它通過合併視頻幀間的自注意力令牌，增強了時間一致性並減少了內存使用。這種方法無需對模型進行微調，就能夠實現和諧的視頻生成與編輯。通過對齊和壓縮幀間的冗餘令牌，VidToMe 確保了視頻過渡平滑、輸出連貫，相較於傳統視頻編輯方法有顯著提升。該方法基於 這篇論文 實現。

🚀 快速開始

安裝依賴

確保你已經安裝了 diffusers 庫，若未安裝，可以使用以下命令進行安裝：

pip install diffusers

運行代碼

以下是使用 VidToMe 進行視頻編輯的示例代碼：

from diffusers import DiffusionPipeline

# 加載預訓練模型
pipeline = DiffusionPipeline.from_pretrained(
    "jadechoghari/VidToMe", 
    trust_remote_code=True, 
    custom_pipeline="jadechoghari/VidToMe", 
    sd_version="depth", 
    device="cuda", 
    float_precision="fp16"
)

# 設置反演和生成提示詞
inversion_prompt = "flamingos standing in the water near a tree."
generation_prompt = {"origami": "rainbow-colored origami flamingos standing in the water near a tree."}

# 額外的控制和參數
control_type = "none"  # 無額外控制，若需要可使用 "depth"
negative_prompt = ""

# 運行視頻到圖像的編輯管道
generated_images = pipeline(
    video_path="path/to/video.mp4",            # 添加輸入視頻的路徑
    video_prompt=inversion_prompt,    # 反演提示詞
    edit_prompt=generation_prompt,    # 用於生成的編輯提示詞
    control_type=control_type         # 控制類型（例如，"none", "depth"）
)

注意：若需要更多控制，可以創建一個配置文件，並遵循 GitHub 倉庫中的說明進行操作。

✨ 主要特性

• 支持零樣本視頻編輯，內容創作者無需複雜操作即可快速編輯視頻。
• 可使用自然語言提示詞進行視頻轉換，降低使用門檻。
• 針對長序列或複雜序列的視頻生成進行了內存優化，提高處理效率。

💻 使用示例

基礎用法

from diffusers import DiffusionPipeline

# 加載預訓練模型
pipeline = DiffusionPipeline.from_pretrained(
    "jadechoghari/VidToMe", 
    trust_remote_code=True, 
    custom_pipeline="jadechoghari/VidToMe", 
    sd_version="depth", 
    device="cuda", 
    float_precision="fp16"
)

# 設置反演和生成提示詞
inversion_prompt = "flamingos standing in the water near a tree."
generation_prompt = {"origami": "rainbow-colored origami flamingos standing in the water near a tree."}

# 額外的控制和參數
control_type = "none"  # 無額外控制，若需要可使用 "depth"
negative_prompt = ""

# 運行視頻到圖像的編輯管道
generated_images = pipeline(
    video_path="path/to/video.mp4",            # 添加輸入視頻的路徑
    video_prompt=inversion_prompt,    # 反演提示詞
    edit_prompt=generation_prompt,    # 用於生成的編輯提示詞
    control_type=control_type         # 控制類型（例如，"none", "depth"）
)

高級用法

# 高級用法可根據具體需求調整參數，例如使用不同的控制類型、提示詞等。
# 這裡以使用 "depth" 控制類型為例：
from diffusers import DiffusionPipeline

# 加載預訓練模型
pipeline = DiffusionPipeline.from_pretrained(
    "jadechoghari/VidToMe", 
    trust_remote_code=True, 
    custom_pipeline="jadechoghari/VidToMe", 
    sd_version="depth", 
    device="cuda", 
    float_precision="fp16"
)

# 設置反演和生成提示詞
inversion_prompt = "flamingos standing in the water near a tree."
generation_prompt = {"origami": "rainbow-colored origami flamingos standing in the water near a tree."}

# 額外的控制和參數
control_type = "depth"  # 使用 "depth" 控制類型
negative_prompt = ""

# 運行視頻到圖像的編輯管道
generated_images = pipeline(
    video_path="path/to/video.mp4",            # 添加輸入視頻的路徑
    video_prompt=inversion_prompt,    # 反演提示詞
    edit_prompt=generation_prompt,    # 用於生成的編輯提示詞
    control_type=control_type         # 控制類型（例如，"none", "depth"）
)

📄 許可證

本項目採用 MIT 許可證。

模型作者：

• Xirui Li
• Chao Ma
• Xiaokang Yang
• Ming-Hsuan Yang

更多信息請查看 GitHub 倉庫。