Vidtome

🚀 VidToMe: ゼロショットビデオ編集のためのビデオトークンマージング

プロンプトだけで即座にビデオを編集できます！🎥

DiffusersによるVidToMeの実装は、拡散ベースのパイプラインで、ゼロショットビデオ編集を可能にします。これは、ビデオフレーム間の自己注意トークンをマージすることで、時間的な一貫性を向上させ、メモリ使用量を削減します。 このアプローチにより、モデルを微調整することなく、調和のとれたビデオ生成と編集が可能になります。 フレーム間の冗長なトークンを整列させて圧縮することで、VidToMeはスムーズな遷移と一貫したビデオ出力を保証し、従来のビデオ編集方法を上回ります。 この手法は、この論文に基づいています。

🚀 クイックスタート

💻 使用例

基本的な使用法

from diffusers import DiffusionPipeline

# load the pretrained model
pipeline = DiffusionPipeline.from_pretrained(
    "jadechoghari/VidToMe", 
    trust_remote_code=True, 
    custom_pipeline="jadechoghari/VidToMe", 
    sd_version="depth", 
    device="cuda", 
    float_precision="fp16"
)

# set prompts for inversion and generation
inversion_prompt = "flamingos standing in the water near a tree."
generation_prompt = {"origami": "rainbow-colored origami flamingos standing in the water near a tree."}

# additional control and parameters
control_type = "none"  # No extra control, use "depth" if needed
negative_prompt = ""

# Run the video-to-image editing pipeline
generated_images = pipeline(
    video_path="path/to/video.mp4",            # add path to the input video
    video_prompt=inversion_prompt,    # inversion prompt
    edit_prompt=generation_prompt,    # edit prompt for generation
    control_type=control_type         # control type (e.g., "none", "depth")
)

注意: より高度な制御が必要な場合は、設定ファイルを作成し、GitHubリポジトリの指示に従ってください。

✨ 主な機能

• コンテンツクリエイター向けのゼロショットビデオ編集
• 自然言語プロンプトを使用したビデオ変換
• 長いまたは複雑なシーケンスのためのメモリ最適化ビデオ生成

モデルの作成者:

• Xirui Li
• Chao Ma
• Xiaokang Yang
• Ming-Hsuan Yang

詳細はGithubリポジトリを確認してください。

📄 ライセンス

MITライセンスの下で提供されています。