ATI

🚀 ATI：用於可控視頻生成的任意軌跡指令

ATI（Any Trajectory Instruction for Controllable Video Generation）是一個基於軌跡的運動控制框架，它將視頻生成中的對象、局部和相機運動統一起來。本倉庫基於 Wan2.1 官方實現 構建。

ATI：用於可控視頻生成的任意軌跡指令
王昂天, 黃海斌, 方致遠, 楊毅丁, 馬重陽
字節跳動智能創作團隊

🚀 快速開始

本項目是關於 Wan2.1 ATI（用於可控視頻生成的任意軌跡指令）的倉庫，它是一個基於軌跡的運動控制框架，能將視頻生成中的對象、局部和相機運動統一起來。本倉庫基於 Wan2.1 官方實現 構建。代碼地址：https://github.com/bytedance/ATI

📦 安裝指南

ATI 需要與官方 Wan 2.1 相同的環境。請按照 INSTALL.md（Wan2.1）中的說明進行操作。

git clone https://github.com/bytedance/ATI.git
cd ATI

安裝所需的包：

pip install .

首先，你需要下載 Wan2.1 的 14B 原始模型：

huggingface-cli download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./Wan2.1-I2V-14B-480P

然後，從我們的 Hugging Face 倉庫下載 ATI-Wan 模型：

huggingface-cli download bytedance-research/ATI --local-dir ./Wan2.1-ATI-14B-480P

最後，將 VAE、T5 和其他雜項檢查點從原始 Wan2.1 文件夾複製到 ATI 檢查點位置：

cp ./Wan2.1-I2V-14B-480P/Wan2.1_VAE.pth ./Wan2.1-ATI-14B-480P/
cp ./Wan2.1-I2V-14B-480P/models_t5_umt5-xxl-enc-bf16.pth ./Wan2.1-ATI-14B-480P/
cp ./Wan2.1-I2V-14B-480P/models_clip_open-clip-xlm-roberta-large-vit-huge-14.pth ./Wan2.1-ATI-14B-480P/
cp -r ./Wan2.1-I2V-14B-480P/xlm-roberta-large ./Wan2.1-ATI-14B-480P/
cp -r ./Wan2.1-I2V-14B-480P/google ./Wan2.1-ATI-14B-480P/

💻 使用示例

運行 ATI

我們提供了一個演示腳本，用於運行 ATI：

bash run_example.sh -p examples/test.yaml -c ./Wan2.1-ATI-14B-480P -o samples

其中，-p 是配置文件的路徑，-c 是檢查點的路徑，-o 是輸出目錄的路徑，-g 定義要使用的 GPU 數量（如果未指定，將使用所有可用的 GPU；如果指定為 1，將以單進程模式運行）。

運行完成後，你可以在以下位置找到相應的輸出：

• samples/outputs：原始輸出視頻。
• samples/images_tracks：顯示輸入圖像以及用戶指定的軌跡。
• samples/outputs_vis：顯示輸出視頻以及用戶指定的軌跡。

預期結果如下：

輸入圖像與軌跡	生成的視頻（疊加軌跡）

創建你自己的軌跡

我們提供了一個交互式工具，允許用戶在圖像上繪製和編輯軌跡：

1. 首先運行以下命令：

cd tools/trajectory_editor
python3 app.py

然後在瀏覽器中打開這個 URL localhost:5000。注意，如果你在服務器上運行編輯器，需要將 localhost 替換為服務器的 IP 地址。

2. 打開界面後，點擊 Choose File 打開本地圖像。
   

3. 可用的軌跡功能：
   

   a. 自由軌跡：直接在圖像上點擊並拖動鼠標。
   b. 圓形（相機控制）：

   • 在圖像上放置一個圓，然後拖動以設置第 0 幀的大小。
   • 在圓上放置幾個（建議 3 - 4 個）跟蹤點。
   • 拖動半徑控制以實現放大/縮小效果。

   c. 靜態點：一個隨時間保持靜止的點。

   注意：注意框中的進度條，以控制運動速度。
   

4. 軌跡編輯：在這裡選擇一個軌跡，然後進行刪除、編輯或複製操作。在編輯模式下，直接在圖像上拖動軌跡。所選軌跡會以顏色突出顯示。
   

5. 相機平移控制：輸入水平（X）或垂直（Y）速度（每幀像素）。正 X 向右移動；負 X 向左移動。正 Y 向下移動；負 Y 向上移動。點擊 Add to Selected 應用到當前軌跡，或點擊 Add to All 應用到所有軌跡。所選點將在現有運動的基礎上獲得恆定的平移運動。
   

6. 重要提示：編輯完成後，點擊 Store Tracks 保存。繪製所有軌跡後，每個圖像（不是每個軌跡）都必須單獨保存。
   

7. 完成所有編輯後，在 Trajectory Editor 中找到 videos_example 文件夾。

📄 許可證

本項目採用 apache-2.0 許可證。

📚 引用

如果您覺得我們的工作有用，請引用我們的論文：

@article{wang2025ati,
  title={{ATI}: Any Trajectory Instruction for Controllable Video Generation},
  author={Wang, Angtian and Huang, Haibin and Fang, Zhiyuan and Yang, Yiding, and Ma, Chongyang},
  journal={arXiv preprint},
  volume={arXiv:2505.22944},
  year={2025}
}