ATI

🚀 ATI: コントロール可能なビデオ生成のための任意軌道指示

このプロジェクトは、ビデオ生成におけるオブジェクト、局所的な動き、カメラの動きを統一する軌道ベースのモーションコントロールフレームワークです。

ATI: Any Trajectory Instruction for Controllable Video Generation
Angtian Wang, Haibin Huang, Jacob Zhiyuan Fang, Yiding Yang, Chongyang Ma,
Intelligent Creation Team, ByteDance

🚀 クイックスタート

これはWan2.1 ATI（コントロール可能なビデオ生成のための任意軌道指示）のリポジトリです。このリポジトリはWan2.1の公式実装に基づいています。コード: https://github.com/bytedance/ATI

✨ 主な機能

• ビデオ生成におけるオブジェクト、局所的な動き、カメラの動きを統一した軌道ベースのモーションコントロールフレームワーク
• ユーザーが画像上で軌道を描画および編集できるインタラクティブツールを提供

📦 インストール

ATIは公式のWan 2.1と同じ環境を必要とします。INSTALL.md（Wan2.1）の指示に従ってください。

git clone https://github.com/bytedance/ATI.git
cd ATI

パッケージをインストールします。

pip install .

まず、Wan2.1の14Bオリジナルモデルをダウンロードする必要があります。

huggingface-cli download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./Wan2.1-I2V-14B-480P

次に、ATI-Wanモデルを私たちのHugging Faceリポジトリからダウンロードします。

huggingface-cli download bytedance-research/ATI --local-dir ./Wan2.1-ATI-14B-480P

最後に、VAE、T5、その他のチェックポイントを元のWan2.1フォルダからATIのチェックポイント場所にコピーします。

cp ./Wan2.1-I2V-14B-480P/Wan2.1_VAE.pth ./Wan2.1-ATI-14B-480P/
cp ./Wan2.1-I2V-14B-480P/models_t5_umt5-xxl-enc-bf16.pth ./Wan2.1-ATI-14B-480P/
cp ./Wan2.1-I2V-14B-480P/models_clip_open-clip-xlm-roberta-large-vit-huge-14.pth ./Wan2.1-ATI-14B-480P/
cp -r ./Wan2.1-I2V-14B-480P/xlm-roberta-large ./Wan2.1-ATI-14B-480P/
cp -r ./Wan2.1-I2V-14B-480P/google ./Wan2.1-ATI-14B-480P/

💻 使用例

基本的な使用法

ATIを実行するためのデモスクリプトを提供しています。

bash run_example.sh -p examples/test.yaml -c ./Wan2.1-ATI-14B-480P -o samples

ここで、-p は設定ファイルのパス、-c はチェックポイントのパス、-o は出力ディレクトリのパス、-g は使用するGPUの数を定義します（指定しない場合、利用可能なすべてのGPUが使用されます；1 を指定すると、シングルプロセスモードで実行されます）。

完了すると、以下のものが生成されます。

• samples/outputs：生の出力ビデオ
• samples/images_tracks：ユーザーが指定した軌道とともに入力画像を表示
• samples/outputs_vis：ユーザーが指定した軌道とともに出力ビデオを表示

期待される結果は以下の通りです。

入力画像と軌道	生成されたビデオ（重ね合わせた軌道）

高度な使用法

独自の軌道を作成するためのインタラクティブツールを使用することができます。

1. まず、以下のコマンドを実行します。

cd tools/trajectory_editor
python3 app.py

次に、ブラウザでこのURL localhost:5000 を開きます。エディタをサーバー上で実行する場合は、localhost をサーバーのIPアドレスに置き換える必要があります。

2. 以下のようなインターフェイスが表示されたら、Choose File をクリックしてローカル画像を開きます。
   

3. 利用可能な軌道関数は以下の通りです。
   

   a. 自由軌道：画像上で直接マウスをクリックしてドラッグします。
   b. 円形（カメラコントロール）：

   • 画像上に円を配置し、フレーム0のサイズをドラッグして設定します。
   • 円上にいくつか（3 - 4個を推奨）のトラックポイントを配置します。
   • 半径コントロールをドラッグしてズームイン/ズームアウトの効果を実現します。

   c. 静止点：時間の経過とともに静止したままの点です。

   注意：ボックス内のプログレスバーに注意して、動きの速度を制御してください。
   

4. 軌道編集：ここで軌道を選択し、削除、編集、またはコピーします。編集モードでは、画像上で直接軌道をドラッグします。選択された軌道は色で強調表示されます。
   

5. カメラパンコントロール：水平（X）または垂直（Y）の速度（1フレームあたりのピクセル数）を入力します。正のXは右に移動し、負のXは左に移動します。正のYは下に移動し、負のYは上に移動します。Add to Selected をクリックすると、現在の軌道に適用されます。または、Add to All をクリックすると、すべての軌道に適用されます。選択されたポイントは、既存の動きに加えて一定のパンモーションを獲得します。
   

6. 重要：編集後、Store Tracks をクリックして保存します。すべての軌道を描画した後、各画像（各軌道ではなく）を個別に保存する必要があります。
   

7. すべての編集が完了したら、Trajectory Editor の videos_example フォルダを見つけます。

📚 ドキュメント

本プロジェクトの詳細な情報については、以下のリンクを参照してください。

• 論文: ATI: Any Trajectory Instruction for Controllable Video Generation
• プロジェクトページ: ATI
• Hugging Faceリポジトリ: bytedance-research/ATI

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。

引用

本研究が有用であった場合は、以下の論文を引用してください。

@article{wang2025ati,
  title={{ATI}: Any Trajectory Instruction for Controllable Video Generation},
  author={Wang, Angtian and Huang, Haibin and Fang, Zhiyuan and Yang, Yiding, and Ma, Chongyang}
  journal={arXiv preprint},
  volume={arXiv:2505.22944},
  year={2025}
}