Optical Flow MEMFOF Tartan T TSKH

🚀 MEMFOF-Tartan-T-TSKH

🔍 MEMFOF は、フルハイビジョン動画 用の メモリ効率の高いオプティカルフロー手法 で、高精度 と 低メモリ使用量 を兼ね備えています。この特定のチェックポイントは、実世界の動画 に使用することを目的としており、より高い多様性とロバスト性 を考慮してトレーニングされています。

📄 論文 | 🌐 プロジェクトページ | 💻 コード | 🚀 Colab | 🤗 デモ

🚀 クイックスタート

📦 インストール

git clone https://github.com/msu-video-group/memfof.git
cd memfof
pip3 install -r requirements.txt

💻 使用例

基本的な使用法

import torch
from core.memfof import MEMFOF

device = "cuda" if torch.cuda.is_available() else "cpu"
model = MEMFOF.from_pretrained("egorchistov/optical-flow-MEMFOF-Tartan-T-TSKH").eval().to(device)

with torch.inference_mode():
    example_input = torch.randint(0, 256, [1, 3, 3, 1080, 1920], device=device)  # [B=1, T=3, C=3, H=1080, W=1920]
    backward_flow, forward_flow = model(example_input)["flow"][-1].unbind(dim=1)  # [B=1, C=2, H=1080, W=1920]

📚 ドキュメント

引用

もしあなたの研究でこのモデルを使用した場合、以下の論文を引用してください。

@article{bargatin2025memfof,
  title={MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation},
  author={Bargatin, Vladislav and Chistov, Egor and Yakovenko, Alexander and Vatolin, Dmitriy},
  journal={arXiv preprint arXiv:2506.23151},
  year={2025}
}

📄 ライセンス

このプロジェクトは BSD 3 条項ライセンスの下で提供されています。