Onlyflow

🚀 OnlyFlow - Obvious Research

OnlyFlowは、ビデオ拡散モデルにおけるオプティカルフローベースのモーションコンディショニングを実現する研究プロジェクトです。このモデルは、新しいビデオ生成技術を提供し、ビデオの品質と表現力を向上させます。

🚀 クイックスタート

モデルについて

このモデルは、論文「OnlyFlow: Optical Flow based Motion Conditioning for Video Diffusion Models」に基づいて開発されています。

プロジェクトウェブサイト

ウェブサイト でプロジェクトの詳細を確認できます。

コード

コードは Github で公開されています。

モデルの重み

モデルの重みは HuggingFace で公開されています。最良のトレーニング結果を持つモデルの重みを、fp32、fp16 ckpt、safetensors 形式で公開しています。このモデルは、Webvid - 10M データセットを使用して、8台のA100ノードで20時間トレーニングされています。

以下は、モデルによって生成されたビデオの例です。左から右に、入力、入力から抽出されたオプティカルフロー、OnlyFlowの影響を受けた出力（ガンマパラメータを0に設定）、ガンマ = 0.5の出力、ガンマ = 0.75の出力、ガンマ = 1の出力です。

推論の使用方法

HuggingFace Space のGradioインターフェースを使用して推論を行うことができます。また、Githubリポジトリ の推論スクリプトを使用して、公開されているモデルをテストすることもできます。

⚠️ 重要提示

このモデルは入力ビデオのフレームレートに非常に敏感です。期待する結果が得られない場合は、ビデオを8fpsにダウンサンプリングしてから使用することを試してください。

今後の予定

AnimateDiff以外のベースモデルに対してOnlyFlowを改善し、トレーニングする作業を進めています。

ご協力いただける場合は、遠慮なくご連絡ください。以下の方法でお問い合わせいただけます。

• Twitter: @obv_research
• メール: research.obvious@gmail.com

Obvious Researchについて

Obvious Researchは、アーティストのトリオ Obvious が主導し、ソルボンヌ大学と協力して始められた、新しいAIアートツールを作成するための人工知能研究機関です。

📄 ライセンス

このプロジェクトは、Apache - 2.0ライセンスの下で公開されています。

情報テーブル