In2in

🚀 in2IN: 個人情報を活用した人間の相互作用生成

人間同士の動きの相互作用をテキスト記述に基づいて生成することは、ロボット工学、ゲーム、アニメーション、メタバースなど多くの分野で非常に有用なアプリケーションです。しかし、この有用性とともに、高次元の人物間ダイナミクスをモデル化することには大きな困難が伴います。さらに、人物内の相互作用の多様性を適切に捉えることにも多くの課題があります。現在の方法では、利用可能なデータセットと条件付け戦略の制限により、人物内ダイナミクスの多様性が限られた相互作用しか生成できません。このため、私たちはin2INを導入します。これは、全体の相互作用のテキスト記述だけでなく、相互作用に関与する各人物が行う行動の個別記述にも条件付けされた、人間同士の動き生成のための新しい拡散モデルです。このモデルを訓練するために、私たちは大規模言語モデルを使用して、InterHumanデータセットを個別記述で拡張します。その結果、in2INはInterHumanデータセットで最先端の性能を達成します。さらに、既存の相互作用データセット上の人物内多様性を高めるために、私たちはDualMDMを提案します。これは、in2INで生成された動きと、HumanML3Dで事前学習された一人用の動き事前分布によって生成された動きを組み合わせるモデル合成手法です。その結果、DualMDMはより高い個人多様性を持つ動きを生成し、人物内ダイナミクスの制御を向上させながら、人物間の一貫性を維持します。

🚀 クイックスタート

このプロジェクトは、テキスト記述に基づいて人間同士の動きの相互作用を生成する新しい拡散モデルであるin2INを提案しています。また、既存の相互作用データセット上の人物内多様性を高めるためのモデル合成手法DualMDMも提案しています。

✨ 主な機能

• in2INモデル：全体の相互作用のテキスト記述と各人物の個別記述に基づいて人間同士の動きを生成し、InterHumanデータセットで最先端の性能を達成。
• DualMDM手法：in2INで生成された動きと一人用の動き事前分布によって生成された動きを組み合わせ、人物内多様性を高める。

📦 インストール

from transformers import AutoModel
model = AutoModel.from_pretrained("pabloruizponce/in2IN", trust_remote_code=True)

💻 使用例

基本的な使用法

# Input: モデルは全体の相互作用のテキスト記述と、相互作用する2人の個別記述を入力として受け取ります
# Output (2,T,N,3): モデルは、Tタイムステップの動作中の各相互作用者のN個の関節の座標を含む配列を返します
from transformers import AutoModel
model = AutoModel.from_pretrained("pabloruizponce/in2IN", trust_remote_code=True)
model(textI, texti1, texti2)

📚 ドキュメント

📚 引用

もし私たちの研究が役に立った場合は、以下のように引用してください。

@InProceedings{Ruiz-Ponce_2024_CVPR,
    author    = {Ruiz-Ponce, Pablo and Barquero, German and Palmero, Cristina and Escalera, Sergio and Garc{\'\i}a-Rodr{\'\i}guez, Jos\'e},
    title     = {in2IN: Leveraging Individual Information to Generate Human INteractions},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2024},
    pages     = {1941-1951}
}