In2in

🚀 in2IN：利用個體信息生成人類交互

in2IN是一個用於人類交互動作生成的新型擴散模型，不僅能依據整體交互的文本描述，還能結合交互中每個人的個體動作描述來生成動作。該模型在InterHuman數據集上取得了最先進的性能，此外還提出了DualMDM模型組合技術，可提升現有交互數據集中的個體多樣性。

🚀 快速開始

生成基於文本描述的人與人之間的動作交互，在機器人、遊戲、動畫和元宇宙等許多領域都是非常有用的應用。然而，對高維度的人際動態進行建模存在很大困難，此外，正確捕捉人際交互的個體多樣性也面臨諸多挑戰。由於現有數據集和條件策略的限制，當前的方法在生成交互時，個體動態的多樣性有限。

為此，我們引入了 in2IN，這是一種用於人類動作生成的新型擴散模型。該模型不僅以整體交互的文本描述為條件，還以交互中每個人所執行動作的個體描述為條件。為了訓練這個模型，我們使用大語言模型對InterHuman數據集進行擴展，添加個體描述。因此，in2IN 在InterHuman數據集上達到了最先進的性能。

此外，為了增加現有交互數據集的個體多樣性，我們提出了 DualMDM，這是一種模型組合技術，它將 in2IN 生成的動作與在HumanML3D上預訓練的單人動作先驗模型生成的動作相結合。因此，DualMDM 生成的動作具有更高的個體多樣性，並在保持人際連貫性的同時，提高了對個體動態的控制。

💻 使用示例

基礎用法

from transformers import AutoModel        
model = AutoModel.from_pretrained("pabloruizponce/in2IN", trust_remote_code=True)
model(textI, texti1, texti2)

輸入：模型的輸入為整體交互的文本描述，以及兩個交互者的個體描述。

輸出 (2,T,N,3)：模型返回一個數組，包含每個交互者在T個時間步的運動過程中，N個關節的座標。

📚 詳細文檔

引用

如果您覺得我們的工作有幫助，請引用：

@InProceedings{Ruiz-Ponce_2024_CVPR,
    author    = {Ruiz-Ponce, Pablo and Barquero, German and Palmero, Cristina and Escalera, Sergio and Garc{\'\i}a-Rodr{\'\i}guez, Jos\'e},
    title     = {in2IN: Leveraging Individual Information to Generate Human INteractions},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2024},
    pages     = {1941-1951}
}