In2in

🚀 in2IN：利用个体信息生成人类交互

in2IN是一个用于人类交互动作生成的新型扩散模型，不仅能依据整体交互的文本描述，还能结合交互中每个人的个体动作描述来生成动作。该模型在InterHuman数据集上取得了最先进的性能，此外还提出了DualMDM模型组合技术，可提升现有交互数据集中的个体多样性。

🚀 快速开始

生成基于文本描述的人与人之间的动作交互，在机器人、游戏、动画和元宇宙等许多领域都是非常有用的应用。然而，对高维度的人际动态进行建模存在很大困难，此外，正确捕捉人际交互的个体多样性也面临诸多挑战。由于现有数据集和条件策略的限制，当前的方法在生成交互时，个体动态的多样性有限。

为此，我们引入了 in2IN，这是一种用于人类动作生成的新型扩散模型。该模型不仅以整体交互的文本描述为条件，还以交互中每个人所执行动作的个体描述为条件。为了训练这个模型，我们使用大语言模型对InterHuman数据集进行扩展，添加个体描述。因此，in2IN 在InterHuman数据集上达到了最先进的性能。

此外，为了增加现有交互数据集的个体多样性，我们提出了 DualMDM，这是一种模型组合技术，它将 in2IN 生成的动作与在HumanML3D上预训练的单人动作先验模型生成的动作相结合。因此，DualMDM 生成的动作具有更高的个体多样性，并在保持人际连贯性的同时，提高了对个体动态的控制。

💻 使用示例

基础用法

from transformers import AutoModel        
model = AutoModel.from_pretrained("pabloruizponce/in2IN", trust_remote_code=True)
model(textI, texti1, texti2)

输入：模型的输入为整体交互的文本描述，以及两个交互者的个体描述。

输出 (2,T,N,3)：模型返回一个数组，包含每个交互者在T个时间步的运动过程中，N个关节的坐标。

📚 详细文档

引用

如果您觉得我们的工作有帮助，请引用：

@InProceedings{Ruiz-Ponce_2024_CVPR,
    author    = {Ruiz-Ponce, Pablo and Barquero, German and Palmero, Cristina and Escalera, Sergio and Garc{\'\i}a-Rodr{\'\i}guez, Jos\'e},
    title     = {in2IN: Leveraging Individual Information to Generate Human INteractions},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops},
    month     = {June},
    year      = {2024},
    pages     = {1941-1951}
}