🚀 RDT-170M
RDT-170M是一个拥有1.7亿参数的模仿学习扩散变换器(在消融实验中为 RDT(小) )。它的隐藏层大小为 1024
,深度为 14
,均为RDT-1B的一半。给定语言指令和最多三个视角的RGB图像,RDT可以预测接下来的64个机器人动作。RDT几乎与所有现代移动操作机器人兼容,包括单臂到双臂、关节到末端执行器、位置到速度,甚至轮式移动。
所有的代码、预训练模型权重和数据均遵循MIT许可证。
更多信息请参考我们的项目页面和论文。
📚 详细文档
模型详情
用途
RDT以语言指令、RGB图像(最多三个视角)、控制频率(如果有)和本体感觉作为输入,预测接下来的64个机器人动作。
RDT借助统一动作空间支持对几乎所有机器人操作器的控制,该空间包含了机器人操作器的所有主要物理量(例如,末端执行器和关节、位置和速度,以及轮式移动)。要在你的机器人平台上部署,你需要将原始动作向量的相关量填充到统一空间向量中。更多信息请参考我们的代码仓库。
⚠️ 重要提示
由于具身差距,RDT目前还不能泛化到新的机器人平台(预训练数据集中未出现过的)。在这种情况下,我们建议收集目标机器人的小数据集,然后用它对RDT进行微调。更多教程请参考我们的代码仓库。
💻 使用示例
基础用法
from scripts.agilex_model import create_model
CAMERA_NAMES = ['cam_high', 'cam_right_wrist', 'cam_left_wrist']
config = {
'episode_len': 1000,
'state_dim': 14,
'chunk_size': 64,
'camera_names': CAMERA_NAMES,
}
pretrained_vision_encoder_name_or_path = "google/siglip-so400m-patch14-384"
model = create_model(
args=config,
dtype=torch.bfloat16,
pretrained_vision_encoder_name_or_path=pretrained_vision_encoder_name_or_path,
pretrained='robotics-diffusion-transformer/rdt-1b',
control_frequency=25,
)
lang_embeddings_path = 'your/language/embedding/path'
text_embedding = torch.load(lang_embeddings_path)['embeddings']
images: List(PIL.Image) = ...
proprio = ...
actions = policy.step(
proprio=proprio,
images=images,
text_embeds=text_embedding
)
📄 许可证
本项目遵循MIT许可证。
📖 引用
如果您觉得我们的工作有帮助,请引用我们的论文:
@article{liu2024rdt,
title={RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation},
author={Liu, Songming and Wu, Lingxuan and Li, Bangguo and Tan, Hengkai and Chen, Huayu and Wang, Zhengyi and Xu, Ke and Su, Hang and Zhu, Jun},
journal={arXiv preprint arXiv:2410.07864},
year={2024}
}
感谢您的支持!