Nvidia研究人员使用AI教机器人如何将物体交给人类

在本周发表的预印研究论文中,英伟达(Nvidia)研究人员提出了一种从人到机器人的交接方法,该方法是机器人在半途中遇到人,对人的抓握进行分类,并规划从人的手中拿走物体的轨迹。他们声称与基线相比,移交更为流畅,他们说这可以为协作式仓库机器人的设计提供参考,从而提高工人的生产率。

正如合著者所解释的那样,越来越多的研究集中在实现无缝人机切换的问题上。假设人类可以将物体反向放置在机器人的夹具中,那么大多数解决了将物体从机器人传递到人类的挑战。但是,人和物体姿态估计的准确性会受到遮挡的影响(即,当物体和手被彼此遮挡时),并且人类在搬运物体时经常需要注意其他任务。

Nvidia小组离散化了人类将小物件固定在几类中的方式,因此,如果一只手抓住一个障碍物,则该姿势可以分为“打开式”,“捏式”,“捏式” ,“捏侧”或“提起”。然后,他们使用Microsoft Azure Kinect深度相机编辑数据集,以训练AI模型将持物体的手分类为这些类别之一,特别是通过向对象显示手的示例图像并记录对象的行为20至60秒的姿势相似。在录制过程中,该人可以将他或她的身体和手移动到不同的位置,以使相机的视点多样化,并且捕获了对象的左右手,共拍摄了151,551张图像。

研究人员将交接任务建模为他们所谓的“健壮的逻辑动力学系统”,该系统会生成运动计划,从而避免在给定分类的情况下机械手与手之间发生接触。该系统必须适应不同的可能的抓握,并做出反应选择接近人类并从中获取物体的方式。直到它稳定地估计出人们想要如何展示该块时,它才会停留在“原始”位置并等待。

在一系列实验中,研究人员对一系列不同的手部姿势和握法进行了系统的综述,包括分类模型和任务模型。来自Franka Amika的两个不同的熊猫机器人安装在不同位置的同一张桌子上,人类用户将四个不同颜色的块交给了它们。

根据共同作者的说法,与现有方法相比,他们的方法“始终如一”提高了抓取成功率,并减少了总执行时间和审判时间。它的抓取成功率为100%,而第二好的技术为80%,计划成功率为64.3%,而计划成功率为29.6%。此外,计划和执行动作花费了17.34秒,而第二快的系统花费了20.93秒。

研究人员写道:“总的来说,我们对人手抓握的定义涵盖了77%的用户抓握,甚至在他们不了解我们系统中定义的抓握方式之前。”“虽然我们的系统可以处理大多数人类看不见的抓握,但它们往往会导致更高的不确定性,有时还会导致机器人退缩并重新计划。……这为未来的研究提供了方向;理想情况下,我们将能够处理人类可能想要使用的更多范围的抓取。”

将来,他们计划使系统适应从数据中学习不同握持类型的握持姿势,而不是手动指定规则。