机器人在进行困难的堆叠和插入任务上具有出色的任务性能

操控物体的机器人依靠摄像机来了解周围的环境，但是这些摄像机通常需要经过仔细的安装以及持续的校准和维护。

近日，由谷歌机器人技术部门和哥伦比亚大学的研究人员共同发表的一项新研究提出了一种解决方案，其中涉及一种技术，这种技术可以通过学习使用多台彩色摄像机来完成任务而无需明确的3D表达。他们表示，与基线相比，机器人在进行困难的堆叠和插入任务上具有出色的任务性能。

这项最新工作是建立在谷歌大量的机器人技术研究的基础之上。去年10月，谷歌的科学家发表了一篇论文，详细介绍了一个名为Form2Fit的机器学习系统，其目的是教一个带有吸力臂的拾取机器人将物体组装成套件。谷歌Brain研究人员正在寻求一种新颖的机器人任务规划技术（包括深度动力学模型或DDM），他们表示这种技术可以使机械手操控多个物体。最近，谷歌团队又揭开了ClearGrasp的面纱，这是一种可以帮助机器人更好地识别透明物体的AI模型。

正如研究人员所指出的那样，直到最近，大多数自动化解决方案仍都是为刚性设置而设计的，在这种刚性设置中，重复执行脚本化的机器人动作来移动到预设定的位置。这种方法需要高度校准的设置，但是这种设置可能既昂贵又耗时，并且缺乏处理环境变化所需的鲁棒性。计算机视觉的进步已使机械手的抓握性能提高，但是诸如堆叠，插入和精密安装等任务仍然具有挑战性。这是因为他们需要对任务环境具有准确的3D几何知识，包括物体的形状和姿势，位置之间的相对距离和方向以及其他因素。

相比之下，这个团队的方法利用了多摄像机视图和强化学习框架，可以从不同的角度获取图像并以闭环方式产生机器人动作。他们表示，通过直接从摄像机视图中进行组合和学习，而无需中间步骤，从而可以改善状态估计，同时提高系统动作的鲁棒性。

在实验中，研究人员将他们的装置部署到一个模拟环境中，这个环境包含一个配备有抓手的kuka机械手臂，两个放置在机器人前面的垃圾箱，以及三个可以俯瞰这些垃圾箱的摄像机。这个机械手臂的第一个任务是将一个垃圾箱与一个单独的方块堆叠放在一个随机的位置，从蓝色或橙色的方块开始。而在其他任务中，机械手臂的任务是将一个木块牢固地插入中间的固定装置，并将方块堆叠在另一个之上。

研究人员在10张图形卡片上运行了180个数据收集作业，以训练他们的强化学习模型，每次作业每小时可产生约5000次的插入任务。研究人员的报告称他们取得了成功，并大大降低了基于精度的任务的错误率，尤其是第一个堆叠任务的错误率为49.18％，第二个堆叠任务则为56.84％，插入任务则为64.1％。

论文的合着者写道：“有效利用多种视图可以更全面地观察与任务相关的潜在状态。我们的多视图方法可使RGB摄像机完成3D任务，而无需明显的3D表达，并且无需摄像机-摄像机和摄像机-机器人的校准。在将来，通过学习（除任务方法之外的）摄像头放置方法，单个移动摄像头也可以实现类似的多视图优势。”