熊蓉教授：智能移动机器人的有关技术演讲

熊蓉教授，系国家科技部重点专项智能机器人专家组专家，RoboCup国际理事会理事，浙江省机器换人专家组专家，浙江大学机器人实验室主任。日前，她被世界机器人大会邀请，做了题为《智能移动机器人技术及应用》的主题演讲，提出的智能移动机器人“自然无轨导航”等研究，格外引人关注。

在长达十多分钟的发言中，熊蓉教授为我们梳理了我国制造业机器人的研发现状和重要节点，其中既有她对于国际机器人产业发展的深度理解，亦有对国内机器人产业发展前景和重点方向的思考分析，干货非常多，值得您花时间阅读。

尊敬的各位领导，各位嘉宾，大家下午好！感谢组委会的邀请，我来自于浙江大学控制学院机器人实验室，今天主要为大家介绍我们在机器人方面所做的一些工作，其中将重点介绍智能移动机器人的有关技术。

之前关于机器人的背景，各位嘉宾已经讲得很多了，这里我只做一个简要介绍。基于市场驱动与技术发展，目前机器人产业已经成为各个国家的战略型新兴产业。我是从2000年开始从事机器人研究，当时有读到2001年《世界周刊》的一篇报道，文中卡耐基梅隆大学的教授预测“机器人产业会超越IT资讯产业”，而那时还是IT非常热的时候。之后很快到了2013年，中国就迎来了机器人产业的爆发。从1956年的第一台工业机器人诞生并应用到汽车领域，到现在我们已经有了非常多不同类型的机器人，且已经应用到了包括工业、外空探测、军事、医疗手术、康复等各行各业里，机器人已经逐渐向社会各个领域不断渗透。

但是我们发现，这些机器人在应用过程中无论是形态上还是智能上，仍有很多局限性，因而现在很多的研究机构与机器人企业都在研究各种各样的轻型机器人。如工业中能够与人交互协作的机器人，或将原来人车分离的结合在一起，以及一些仿生机器人。关于这些机器人，除了它们的外部形态外，还有一个非常重要的问题，就是内部的智能性。智能化是新一代机器人的核心特征，对于腿足机器人来说，不管是让它适应不平整的地面，实现动态的移动控制；还是在家庭服务中，不断实现对作业任务的移动，以及对物体的操作；或是在人机交互中，对人脸、人体进行识别，进而识别人的情绪，开展对应的自然交互；以及在工业中的人机协同作业和康复、助残中的人机协同作业，还有如何让机器人自主地学习技能，并在泛化的作业内容中实现……以上这些都是当前研究的热点。但就整体来说，其中最关键的还是如何让机器人变得智能。

关于智能，我们提到两个核心问题：一是感知，一是控制。获得环境和自身的信息，然后基于感知进行伺服的控制，两者之间相互关联，形成一个闭环系统。通过这两个作业，我们要使得机器人系统有很好的适应性，能够适应各种不同的环境，适应各种不同的操作对象以及各种不同的地形等等。

基于本人的计算机背景，我们的实验室从2000年开始，主要关注于机器人的智能化方面。在17年的发展过程中，我们的发展方向主要概括为三个：如何进行智能的操作、智能的移动和智能的运动。下面我先简要地介绍一下实验室在智能操作和智能运动方面的一些成果，然后再重点介绍一下在智能移动方面所做的各项工作。

操作是工业机器人最基本的功能需求。但是从工业机器人进入到现在，就需要满足柔性制造的发展来看，也对机器人的智能性提出了需求，即能否通过各种各样的传感器来感知其作业对象并进行在线作业；而对于服务机器人来说，它更是一个必备的技术要求。因而不管是工业机器人还是服务机器人，人机协作是一个发展趋势。这同样意味着，我们的机器人需要具有感知的能力，去感知它的交互对象及意图，然后来规划自己的运动。于是，在2008年到2011年间，我们在国家863重点课题的支持下，做了一个乒乓球对打机器人，其实质是在解决智能操作的问题。它主要通过对某个对象的快速识别、定位，来考虑如何安排自己的运动，即对机械臂运动轨迹进行预测，然后规划出机器人的全身运动，这是在线、实时的规划，并且要保证这个手臂在快速作业时的动态平衡控制。该成果于2011 年10月发布，得到了国内外的很大肯定。包括英国的路透社、美国的美联社，以及美国国家地理频道在去年开设的一个名为Nothing Impossible的节目,都来到实验室做了专题报道，更有很多的人慕名前来和这款机器人对打。（看图）这就是第一位来和它对打的老先生，某双蛇发球器的老总，从小打乒乓球。我们当时生产了两款这样的机器人，他们之间可以进行对打。但是机器人间的对打难度不及于他们与人类的对打，这是因为机器人是比较可控的，不像人类会有忽快、忽慢的速度，甚至所打的球会带有旋转性。同时，由于我们最初的定义就是制造一款仿人机器人，所以这款乒乓球对打机器人也能走路，只不过它的速度和国际上相比还有较大差距。这款机器人主要解决的是如何利用它全身的关节，来保证稳定的平衡控制及作业的精确性。（看图）这是工博会上，万钢部长和它的对打，这些是在863成果20周年汇报上的一些照片。

这个作业完成后，我们将这一技术应用到了工业领域。在该领域里，涉及到对不同物品的分拣。（看图）这是我们给某企业做的几套自动化单元，当中有涉及到耳机这样很小且没有什么纹理的物品，我们要快速地识别它的位置，然后规划机械臂的运动实现抓取，进而去适应不同的对象、插件等等。（看图）我们把一个工作台临时推到机械臂面前，它能够在1分钟内完成标定，然后开始精确作业（ICT的焊接对精度要求挺高），这解决了原来在工业上人机标定作业和机械臂标定时需要大量专业人员和大量时间的问题。

另外我们还开展了进一步研究，即原先我们针对的是有相对少量旋转的球，但其实在很多现实领域里，都会涉及到有大量旋转的事物，比如在军事对抗、航空航天领域里都有这样对象作业的需求。那么在带有高速旋转的情况下，如何预测它的轨迹，就变得非常重要。因此，在国家自然科学基金的支持下，我们于2012年开始了这方面的工作。从最初对球（我们还是以球作为一个对象）上自然标志的识别、跟踪来估计它的旋转状态，第一次实现机器人对高速旋转球的接打；到后来我们对模型进行肌理分析，再结合视觉学习，建立准确的模型，目前大家看到的就是不用看球上的任何标示，完全只根据它的位置，就能做出精确的轨迹预测来实现机器人对球的接打。而眼下，我们正在进一步研究的是如何能让机器人把球打回到我们需要的地方，目前我们已经完成了对球的旋转建模即能够接住球，下一步是要把球打到需要的位置上。

除此之外，在智能操作方面，我们也在研究如何简化机器人编程的专业需求。现在的机器人编程，都需要由专业人员进行，可对于很多中小企业来说，缺乏这方面的人员，同时很高的作业柔性，也需要经常改变程序来适应。ABB、KUKA在这方面也做了很多工作，如开发便捷试教的程序。而我们所做的是如何让它完成一些高层任务的学习，如装配一个手电筒，装配一个开关。我们通过人来进行演示，我们去观察人的动作，包括对物体的操作以及操作后的效果，然后在一分钟内生成机器人的程序，让其来实现。刚才大家看到的就是对手电筒和开关的装配，你可以任意地调整自己的装配方式。

刚才我们看到的腿足式运动，主要是解决在轮式、履带式移动时有些地面无法到达的问题，国际上也有很多对这方面的研究，包括模拟人的双足，模拟鹿、马、豹子等四足，还有如蟑螂的六足。而我们研究的主要是如何能够跳得高、跳得快且还能降低它的能效，所以从2012年开始，我们从一个单的弹性驱动关节着手，来考虑对能量的存储利用、关节损耗的降低，进而研发了这个能够快速弹跳的单腿机器人，目前它是国际上跳跃度最高、能耗量最低的一款机器人。在此基础上，近两年我们又研发了一款双足跑跳机器人，其速度达到了3.6公里/小时，虽然现在它还只是在跑步机上跑，但计划明年上半年就可实现在操场上的跑跳。去年我们也接到企业的委托，研发了一款名为“赤兔”的四足机器人，它跟BIGDOG非常类似。所不同的是，“赤兔”采用的是电机驱动而非液压驱动，因而在行走速度上只实现了6公里/小时，和液压驱动相比还有较大差距，但和波士顿动力后来研发的电机驱动相比，速度基本类似。同时，该款机器人也能够根据关节的感知、控制来实现对不平整地面的适应，甚至还包括了实现快速跑跳的能力。

最早提出移动需求的不是工业界，而是服务机器人领域。这是因为服务机器人需要在环境中的各个地方作业，它是服务机器人必备的能力。而随着工业机器人柔性制造的发展，也提出了关于移动车子的需求，（看图）如左边是KUKA设计的由移动车和机械臂合作的矩阵型工作单元。同样的，很多工厂对于物流搬运的巨大需求，也对移动机器人的发展提出了很大需求。

我们在智能移动领域，主要关注的是“自然无轨导航”。原来传统工业上使用的机器人还是依赖于在环境中建立导轨或者标志，通过检测识别来实现自主移动。但其存在的问题是，如果到了一个新环境，必须要依赖人工布置标注，而若是身处家庭环境或室外环境，我们是很难做到这样部署的。在工业上也是如此，企业的生产线经常需要调整，如我们的某家合作企业，他们的产线每个月都要进行调整，不能总是把地上的标志揭下来重新进行布置，因而大家都希望机器人能够在没有环境标识的情况下实现导航，我们称之为“自然无轨导航”。它所面临的挑战主要有以下四个方面：

一、对环境准确的地图构建。今天，随着应用场景的不断扩散，我们会面临很多的大环境，且对机器人的定位精度要求高，这当中就会涉及到有关大范围环境地图的高精构建问题，且还要实现机器人在大环境里，能够满足高精要求下的实时定位需求；

二、环境中间总是有各种动态变化，比如环境中的很多人车，这是即时的快速变化；而这辆车早上停在这里、晚上开走了，或者有堆物料原来放在工厂的这个角落、一个小时后运走了……这些我们称之为慢的变化；还有如季节、气候等长期的变化；

三、在环境中有很多物体，特别是对室外导航来说，更需要对这些物体能有敏锐的认知；且在很多情况下，我们会面对一些人机混杂的场景，这都需要我们的机器人能在这样的环境里实现准确、快速、安全地移动。

就智能移动而言，有一个特例叫做无人驾驶，它所面向的对象是固定的，面向的环境也是明确的。但是抛开无人驾驶，我们的机器人可能面对的是各种不同的对象，有陆地上通行的、空中飞行的、水下的，以及还有陆地上的各种腿足移动机器人等等。我们将它在很多运行过程中所面向的环境称之为Off-the-road，这当中可能有很多绿化，没有GPS信号，没有人做交通管理……而我们所作的，就是让机器人能够在这些情况下，实现自己的智能导航。

我们最早从2004年开始，做二维环境的地图构建和定位导航，这部分技术大概在2010、2011年时已经成熟，并且运用到了两个产品中去。（看图）这是当时我们用二维激光画出的地图，机器人能够根据这个地图，依赖自身的传感器进行定位，并规划自身的路径适应环境的变化，避开有关障碍物，实现快速、安全、平滑的导航。

同时，近几年我们重点关注于室外机器人的地图构建和定位导航。最早进行这方面研究时，还没有像Velodyne的高速旋转传感器，且对我们来说，它当时出的64线太昂贵了。于是我们就自己搭，用几个SICK激光传感器搭建了一个云台，再加上一个全景相机，把激光的信号和相机的信号融合起来，就构建出一个全真的环境。但在操作过程中，我们也发现了一个问题，即当机器人的移动速度比激光旋转速度稍快时，直接将它们的数据合成，就会产生变形。且如果车辆行驶的很快，和Velodyne的速度相近，也会存在这样的问题。那么如何去矫正数据的变形，确保后面定位的准确性，就成了我们需要解决的问题。而现在，这个问题已经解决了，我们能将原来模糊的激光合成数据形成一个清晰数据，其中包含了数据模型怎么表示，以及它的这种不确定性和如何进行匹配合成等。和国际上最新的NDT相比，我们的产品在收敛率和收敛时间上都表现不错。（看图）这是原本在室内很模糊、不清晰的地图，看不清楚图中的那个问号是什么，经过矫正后我们就能很清晰地看到它原来是个带问号的凳子。此处，我们谈的是大范围的环境地图以及所涉及的高精构建，其数据量很大，因而后期如何控制地图的复杂度，是否将原来的每一帧数据都放入进去，也就成为了一个问题。假如我们在某个小区域内不停走动，同样也会得到一个非常庞大的数据规模。而按照现在的方式构建地图，其数据规模和路径长度将呈现出非线性的关系，那我们能否将其与我们的检测范围形成某种关系？要知道随着检测范围的增长，数据量也在增长。但是在一个重复的地方，有些数据是无需采集，只有到了某些新地方，产生了新数据，才有必要加入进来。在这一方面，我们提出用信息桑的评估量化方式来操作。与其他方法不同的是，我们并不是在最后一帧才去考虑是否加入，而是在对所有数据进行评估后，保留其中信息量较大的数据，去除掉那些信息量最小的数据，包括减少它的节点和边，从而确保了定位的实时性。

我们在智能移动领域所做第三块工作，主要是研究如果用视觉来进行室外环境长期运行的话，那么如何来适应周边环境的变化？因为对于视觉传感器来说，它的优点是成本低，国外有提出一个非常有名的算法——ORBSLAM，很多企业都在用，包括我的学生也在用。但我们在使用中就会发现，当它的重复性比较少，也就是它没有进行闭环检测时，偏差还是比较大；第二，当环境发生变化时，定位的效果也会变得很差；第三，它的计算复杂度也较大。所以对于我们来说，就要解决如何在大环境和周边环境的变化中降低计算复杂度的问题。对此，我们认为主要在于它采用的是全局地图，即是全局最优。其实对于定位而言，是没必要做到全局最优，所以我们提出了全局建拓扑、局部建相对几何的视觉地图方式，在进行定位时，我们去融合地图、融合底层、融合特征匹配并维持它们之间的相对平衡。对于可能是因为环境变化造成的定位效果差的问题，就要考虑如何把这个变化的数据加入进去，且怎样通过这些不断增加的变化数据来适应周边环境的变化。（当然这里的怎么加就要用到我们之前所说的方法。）为此，我们在浙大玉泉校区做了三天21次的测试，最终跟orbslam 相比，我们的定位精度大大提高，从原来的均方差3.762米降到了0.5米以内；第二，计算的复杂度降低了，实现了一个常数复杂度的定位；（看图）第三，我们从右边这张图可以看到，在有记忆的模式下我们能大大提高其定位的准确率，但对于一些特别复杂的效果来说，现在还不能完全解决。（看图）如这张图的定位失败率还是很高，差不多达到0.5，这主要是因为其大面积是路，且路上的环境不断变化，车子也在不断移动，因而关于这方面的学习效果还需要进一步提高。

第四块工作就是对可通行路面的检测，我们要解决的是如何通过在线的学习来适应光照、场景的变化。另一点就是如何让机器人把每一次的运行都当成一次经验，通过累积学习的方法来作为对可行路径的检测。对于机器人来说，一次成功就是一次经验，这样我们就可以对它进行自动标注，哪段是可行路径，哪个是障碍物，或者哪些是未知的，然后对每一次的运行进行校准，再把这些经验累积起来，通过深度学习进行训练。然后，当我们把它应用到其它未知的环境里时，就会发现效果大大增强了。（看图）如我们原来是一直走这条路，学习了13次，而当我们把它放到另外的环境时，同样也能获得很好的可行路径检测效果。我们也将这种方式与之前的方法进行了对比，发现它在弱检率和漏检率方面都大大降低了，就像我们人类在学习，不停的有经验加进来，也会不断地提高学习的正确性。此外，还有一些工作，就是我们在做的物体监测、跟踪，确保机器人的实时、安全导航。这里必须要提的一点，就是在相机抖动时，如何实现对目标的稳定跟踪？现在使用的一些方法都假设运动是连续的，可对于一些事物比如腿足式机器人来说，抖动问题就特别明显，它在走动时会不停地晃动，就会导致跟踪的失败。对此，我们运用了离子滤波融合双运动模型和双观测模型来进行操作，且这些技术已经和一些企业进行了合作推广。（看图）如这就是运用我们在二维环境地图构建方面的技术所生产的变电站巡检机器人，目前已经在国网、南网里应用了300多台（套）。第二款是工厂里的搬运机器人，和传统的AGV不同，它不需要在地面上布设有关标识、二维码或者激光的导引标志，而是完全由机器人预先构建地图，然后找到作业的位置进行作业，它能很好地适应周边环境的变化（这一点在华为的应用上特别明显，因为其仓库两边堆放的物料经常是大批量进出，所以需要机器人能有很好的适应性）。

（看图）这是我们给京东做的室外无人送货车，如果有兴趣的话，您可到世界机器人大会的展区去看看，这是我的几个学生自主创业成立的杭州迦智科技有限公司所做，他们主要是做室内外的物流机器人。这里面也运用到了我们前面所说的一部分技术，即适应大范围的环境，并适应环境中各种动态变化。我们还把它应用到了四旋翼飞行器和四足机器人的系统里去，让它能完成一些智能作业，（看图）这是在2015、2016年参加空中机器人比赛时的场景，当时也得到了2016年的亚太赛区冠军，并且获得了组委会的高度表扬——“Zhejiang University has currently set the performance level for all IARC teams”。

综上，我们的工作主要就是把人工智能的技术和机器人技术结合起来，去实现智能移动、智能操作和智能运动。目前从移动这方面的技术来看，它的成熟度较好，所以正在由实验室的技术研究向产品化发展；但是就适应性方面来说，依然还存在很多问题，还需要进一步从技术和产品两个方面去研究，从而确保它在现实运用中的可靠性和稳定性。