触景无限CEO肖洪波：重构边缘芯片，打通感知城市前端数据| CCF-GAIR 2019

记者按：7 月 12 日至 7 月 14 日，2019 第四届全球人工智能与机器人峰会（CCF-GAIR 2019）于深圳正式召开。峰会由中国计算机学会（CCF）主办，记者(公众号：记者)、香港中文大学（深圳）承办，深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流博览盛会，旨在打造国内人工智能领域极具实力的跨界交流合作平台。

感知型的城市场景到底需要一款什么样的芯片？7月13日，大会迎来了AI芯片专场。会上，触景无限科技联合创始人兼CEO肖洪波带来了《重构边缘芯片，让感知融入城市》的演讲。

触景无限科技联合创始人兼CEO肖洪波

肖洪波指出，现有的智慧城市方案在后端打通了数据，但受限于网络以及处理能力问题，仅能实现沙粒般的智慧化，智慧城市的进一步发展必然需要三大技术进步：物联网、边缘计算、通信。只有在前端完成智能分析，以价值数据与后端配合，才能将真正城市量级的物联网数据完整利用，打造感知城市。

而要实现这一点，现有的芯片方案难以满足我们推动前端感知技术进步的需求。

在过去两年中，触景无限一共研发了四代边缘计算的产品，基本覆盖了现在市面上各种前端的芯片解决方案。比如第一代基于嵌入式GPU的产品，随后的VPU、NPU，以及正在研发的下一代的基于FPGA的产品。

在产品研发和方案落地过程中，触景无限更加清晰认识到，只有掌握芯片设计技术，实现软硬件的协同优化，才能实现真正的前端感知。

在演讲结束后，记者对肖洪波进行了采访。

他提到，芯片技术的发展到了后期，客户看重的一定是综合场景下的效果而不仅仅是加速，未来更细分的场景会越来越多，产品落地的时候不仅仅是技术问题而是工程问题，比如系统的功耗、外界气候、温度等都会成为关键因素。因此，长期做产品的经验也是触景无限现有团队的优势所在。

目前行业兴起一股泛在电力物联网、智能安防之风，其核心也是围绕传感器的感知能力展开，需要专用性的功能会更多。虽然通用性到专用性是非常长的一个轴，有很漫长的道路，但触景无限从一开始就一直围绕传感器做感知融合和边缘计算，并且会作为自己的技术路线坚持下去。

采访中，他还谈到，不久之前，在与中国建设银行5G+智能银行的案例上，触景无限从众多供应商中脱颖而出，凭借盾悟智能盒与智能分析主机为代表的边缘智能系统与解决方案，落地了金融科技。

在现阶段，从客户提出需求到集成进客户系统，触景无限的产品部署在2天内即可完成，这意味着触景无限已生成一套完全量产的边缘计算系统，进入到了标准化的层次。

从未来来看，金融、安防、电力、应急智慧等场景的多种感知能力需求，将有大幅提升。

“从智慧城市到感知城市，其实还有很多工作要做。未来几年，感知会带来一个更大的市场。”

以下是肖洪波在 CCF-GAIR 大会上的演讲内容，记者对其进行了不改变原意的编辑整理：

大家下午好！我是来自触景无限的肖洪波。

我们公司一直专注于边缘计算，在边缘计算已经有很多年的经验。我们在这一块有很多落地的应用场景，在智慧城市领域包括安防、电力、金融等，特别想借今天这个机会给大家分享一下。

我看到今天有很多关于边缘计算方面的演讲，我们想在边缘计算方面做更深度的解析，也就是边缘计算需要一款什么样的芯片来提升智慧城市的能力以及为什么边缘计算需要对芯片进行重新设计。

这是罗兰贝格2019年智慧城市战略指数，调查的153个城市里面只有15个城市达到或者高于60分，也就是只有10%的城市及格了，90%的城市不及格。智慧城市提出来已经有十几年的历史了，从最早IBM提出智慧地球开始，大家就在做智慧城市，而云计算和大数据也有十几年历史了。我们发现智慧城市依然没有达到理想的效果。

在我们看来，这主要是因为大家都忽略了在边缘和感知领域的投入，只在后端打通了一些数据，并没有对前端更丰富的数据进行收集和前端的智能分析。从感知领域对城市进行重构，是一个非常明显的趋势。

随着现在的技术发展，我们觉得有三个技术对感知城市、智慧城市来说非常重要。

第一是物联网技术，前端多种数据的采集，包括图像、声音、温度、气压等等。综合性的感知终端的出现，会改变前端数据的收集策略。

第二是边缘计算技术，计算从云端又回到边缘端，主要是因为芯片技术的发展使得边缘拥有越来越强的计算能力。以前前端传感器，比如图像传感器在前端只是做采集，最终还是需要传输到数据中心进行处理。而随着最近一两年的发展，大家发现越来越多前端数据可以在前端直接进行分析、处理以及响应。

第三是通讯技术的发展，新一代的物联网将会给我们的城市带来重大变革。

这是一个F1赛车。大概二十年前，在F1比赛里面，真正的胜利取决于两个点，一个是车的机械性能，另外一个是车手的经验，靠这两个点基本可以获得比赛的胜利。但是随着遥测技术的出现，彻底改变了F1比赛规则。通过让前端的车和后端计算机连接，车手成为了整个比赛的一部分，F1比赛转变成实时的物联网系统。

每一台F1赛车上有超过几百个传感器，每一圈超过15万的数据量，通过前端传感器可以实时收集和传输周围的环境数据、车辆数据，后端计算机团队进行分析，把数据反馈给前端车手，迅速的做出反应策略。其实城市也需要这样的变革，通过物联网前端收集丰富的环境数据，经过分析之后，实时调整城市内部的策略。

2018年，“感知城市”被评为全球十大突破性技术，这是麻省理工的科技评论提到的，那怎么通过感知技术怎么去改变现在的城市？

在过去智慧城市的建设当中，我们创建了很多信息的孤岛，我们有智慧安防系统、交通管理系统，但是它们都是独立的，没有一个整体的信息收集和分析处理的框架。

可以给大家举个例子，我们在做高速公路项目过程中，发现有一种天气对司机特别危险的，这种天气叫做团雾。这种雾不是大面积的雾，大概只有800米-1公里，它会在整个路上随着空气的流动飘荡。这对于开车是非常危险的，大家突然从一个可见度非常高的环境冲到一个看不见的环境里面去，很容易造成交通事故。那这是一个天气应用还是一个交通应用呢？我们的高速项目是一个典型的交通应用，但单论团雾则是一个明显的天气问题。

然而通过我们的技术，可以通过高速上摄像头进行可见度分析，非常精确地预测团雾的移动。在这里我们把交通和天气两者进行了融合处理。在未来我们相信在智慧城市的前端会出现多传感器融合的综合采集处理终端，把多种来自不同传感器的数据进行融合，通过前端的智能分析反馈给我们的应用系统。

我们相信，未来城市+感知会变成“感知城市”，通过传感器技术和边缘计算相结合，迅速反馈信息到城市的方方面面。

这是最近非常火的一个电视剧《长安十二时辰》，这是今年智慧城市的大戏，完全就是智慧安防和智慧消防的应用，对实时性要求非常高，CIO李必同学创建了一套用武侯和望楼做的融边缘计算为核心的系统，根据场景来做系统的设计，而且这个系统的设计也完全符合Gartner对边缘和云的设计理念。

今天我看到很多嘉宾都讲到了边缘计算和云计算，大家认为这是两个事物的极端。其实从边缘到云之间分了很多层，从边缘智能到边缘的智能网关一直到云的数据中心分了七层，每一层里面有很多技术创新都需要我们去实现。

对边缘计算来讲有几个大的技术点是我们要关注的，首先是实时性，比如毫秒级的响应，这很难在云端实现，大家可以考虑一下光的传输速度就是一个极限。即使中间不经过一些路由器、交换机、网络设备的运算，只是在光纤里面传输，如果数据中心不在本城市，来回传输时间可能就达到几十毫秒。当我们面对一些需要在一百甚至几十毫秒内响应的场景的时候，就没有办法用云端实现，需要边缘端来实现。

另外，城市里面传感器非常多，会产生大量的数据，现在物联网上产生的数据是远远超过如今互联网数据流量的。而且我们在很多项目实施过程中会发现，在数据中心存在着大量数据丢失的情况，很多帧都丢掉了，因为网络的稳定性不够，带宽也不支持传输全部信息到数据中心。而且还有各种隐私问题、本地响应的问题，这些都决定了边缘人工智能是未来人工智能落地的重要技术基础，而不是云端。

我们在过去几年时间里面一直专注做边缘计算，已经推出多款边缘计算的产品，这里列了其中两个：盾悟智能盒、盾悟智能分析主机，采用了用前端深度学习的加速阵列，功耗仅15瓦，支持多种算法处理，包括人脸、行人、ReID的前端图像的处理算法。

而除了产品，我们还在其基础上构建了一套分布式边缘智能系统，我们设计了可以并联处理的标准单元，由前端传感器、边缘智能盒、智能网关组成，可以在前端进行各类数据的采集与处理，可以将结果传输到后端的应用平台，进行进一步的处理反馈。最近我们刚刚做的地铁刷脸进站系统，就是把车站的系统分成多个节点来进行处理，从而实现在一两百毫秒时间内实现刷脸进站。

在物联网感知系统的应用方面我想举一个例子，通过例子来说明我们在前端到底有什么样的需求。这是我们在武汉做的城市交通的物联网方案：电子警察系统（见PPT）。在中国大量的车祸都是因为不合规的开车引起的，虽然我们的交通法规里面制定了很多条款，但是因为技术没有办法抓到这些行为，基本上大家的电子警察只抓一个闯红灯。但相信在上了我们这套系统之后，会对我们的开车行为有更大的规范性。

我们的电子警察系统，使用一个摄像机可以同时覆盖多个车道，前端可以同时抓16种违章行为。而目前的违章抓拍都是一个摄像机覆盖一条车道。我们和武汉交警的测试中，和之前的数据相比，路口抓拍的违章数量上升了20倍。以前一个月平均只能抓拍三十多个违章，而现在一个月抓了七百多个违章。我们的抓拍率达到了98.66%，远超友商。

我们在这套系统中采用了前端感知技术，使用了特殊的图像传感器、多种并行的高速算法。而以往的系统往往支持一种算法，我们可以将除了车辆违规检测以外的模型同时跑起来，像人脸模型，团雾检测模型，都可以实时并行处理响应。

在过去两年时间里面，我们公司一共研发了四代边缘计算的产品，基本覆盖了现在市面上各种前端的芯片解决方案，比如第一代基于嵌入式GPU的产品，随后VPU和NPU的产品，而最近也正在研发的下一代的基于可编程芯片的产品。这些芯片都是非常优秀，但是我们依然觉得有非常大的提升空间，我们觉得前端需要一款全新的芯片解决智慧城市里面碰到的问题。

对于前端的感知系统来讲，它是这样一个系统，从场景开始，经过光学部分，到达图像传感器，经过ISP处理，传统处理方式事通过编解码传输到云端，直接做处理。我们认为感知系统，应该融合多种传感器，不仅仅是光学的传感器，还有声音、激光雷达等其他传感器的数据。前端感知系统经过分析之后，可以对这些传感器进行动态调节，从而获取想要的数据。不仅仅是拍照记录，而是根据我关心的场景，比如交通的场景、安防的场景，根据这些场景对传感器进行更细粒度的调节，获取更好的图像或者更好的其他传感器的数据。

那么感知的场景到底需要一款什么样的芯片？从做芯片的角度来说，一个是做通用芯片，包括CPU、GPU以及做深度学习加速的一些芯片，都是通用芯片。一种是专用芯片。我们认为，在感知的场景里面需要的是一个专用SOC，把感知能力在芯片里面做实现。

我们的芯片设计在三方面满足了前端需求：高性能、低功耗、感知融合。

高性能和低功耗比较容易理解，因为这是边缘的芯片，对功耗特别敏感。另外一点是传感器和AI处理的融合，我觉得这是前端芯片最核心的能力，因为在物联网领域或者在边缘领域，它的核心数据来源就是在传感器这个地方，怎么能够把智能和传感器真正融合在一起，才是我们要去解决的问题。

在前端感知芯片里面有几个大的模块组成，第一部分是来自图像的数据，当然也有其他的传感器数据，有一些DSP来进行处理。来自于图像传感器的数据有一个智能的AIISP的处理，来进行动态调节处理。关键的AI处理部分是并行神经网络加速单元。

现在大家看到很多AI的芯片都是单核芯片，所有的模型都是要串行计算，也就是放一个模型进行运算，出来一个结果，另一种传感器的数据或者其他功能要换另一个模型再进行处理。但感知系统和人的眼睛一样，同时有多个功能在运行，这就需要你在前端有一个并行的神经网络来加速。另外，芯片中也包括一些编解码等功能模块，这些都是比较成熟。

我们从去年公开感知芯片计划的时候，也一同公开了我们在美国投资的一家物联网芯片技术公司Inspirit IoT。在刚刚过去的2019年DAC大赛中，我们的神经网络加速模型获得了第一名的成绩，与其他的一些GPU进行比较也是第一名，我们可以达到最高50倍的DNN加速效率，而能效比方面也达到了8TOPS/W。

在感知融合上，我们会通过边缘多传感器融合模型，把多种来自于不同传感器的数据在前端进行深度学习的数据融合处理，获取全面而又精准的数据，实现对实际场景功能需求的满足。

在ROI方面，我们也进行也较为深度的优化。传统的ISP技术强调的是拍照或者做视频，但是IoT场景里面关注的是信息点，怎么对信息点来进行智能的调节。就像刚才提到的交通场景一样，用了超宽幅的相机，但我们并不关心整幅图像，我们需要在前端对关心的目标进行处理，比如说车辆、人脸，我们会在前端将感兴趣区域抓取出来，根据场景实现像素级的ISP优化。主要分两块，一个是目标相关，另外一个是场景相关，例如根据周围的光照调节。

此外我们芯片中也包含了较为出色的细节优化算法，可以利用多帧算法对局部细节进行优化，这也是对未来传感器提出的挑战。虽然大家用的产品都是几十帧的帧率，但实际上目前传感器可以支持到1000帧，只是很难传输出来，而我们在这类传感器上，可以利用算法来进行优化，有助于我们可以获取更好的图像或者数据的质量。

今年我们也将和英特尔进一步合作（见PPT），一起开发一套优化的框架，把感知的算法在英特尔的FPGA上进行实现。我们会实现非常高的能耗比提升，包括算法自适应的优化和移植，这里面包含了非常高效的高层综合工具，自动产生RTL的FPGA码，将感知算法快速移植到FPGA的平台上去。

从感知角度来讲，我们认为首先要从场景角度去满足需求，而不是从技术、深度学习的角度出发，怎么样对计算加速。我们是要解决产品和场景里面碰到的挑战和问题，提供更易于使用的感知芯片，实现一个软件内核级和芯片架构级的综合产品。 谢谢大家！