赛灵思为基于视频的自动驾驶提供AI性能

3月20-22日，2019慕尼黑（上海）电子展顺利开幕，作为本届会展唯一的视频直播合作方，在展会期间，通过现场直播方式采访了众多企业，就相关的行业、技术、市场和产品等话题进行了广泛的交流。

以下内容为主题的专访内容。

赛灵思为基于视频的自动驾驶提供AI性能

原钢，赛灵思公司AI解决方案市场专家

电子发烧友：您觉得相较于去年来讲，今年智能汽车在哪些方面会有新的变化？

原钢：智能汽车是一个很宽泛的概念，也就是什么样的汽车可以称为智能汽车。智能汽车所说的智能可以从几个不同的角度和深度来阐述。

首先是车载智能人机交互系统。在去年以及更早的时间，通过语音进行人车交互的系统已经大量出现，但很多车辆还只是在前端做一些简单的语音识别，实现控制一些车载娱乐系统、导航软件、空调、车内照明等等简单的功能。

随着大数据以及人工智能的发展，以及车载4G通信系统的进一步普及，可以预想今年发布的新车会越来越多的搭载了基于云端的高级人工智能系统，做到更加智能的人机对话，比如类似智能音箱那样提供更加智能化的信息反馈，基于云端的汽车运行大数据平台提供OTA软件升级、汽车故障报警和诊断、远程控制等。基于视频的人工智能手势识别人机交互也会在新的车型中更多的出现，为人机交互方式提供更多的选择。

在智能网联汽车方面，随着车载蜂窝通信系统的进一步普及以及5G的铺开，基于各种V2X方案的智能交通系统等也会开始进入实质性部署阶段，充分利用云端大数据平台，实现更加智能的交通规划，为提供城市道路通行效率，减少事故的发生提供更加前沿的解决方案。

ADAS以及自动辅助技术方面，在今年的CES上就可以看到，固态激光雷达已经有很多的方案，成本进一步降低。国内也涌现了不少固态激光雷达和毫米波雷达的初创公司，他们的产品能将原有方案的成本大幅拉低，使得大规模应用成为可能。基于视频的自动驾驶技术方面今年也会有长足的进步，包括赛灵思的FPGA方案在内的多种硬件加速方案，在2019年将会实现算力和能耗比的进一步提升，使能更多复杂的甚于深度学习的自动驾驶算法。

当然真正的乘用车自动驾驶路还很长，政策、技术成熟度以及成本的限制在今年内并不会有明显改观，因此众多自动驾驶厂商离变现赚钱还有很长的路要走，这是一场马拉松比赛。相比乘用车的全自动驾驶，一些特殊领域的以及封闭道路的自动驾驶落地会有较快的发展，先行落地，比如园区内交通车、矿山运输车、物流交通车等，这些场合由于路况以及交通参与者相对受控，不是那么复杂，预想今年应该会有很多落地的案例出现。

电子发烧友：去年底的一些行业数据统计显示汽车销售的情况出现了下滑，这是否会影响到赛灵思的相关业务预期？

原钢：去年中国汽车销量下降3%，有咨询机构预测今年甚至进一步降低5%。美国汽车市场稍好些，但2019年也不容乐观。汽车总销量的下滑对于汽车零部件供应商还是有一些冲击，但我们认为，这对赛灵思的影响不会很大。

我们的产品主要用在基于视觉的辅助驾驶和智能交互等高级特性上，随着汽车产品特别是国产汽车产品的品质和功能升级，越来越多的汽车开始标配诸如环视摄像头、前装行车记录仪、并线辅助、自适应巡航等高级功能。而赛灵思的产品在这些领域具有很强的竞争力，因此预计我们的车规级芯片的出货不会受汽车总销量下降的影响，而会继续增长。

电子发烧友：我们知道，上游一直在积极推动智能汽车产品的研发，也有很大的投入，但汽车智能化是一个比较长的过程，对赛灵思而言，怎样规划自己的相关产品线才是合适的？

原钢：满足车规要求的半导体产品线，具有很长的研发周期，因为要过各种车规级测试，所耗费的时间和成本是消费级芯片产品所无法比拟的。但是车规产品难处也是好处，它具有很高的准入门槛，也具有很长的生命周期。因此规划车规芯片，特别是智能汽车所使用的芯片，必须分析和预测未来一段时间，比如说5-10年的技术需求发展水平。

好在赛灵思的核心产品是硬件可编程器件，具有高度的灵活性和适应性，可以很好地适应不短涌现的新的算法个算力需求，适应各种新出现的应用场景，这个算是赛灵思对于其他竞争厂商的一个最大的优势。其他厂商对于新出现的需求，很可能需要新开一颗芯片来满足，这样市场响应速度就不会像我们这么快。

我们的产品线规划分为基础的硅芯片以及基于我们可编程逻辑的解决方案。我们会把研发的很大一部分精力放在推出各种领先的基于我们可编程逻辑的“软核”解决方案，如各种现成的深度学习加速IP，各种软硬件协同的整体化加速方案以及开发工具等，这些解决方案套件可以使得用户快速应对最新的算法研究成果和需求，迅速推出满足市场需求的产品。

为了应对目前和未来智能汽车的高算力需求，我们在硅片硬件上也没有止步不前，我们在芯片的基础架构上不断创新，基于异构计算的理念，不断推出革命性的产品，充分结合固定逻辑的高能耗比和可编程的逻辑的高度灵活性，力求为多变的市场提供足够灵活的方案，满足未来相当长一段时间的技术需求。如我们即将推出的基于自适应计算加速平台（ACAP）理念的新一代计算单元Versal，使用了最先进的7nm，以及独创的异构多核可编程架构，它将在性能上全面超越传统的 CPU 和 GPU，提供领先业界的性能，满足未来多年的智能汽车技术要求。

电子发烧友：赛灵思今年在慕尼黑电子展上会给大家带来哪些产品？有哪些亮点可以重点关注？

原钢：从早期用于 IVI 系统，到如今在 ADAS 视觉系统的大力采用，再到后来扩展到更多高端自动驾驶 (AD) 系统需要的高级 ADAS 系统，如激光雷达、4D 雷达和其他智能传感系统，赛灵思技术都处于这些汽车应用的前沿地带。

从最近的新闻大家也可以看出，赛灵思与中国 Tier 1供应商与 OEM 厂商的最新产品发布与合作越来越频繁。我们在继续发展针对自动驾驶传感融合和配电系统的同时，凭借现有产品和未来产品正逐步打入更核心的领域，为位于域控制器核心位置的机器学习、神经网络和人工智能引擎等，提供着必需的计算功能。例如，集中计算模块。赛灵思近期推出的 Versal ACAP系列，包括基于 Edge 的产品等， 都在不断扩展着我们的汽车路线图。

我们希望通过此次慕尼黑电子展，赛灵思希望更多的TIer 1 供应商和OEM 厂商能够关注并采用赛灵思的汽车级自适应平台， 更快地享受到赛灵思汽车方案带来的突破性的灵活应变、高性能和安全等优势，在激烈的市场竞争中脱颖而出。

电子发烧友：请介绍一下赛灵思目前在智能汽车领域的生态布局？

原钢：商业布局方面，赛灵思会寻求和全球大的车厂建立合作关系，一起研发前沿的智能汽车技术。如我们与戴姆勒以及比亚迪等公司正在合作研发人工智能车载系统。比亚迪成为中国首家采用赛灵思Zynq SoC规模生产其前置摄像头ADAS技术的OEM厂商，技术将用于比亚迪最新一代商用和乘用车型宋SUV。赛灵思的ADAS解决方案能以比竞争对手方案更低的成本，为比亚迪提供顶尖的性能并降低功耗。据比亚迪的数据显示，使用赛灵思芯片后，比亚迪能让其ADAS功能的总成本降低60%以上。

我们与TIer 1供应商也建立了广泛的合作关系，其中不乏博世、Magna和ConTInental这样的巨头。比如在东软睿驰刚推出的ADAS/AD域控制器基于赛灵思MPSoC汽车级平台，并且符合中国商用车规范，在满足中国新车评价规程之外，该产品还考虑了欧洲2025年新车评价规程路线图的要求；赛灵思同样也与中国自动驾驶传感企业佑驾创新（MINIEYE）开展技术合作，MINIEYE在基于赛灵思技术为汽车制造提供高精度深度神经网络方面拥有出色的能力；百度也已宣布在其“阿波罗传感单元”(ASU)中使用赛灵思可编程技术。

车厂和TIer 1供应商愿意和赛灵思合作主要基于以下原因：

第一，赛灵思的 FPGA 并不是“霸王条款”，它让 OEM 商能拿出差异化的图像处理算法。与其相比，其他一些供应商的“一刀切”方案就少了一些灵活性。对一级供应商来说赛灵思是个“开放盒子”，而且它们的功能安全符合 ISO 26262 的要求。

第二，赛灵思的图像处理解决方案可以根据安装车型的不同进行调整。它可以放在前置摄像头上，也可以放在风挡甚至中央模块中。

第三，赛灵思能提供可扩展性。赛灵思结合 ARM 的子系统（包括 Cortex-A53 和 Cortex-R5）设计出了 ZU2 到 ZU5 的一系列产品，它们能根据应用的要求增加更多可编程结构。鉴于新车评估程序每 12-16 个月都会新增要求，赛灵思的解决方案比单纯的SoC 的灵活性要强很多。

第四，赛灵思的产品有很强的适应性，它可适应汽车行业千变万化的功能性要求。举例来说，在 Level 3 车辆上负责监督驾驶员的赛灵思芯片，也可以重新编程，成为帮乘客泊车的“门童”。简单来说，这种可编程性甚至能改变芯片的“个性”。

技术布局方面，赛灵思自2004年就推出了车规产品线，在智能汽车发展历史中，赛灵思的 FPGA 最初是车辆信息娱乐系统中的胶合逻辑，但后来这项技术却成了 ADAS 市场的宠儿。FPGA 非常适合控制日益复杂的 ADAS 和自动驾驶系统。2014 年在ADAS系统中使用赛灵思芯片的客户只有 14 个，涉及车型 29 款，到2018年已经得到了 29 家制造商的支持，涉及车型增至 111 款。

在 ADAS 市场，赛灵思的 FPGA 已经建立了自己的口碑，我们在ADAS以及AD系统的各个细分领域几乎都有布局，在处理复杂传感器数据（来自图像、雷达和 LiDAR 等传感器）的工作中起了重要作用。无论激光雷达还是雷达，都会生成海量数据，因此现在业界有将数据处理放在传感器模块的趋势，特别是在 ADAS 领域。赛灵思的 FPGA 在 ADAS 解决方案价值链中占据关键位置，非常适合处理前沿的图像雷达数据处理技术。

当前，赛灵思在与Tier 1及OEM厂商进行产品合作，继续发展针对高级别自动驾驶的传感融合和配电系统的同时，赛灵思将产品技术锁定在了更加核心的领域，为控制器核心的机器学习、神经网络和人工智能引擎等，提供计算功能，像集中计算模块。

比如在车用激光雷达市场领域，赛灵思占据统治地位，拥有90%的市场份额，赛灵思的芯片不但占据了几家一级供应商激光雷达的大脑，还是大多数激光雷达新创公司的必备。鉴于激光雷达上整合了众多技术且各种新技术依然会层出不穷，因此激光雷达供应商们转向赛灵思的可编程方案也是情理之中。FPGA 让激光雷达供应商能升级并修改它们的处理要求。由于大多数激光雷达供应商都是市场新军，因此在现阶段 ASIC 对它们来说不太实际。

新兴的毫米波成像4D雷达领域同样也是赛灵思FPGA产品擅长的。传统的民用毫米波雷达，由于其信号天线只在二维方向上排布，因此其对目标的探测只有二维水平坐标，没有高度信息。而毫米波雷达能够通过多普勒效应探测物体速度信息，加上二维坐标，这种雷达被称为3D雷达。4D毫米波雷达，则在水平与垂直方向上，都布置了天线，因此能够额外实现对物体高度的探测，谓之4D。4D雷达有大量的天线单元，而FPGA恰恰能实现基于每个天线单元都与其独立的馈送通道相关联的作用，4D雷达需要大量使用同步处理流水线，这正是赛灵思可编程逻辑架构中可实现的技术。

比如基于图像的智能汽车技术领域，我们拥有基于Zynq/ZynqUltrascale+可编程车规级MPSoC的多种方案，可提供包含图像拼接矫正、图像增强、目标检测识别、图像分割等多种达到实时性要求的方案。许多人不知道的是，赛灵思是仅次于 Mobileye 的车载计算视觉处理芯片供应商。

在先进的智能视觉处理技术方面，我们最近与国外的ZF，国内的东软瑞驰等大型的自动及辅助驾驶技术公司都建立和合作关系，一起推出了基于赛灵思FPGA平台技术以及多种算法的解决方案。ADAS和自动驾驶应用的创新，要归功于赛灵思在ADAS和自动驾驶方面的嵌入式视觉（包括深度学习）的解决方案和案例上。

嵌入式视觉解决方案，将是汽车实现全自动驾驶的关键驱动因素。第一步是要采用多个摄像头和图像传感器，而汽车解析来自这些图像的内容并且相应采取行动也至关重要。要做到这一点，嵌入式视觉处理器的硬件必须经过性能优化，同时保持低功耗。针对ADAS应用，Zynq MPSoC将高度并行化的硬件图像处理和分析加速功能与基于软件的算法配置和控制功能紧密结合在一起。

赛灵思通过UltraRAM增加视频缓冲的作用让吞吐量实现了最大化，利用片上层到层数据流，可以让时延大大缩短的同时也扩展了内存可用度。在计算处理帧的时间上，软件的执行速度提升了4倍，使用赛灵思加速OpenCV库进行提速使用xfDense OptFlow 将光流从库迁移到PL，最后优化算法，处理更小的Rol，达到整合各项功能的作用。

赛灵思已向汽车制造商和一级供应商累计供货车级芯片逾1.6亿片，其中5500万片为ADAS芯片。虽然目前的市场营收方面赛灵思的车规产品主要用在ADAS领域，但我们相信FPGA“低延迟和高吞吐量”的特性能成为它们在高级自动驾驶市场上发光发热的一大优势。当 GPU 执行深度学习推理时，它们需要并行批处理大量通过单指令多数据架构（SIMD）的平行数据。为了在提升计算能力的同时减少抓取，业内一直在尝试开发更宽的单指令多数据架构。不过，现在的技术只能拓宽寄存器文件而已。而 FPGA，可以直接完成无批次推理，其结果就是“带有确定性的低延迟，高吞吐量（无论批次大小）和始终如一的计算效率。

如我刚才介绍的，我们最新发布的基于异构计算理念的的自适应计算加速平台（ACAP）产品Versal，将很快投入汽车级合规性测试验证，在我们已经很丰富的车规产品序列中增加强有力的补充，不断扩展着我们的汽车路线图。

当前，赛灵思在与Tier 1及OEM厂商进行产品合作，继续发展针对高级别自动驾驶的传感融合和配电系统的同时，赛灵思将产品技术锁定在了更加核心的领域，为控制器核心的机器学习、神经网络和人工智能引擎等，提供计算功能，像集中计算模块。

电子发烧友：赛灵思2019年的智能汽车业务目标？

原钢：赛灵思2019年在智能汽车业务领域，将在巩固目前优势地位产品线的基础上，继续大力拓展基于图像的自动驾驶芯片业务。我们将进一步提升我们的车用AI解决方案的性能和实用性，力求为更多的相关企业提供有竞争力的解决方案，提高赛灵思可编程架构智能芯片的竞争力和市场占有率。通过赛灵思在大中国区近十个销售办公室并结合分销渠道，赛灵思继续强化在中国汽车市场中的领先地位。

未来汽车视频采访直播回放