AI第三波热潮，Arm是否已落后？

AI热潮来势汹汹，即便算法还不成熟，处理器算力还不足够，但大部分手机厂商已经让其旗舰手机用户或多或少地享受到了所谓的AI功能。其中，苹果和华为更是用集成NPU的自研处理器增强其手机的AI功能作为一大卖点。有意思的是，无论是手机处理器市场市占最高的高通还是目前移动设备处理器IP最重要的提供方Arm，都迟迟没有推出集成NPU的处理器，这究竟是为什么？

Arm的AI处理器时间上已经落后？

AI迎来了第三波热潮，但目前AI芯片受到了更大的关注，其中除了有芯片算力是AI发展的基础外，AI芯片市场的迅速增长也是一个重要原因。Allied Market Research发布的一份报告指出，2017年全球机器学习芯片市场规模约24亿美元，预计到2025年这一市场规模将达到约378亿美元，复合年增长率（CAGR）为40.8％。

因此，我们看到不同类型的AI芯片不断地被大大小小的公司推向市场。对此，Arm机器学习部门商业与市场副总裁Dennis Laudick接受我们专访时表示：“从CPU、GPU发展的历史看，刚开始市场上会有多种多样的选择，但市场最终会收敛和融合，留下最合适的产品。我相信NPU的发展也会遵循同样的规律。”

Arm机器学习部门商业与市场副总裁Dennis Laudick

在众多新入局AI芯片市场的公司中，值得注意的是以前更加擅长软件的科技巨头们都纷纷开始自主研发AI芯片。对此，Cadence首席执行官、华登国际创始人陈立武此前接受我们采访时表示科技巨头们积极布局AI是因为他们不希望落后，因为他们有很多数据。Dennis Laudick也发表了自己的看法，他表示：“AI发展中训练和推理都非常重要，科技巨头有大量的数据，因此也有包括机器学习在内的许多需求。他们在构建自己AI生态的时候在AI算法和模型层面更多是依赖学校的研究，因此他们对硬件更感兴趣。”

不过，作为全球最大的IP授权商，也是目前移动处理器IP首要的提供商，Arm直到2018年初才首次公开其ML处理器（Machine Learning Processor）的相关消息，产品的正式发布要到明年。这是为什么？Dennis Laudick说道：“我们一直都在关注AI的进展，在机器学习方面的工作也已经有几年的时间，最新的Arm Cortex A57/A75/A76都有对机器学习的扩展。虽然我们多年来一直致力于机器学习，但这项技术存在一些问题，也不稳定。如数据类型，到底是整数还是浮点数，FP16，FP32，8位整数谁更适合机器学习，针对此现在已经有大量的研究。但要在早期的市场上要提供解决方案就需支持所有的数据类型和模型，而不是优化，这会带来处理器面积大且耗电的问题，我们需要等待技术的稳定。”

因此，对于想要让机器学习技术更加简单易用的Arm而言，方法有两个，一个是不断改善现有处理器，另一个就是推出新的神经处理单元（NPU）。在技术还不够稳定的时候我们看到Arm不断改进Cortex CPU和Mali GPU，并配合软件实现AI功能。对于Arm推出NPU的时间点，Dennis Laudick表示：“最近我们已经看到机器学习技术正在稳定和成熟，市场需求也正在不断增加，我们认为现在是进入市场的最佳时机。”

可以认为，基于Arm在处理器IP市场和整个生态链的关键地位，推出ML处理器的时间点晚一些不是什么大问题，更吸引人关注的是Arm的ML处理器到底如何。

Arm明年第一季度推出AI处理器

对于将在2019年第一季度发布的Arm ML处理器，Dennis Laudick介绍，其定位与现有的Cortex CPU一样是系列产品，根据市场需求会性能范围是1-4 TOP/s，匹配不同的CPU满足手表、手机、智能家居、汽车等市场的需求。Arm ML处理器主要有三个部分，一个是MAC引擎，主要执行卷积计算；二是可编程引擎，可以支持未来新的算子和网络；三是数据管理，减少AI计算的耗能。

他特别指出，Arm在ML处理器的数据管理上做了很多的设计和思考，因为AI的数据搬迁比数据的计算更耗能。他们分析AI处理器中卷积运算所需的能量占不高，但数据的管理和搬迁可能是运算所需功耗的一百倍。因此他们通过分析技术降低功耗，其中一个技术是数据的压缩，可以减少数据的搬迁量，另一个是选择神经网络单元权重激活或者不激活，还有就是数据的过滤，用特殊的方法免除不必要的加工。他们希望通过对不同场景的深入分析，尽量做到数据高效、多次使用，减少数据搬迁降低功耗。

当然，即便是经验丰富的Arm，认识到AI处理器最重要的是数据管理也走了一些弯路。Dennis Laudick表示：“Arm有很多种不同类型的处理器技术，当我们第一次看到机器学习时想到的是是否可以从其中的一种处理器开始，因此我们开始用了GPU的方法，但最终发现机器学习处理器面临的不是处理问题而是数据问题，所以取消了早期GPU的方法，创建了一个全新的处理器专注于数据以及机器学习中的数据类型，可以执行并行指令。”

Dennis Laudick也同时指出，无论是CPU、GPU、FPGA还是ASIC都可以运行机器学习算法，不同点在于比如实现同样的人脸解锁功能，GPU需要的时间少于CPU，而NPU则能够实现最快的速度和最低的功耗。引人思考的是，Dennis Laudick认为不同类型的AI处理器适用于AI早期市场，机器学习领域市场最终可能是CPU占80%的市场，NPU占20%的市场。他认为CPU在不断改进，而市场上更广泛的NPU也不断出现，最终GPU和FPGA将会消失，留下最通用的CPU和最专用的NPU。

不过，在Dennis Laudick看来软件才是AI处理器中更关键的部分。他表示：“Arm的AI处理器是一个异构的系统，其中包含CPU、GPU、NPU等，但作为IP核想要实现更好的可配置性软件体系非常重要。所以在硬件之上有我们特别优化的Compute Library，它会把底层的硬件和驱动进行充分优化，根据算子的不同需求驱动硬件，可以提升几倍到十几倍的效率。再上一层是Arm nn，可以将TensorFlow、Caffe等神经网络框架转换成Compute Library可以执行的任务，让开发者不用关心底层的硬件，只需要使用标准架构进行开发就可以。”

至于Arm nn以及Compute Library是如何实现根据需求做机智性的决策充分发挥异构系统的优势的问题，Dennis Laudick表示，Arm实际上借助了许多专家的分析，通过跨越团队的专家团队分析应用程序和软件，试图找到瓶颈和限制，最终保证软件非常优化。为了让Arm nn和Compute Library更加优化，Arm也鼓励硬件架构师和软件分析团队紧密合作。

还可以看到，Arm Project Trillium中除了有ML处理器、NN SDK，还有OD（Object Detection，对象检测）处理器，Arm认为，手机、摄像头、汽车等都是机器学习中对象检测的头号应用，因此对象检测市场足够大，值得做一个额外的处理器，特别是针对物体识别。

AI处理器获胜软件和数据更关键？

需要指出的是，NPU是目前执行机器学习任务效率最高的处理器，但对价格比较敏感的产品，NPU的成本难以承受，只拥有CPU，并且使用CPU处理机器学习就已足够。因此在物联网和AI领域，基于RISC-V指令集的CPU也受到了不少的关注，一些人也认为RISC-V处理器未来将会在物联网智能终端成为Arm的竞争对手。

对此，Dennis Laudick表示：“基于RISC-V指令集的处理器是一个CPU，它并没有真正与我们的NPU产生竞争，在CPU方面，我们已经进行了两到三代的机器学习改进，比如支持向量扩展，RISC-V也开始实施其中的一些改进，不过这些事情我们已经做过。”

他进一步指出，在机器学习方面，很多芯片公司专注于硬件，与他们有所不同，为了能够让每个人都能更好地获得机器学习，我们最重要的事情就是确保软件生态系统具有一致的平台。因为程序开发人员创建一个应用程序是希望其能够运行在更多设备上，通过提供一个通用、稳定的软件平台，能够确保我们拓展CPU以提高机器学习的能力。并且我们为市场提供新的硬件功能时，软件社区也会变得非常有创意。软件生态系统是Arm成功的关键所在，Arm推出良好的处理器是因为软件生态系统有这样的需求，这也是Arm过去20年已经做的事情。

我们也了解到，为了能够更好的构建软件生态，Arm将会选择与工程师、软件公司等进行广泛合作。其中也与Android生态的大公司进行了合作，Arm在中国生态系统中的大公司花费的时间也越来越多。因此，Dennis Laudick认为近两年的AI热潮会对于软件行业带来革命性的变化，因为传统的软件在概率判断，评估猜测方面有一些局限性，AI对概率判断的准确度和猜测的准确度上有其特点，AI也将带来软件2.0的时代。

至于许多人都关心的在AI芯片市场中谁将取得最终胜利的问题，Dennis Laudick认为：“AI还处于比较早期的阶段，现在判断谁能胜出为时尚早。不过，全球的大公司都在AI上投入了大量的资金，但有一个巨大的差异是中国的公司更容易获得数据，也能更轻松的使用这些数据，所以我认为在机器学习方面中国的公司在数据方面更具有优势，但还不知道它将如何发挥作用。”

小结

Dennis作为拥有20余年移动、汽车与消费电子领域从业经验的资深人士，对于AI发展有着自己的观察，对Arm的AI处理器的解读也让我们得以更进一步了解即将在明年第一季度发布的Arm ML处理器。在算法、模型都还不够稳定的时候，作为提供处理器IP和通用处理器的公司，Arm和高通没有着急推出NPU，而是通过优化硬件和软件提升AI性能是一个明智的选择，毕竟他们与华为和苹果这样手机处理器只为自己所用的公司有着巨大的差别。

在整个采访的过程中，Dennis反复提到软件的重要性，这对于一些AI芯片企业而言或许是一个提醒，毕竟现在已经有越来越多的IC设计公司意识到了AI时代与软件团队合作的重要性。那么，除了硬件和软件，数据又将如何影响AI芯片市场的竞争？