如何在资源有限的边缘端实现高效AI? Cadence发布DNA 100和HiFi 5两款全新DSP IP

想要实现更有效率的人工智能体验，很多工作都需要在设备端直接完成。在视觉识别和语音助手这两大热门应用中，常常都会见到DSP的身影;而Cadece的Tensilica系列DSP产品，一直受到华为等诸多厂商的喜爱。近日，Cadence在北京召开了发布会，发布了全新的DNA100和HiFi5的产品。作为Vision系列和HiFi系列的最新产品，有何高明之处?Cadence公司IP事业部Tensilica资深产品总监Lazaar Louis先生和IP事业部Tensilica技术营销总监Yipeng Liu进行了详细的讲解。

DNA100: 通过稀疏计算引擎实现高效人工智能结构

Cadence最新发布的DNA 100是其首款神经网络加速器IP，作为端侧的运算单元，功耗仍然是客户非常敏感的指标;从0.5到数百TMAC均可实现高性能和高能效。换言之，不论是电池驱动的小型IoT设备，还是譬如手机等多核处理器中，DNA 100均可发挥巨大作用。

相较其它采用相似阵列尺寸大小的乘法累加运输商解决方案，DNA 100的性能提升高达4.7倍，每瓦性能提高2.3倍。据悉，这种性能提升和功耗的降低得益于其采用了稀疏计算引擎。“神经网络的特征在于权重和激活函数的固有稀疏度，加载和乘以零会早晨其它处理器不必要的MAC消耗。DNA 100移除了这两项任务，利用稀疏度提高能效并降低计算量。神经网络再训练有助于提高网络的稀疏度，并通过DNA 100处理器的稀疏计算引擎实现最高性能。DNA 100处理器能够利用更小的阵列实现最大吞吐量。作为例证，4K MAC配置环境下，ResNet 50推理性能预计能实现每秒高达2550帧(fps)和3.4TMAC / W(在16 nm工艺)。”

稀疏计算引擎专门处理卷积阶段以及完全连接的分类层的任务。 单个稀疏计算引擎可以在256,512或1024 MAC中扩展，之后IP通过添加更多引擎进行扩展，上图中可见最多可以达到4个引擎。 这意味着最大配置的单个DNA 100硬件块最多包含4096个MAC。

带宽是限制NN硬件效率的一个关键瓶颈，因此压缩带宽是实现最佳性能必备条件。就原始带宽而言，DNA 100提供了从1到4 AXI 128或256位接口，这意味着在最宽的配置中，最高可达1024位总线宽度。

Cadence仍然提供DNA 100和Vision Q6产品的耦合使用方案，可以在执行某些特定NN运算时实现更高效率。这种方案相较之前的P6+C5的方案有了很大提升，客户也可以进行深度的定制。

在软件方面，Cadence提供完整的软件堆栈和神经网络编译器，以方便客户充分利用硬件，包括网络分析仪和优化器以及所需的设备驱动程序。Cadence最近还宣布将支持Facebook的Glow编译器——一种跨硬件平台的机器学习编译器。

HiFi5：实现设备端语音UI

随着家庭数字语音助手的兴起，HiFi 4得到了大量的应用，而数字语音助手的下一个升级体验是实现更好的语音UI，这需要更好的原场处理算法和基于NN的语音识别，HiFi5将帮助客户实现这一设计。重点仍然是，能在端侧完成的 ，要实现快速反馈，这样才能带来更好的用户体验。

高性能的DSP核是语音UI实现的关键器件，另外，还需要耕地精度的NN内存权重，以减少内存大小和带宽需求;这两个指标在端侧同样是非常敏感的资源，如此这般才能构建节能高效的边缘语音交互设备。

HiFi 5可根据其可使用的执行单元和内存控制器进行配置。 为了支持波束成形等任务，DSP管道能够使用浮点数。而在DNN的工作任务中，DSP的管道可以由浮点单元转为专注于低分辨率定点运算，降低到多个8x8并行乘法;或者可以在没有用于传统音频处理的DNN聚焦模式的情况下部署DSP。同样的，因为采用了其专有的稀疏计算引擎，因此可以减少零权重操作以及压缩带宽，从而实现更高效能。此特性已经在DNA 100的介绍中提及，此处不再赘述。

作为HiFi 4的升级产品，HiFi 5的预处理和后处理的MAC性能提高2倍;神经网络处理MAC性能提高4倍;而且提供专门优化的函数库，可以与主流机器学习框架集成;兼容HiFi产品线300多个语音增强软件包。

据悉，首批客户之一是Ambiq Micro，想必大家并不陌生，这是一家专门构建电池驱动音频控制器的厂商。

未来端侧的高性能推理的工作将越来越多，比如汽车的自动驾驶、语音UI、物联网边缘的AI处理以及手机AI强化。如何在有限的资源条件下，实现实时高效的AI处理，这是端侧需要解决的问题。而这一问题的解决，Cadence的DNA 100和HiFi 5无疑都是最佳助手。