工程师们为人工智能瓶颈提供了聪明、及时的解决方案

[]莱斯大学的研究人员展示了设计创新的以数据为中心的计算硬件的方法，以及将硬件与机器学习算法共同设计的方法，这两种算法可以将能源效率提高两个数量级。

机器学习是自动驾驶汽车和许多其他高科技应用背后的人工智能形式，它的进步开创了一个新的计算时代—;—;以数据为中心的时代，并迫使工程师们重新思考75年来几乎没有受到挑战的计算体系结构的各个方面。

电气与计算机工程助理教授林英彦（音）说：“问题是，对于目前机器学习最先进的大规模深层神经网络来说，整个系统运行所需的90%以上的电力消耗在存储器和处理器之间的数据移动上。”。

Lin和合作者提出了两种互补的方法来优化以数据为中心的处理，这两种方法都在6月3日的国际计算机体系结构研讨会（ISCA）上进行了介绍，这是有关计算机体系结构新思想和研究的主要会议之一。

数据中心架构的驱动力与一个称为冯·诺依曼瓶颈（von Neumann瓶颈）的问题有关，这是一个效率低下的问题，源于计算架构中的内存和处理分离，自1945年数学家约翰·冯·诺依曼发明数据中心架构以来，这一问题一直占据着至高无上的地位。通过将内存与程序和数据分离，von Neumann架构允许一台计算机具有难以置信的多功能性；根据从内存中加载的存储程序，计算机可以用来进行视频通话、准备电子表格或模拟火星上的天气。

但是将内存与处理分开也意味着即使简单的操作（如加2加2）也需要计算机处理器多次访问内存。深度神经网络中的大量操作使这种记忆瓶颈变得更糟，深度神经网络是通过“研究”大量先前示例来学习做出人性化决策的系统。网络越大，它可以完成的任务就越困难，并且显示的网络示例越多，它的执行效果就越好。深度神经网络训练可能需要专门的处理器库，这些处理器需要全天候运行一周以上。基于智能网络在智能手机上执行任务可以在不到一个小时的时间内耗尽电池电量。

赖斯高效智能计算（EIC）实验室主任林说：“人们普遍认为，对于机器学习时代的以数据为中心的算法，我们需要创新的以数据为中心的硬件架构，但机器学习的最佳硬件架构是什么？“

她说：“没有一个答案是万能的，因为不同的应用程序需要的机器学习算法在算法结构和复杂度方面可能有很大的不同，同时具有不同的任务精度和资源消耗，如能源成本、延迟和吞吐量折衷要求。许多研究人员正在进行这方面的研究，英特尔、IBM和谷歌等大公司都有自己的设计。”

在ISCA 2020上，Lin的小组做了一个报告，提供了及时的结果，这是她和她的学生为“内存处理”（PIM）开发的一个创新架构，是一种将处理引入内存阵列的非von Neumann方法。一个有前途的PIM平台是“电阻随机存取存储器”（ReRAM），一种类似flash的非易失性存储器。尽管已经提出了其他的ReRAM-PIM加速器架构，但林说，在10多个深度神经网络模型上运行的实验发现，适时的ReRAM-PIM加速器的能效提高了18倍，其计算密度是最具竞争力的最先进ReRAM-PIM加速器的30倍以上。

TIMELY是“时域、内存执行、局部性”的缩写，它通过消除频繁访问主内存以处理中间输入和输出以及本地内存和主内存之间的接口而导致效率低下的主要因素来实现其性能。

在主存储器中，数据以数字方式存储，但是当将其带入本地存储器以进行内存中处理时，必须将其转换为模拟量。在以前的ReRAM PIM加速器中，结果值从模拟转换为数字，然后发送回主存储器。如果将它们从主存储器调用到本地ReRAM以进行后续操作，则它们将再次转换为模拟信号，依此类推。

通过使用本地存储器中的模拟格式缓冲区，及时避免了不必要的访问主存储器和接口数据转换的开销。这样，TIMELY几乎可以将所需的数据保留在本地存储阵列中，从而大大提高了效率。

该小组在ISCA 2020上提出的第二个建议是SmartExchange，该设计结合了算法和加速器硬件创新以节省能源。

“访问主存储器（DRAM）的能量要比执行计算多花费200倍，因此SmartExchange的关键思想是强制执行算法中的结构，使我们可以将成本较高的内存换成成本更低的内存，成本计算。”

她举例说：“例如，我们的算法有1000个参数。在传统方法中，我们将所有1,000个存储在DRAM中，并根据计算需要进行访问。使用SmartExchange，我们搜索以找到这1,000个中的某些结构。然后，我们只需要存储10个，因为如果我们知道它们之间的关系， 10和其余的990，我们可以计算990中的任何一个，而不必从DRAM调用它们“。

她说：“我们将这10个称为‘基础’子集，其想法是将它们存储在靠近处理器的本地位置，以避免或大幅度减少为访问DRAM而支付的费用”。

研究人员使用SmartExchange算法及其自定义的硬件加速器对七个基准深度神经网络模型和三个基准数据集进行了实验。他们发现，与最先进的深度神经网络加速器相比，该组合将等待时间减少了多达19倍。[]