模拟内存计算如何解决边缘人工智能的功率挑战

机器学习和深度学习已经是我们生活的组成部分.人工智能(AI)的应用,通过自然语言处理(NLP),图像分类和目标检测深入嵌入我们使用的许多设备。大多数人工智能应用程序都是通过云基引擎提供的,这些引擎可以很好地处理它们所使用的内容,比如在gmail中输入电子邮件响应时获取单词预测。

虽然我们很享受这些AI应用的好处,这种方法引入了隐私、耗电、延迟和成本挑战。如果有一个本地处理引擎能够在数据本身的来源处进行部分或全部的计算(推理),这些挑战是可以解决的。这对于传统的数字神经网络实现来说是很困难的,在这种实现中,内存成为了耗电的瓶颈。这个问题可以通过多层存储器和使用模拟内存计算方法来解决,这种方法结合在一起,使处理引擎能够满足更低的毫瓦到微瓦(UW)的功率需求,以便在网络边缘进行AI推理。

云计算的挑战

当AI应用程序通过云基引擎提供服务时,用户必须上传一些数据(自愿或不情愿)到云计算引擎处理数据、提供预测并将预测发送到下游用户使用。

与这一进程相关的挑战概述如下:

1. 隐私和安全问题: 对于一直使用的、始终意识到的设备,人们担心个人数据(和/或机密信息)在上传期间或在数据中心的保存期内被滥用。

2. 不必要的耗电: 如果每一个数据位都要云计算,那么它就会消耗硬件、无线电、传输和云中不必要的计算的能量。

3. 小型推理的延迟: 有时,如果数据来自边缘,从云基系统得到响应可能需要一秒钟或更多时间。对于人类的感官来说,任何超过100毫秒的潜伏期都是显而易见的,而且可能很烦人。

4. 数据经济需要有意义: 传感器无处不在,而且非常便宜;然而,它们产生了许多数据。将每一个数据上传到云端并进行处理是不经济的。

为了使用本地处理引擎来解决这些挑战,首先必须对执行推理操作的神经网络模型进行针对所需用例的给定数据集的培训。一般来说,这需要高计算(和内存)资源和浮点算术运算。因此,机器学习解决方案的培训部分仍需要在公共或私人云(或本地GPU、CPU、FPGA农场)上进行,并使用数据集生成最佳神经网络模型。一旦神经网络模型准备就绪,该模型就可以进一步优化为具有小型计算引擎的本地硬件,因为神经网络模型不需要为推理操作进行反向传播。一个推理引擎通常需要大量的多重累积引擎,接下来是激活层,如校正线性单元(RELU),乙状结肠体或TAUH取决于神经网络模型的复杂性和层之间的池层。

大多数的神经网络模型需要大量的Mac操作。例如,即使是相对较小的"1.0移动-224"模型,也有420万个参数(权重),需要5.69亿个Mac操作才能进行推断。由于大多数模型都是由Mac操作控制的,这里的重点将放在机器学习计算的这一部分--并探索创建更好解决方案的机会。

输入神经元(数据)用第一层权重进行处理。来自第一层的输出神经元然后用第二层权重进行处理,并提供预测(假设模型能够在给定的图像中找到猫的脸)。这些神经网络模型使用"点产品"来计算每个层中的每个神经元,用以下公式说明(在简化公式中略去"偏倚"一词):

记忆力 数字计算中的瓶颈

在数字神经网络实现中,权重和输入数据存储在DRAM/SRAM中。权重和输入数据需要移动到Mac引擎进行推断。这一方法导致大多数功率在获取模型参数和输入数据到实际的Mac操作发生的ALU时被耗散。

从能量的角度看问题--一个典型的使用数字逻辑门的Mac操作消耗大约250焦耳(FJ,或10焦耳)的能量。但在数据传输过程中耗散的能量比计算本身要多两个数量级,并且在50微焦耳的范围内(PJ,或10)。公平地说,有许多设计技术可以最大限度地减少从内存到ALU的数据传输;然而,整个数字方案仍然受到冯诺依曼架构的限制--因此这是一个减少浪费电力的巨大机会。如果执行Mac操作的能量可以从~100pj减少到pj的一小部分呢?

通过模拟内存计算消除内存瓶颈

当内存本身可以用来减少计算所需的功率时,在边缘执行推理操作就会提高功率效率。使用内存计算方法可以最大限度地减少必须移动的数据量。这反过来又消除了数据传输过程中浪费的能量。使用可操作超低有源功率耗散的闪存电池,能量耗散进一步最小化,在备用模式下几乎没有能量耗散。

这种方法的一个例子是硅存储技术(SST),一个微芯片技术公司。以SST的超级闪光灯为基础内存技术,该解决方案包括一个内存中的计算体系结构,该体系结构允许在推理模型的权重存储的地方进行计算。这就消除了Mac计算中的内存瓶颈,因为没有为权重进行数据移动--只有输入数据才能从相机或麦克风等输入传感器移动到存储器阵列。

这个存储器概念基于两个基本原理:(a)晶体管的模拟电流响应基于其阈值电压(VT)和输入数据;(b)基尔霍夫电流定律,其中规定导体网络中在某一点上的电流的代数和是零。

理解基本的非易失性内存(NVM)比特单元也很重要,它在这个多层内存体系结构中使用。是两个ESF3(嵌入式超闪存3)的横截面带有共享擦除门(EG)和源线(SL)的比特单元。每个比特单元有五个端子:控制门(Cg)、工作线(WL)、擦除门(EG)、源线(SL)和比特线(LB)。在比特电池上的擦除操作是通过对EG施加高压来完成的.通过在WL、CG、BL和SL上应用高压/低压偏置信号进行编程操作。通过将低压偏置信号应用到WL、CG、BL和SL上来完成读取操作。

使用这个内存体系结构,用户可以通过细粒度编程操作,在不同的VT级别上编程内存比特单元。该存储技术利用一个智能的算法来调整存储单元的浮动门(FG)VT,以从输入电压中获得一定的电流响应。根据终端应用程序的需求,单元格可以在线性或次阈值操作区域编程。

展示了存储和读取存储单元格上多个层次的能力。假设我们试图在内存单元格中存储一个2位整数值。对于这个场景,我们需要在内存数组中对每个单元格进行编程,其中包含2位整数值(00,01,10,11)的四个可能值之一。下面的四条曲线是四个可能状态中的每一条的IV曲线,而电池的电流响应将取决于加在cg上的电压。

具有内存计算的多重累积运算

每个ESF3电池可以模拟为可变电导(G M )。ESF3电池的电导取决于程序化电池的浮门VT。从训练过的模型中得到的重量被设定为存储单元的浮动门VT,因此, M 代表训练过的模型的重量。当一个输入电压(VIN)被施加到ESF3电池上时,输出电流(UT)将由方程IUT=G给出。 M *VIN,这是输入电压与存储在ESF3电池上的重量之间的乘以操作。

说明了小阵列配置(2x2阵列)中的多重累积概念,在该小阵列中,通过增加输出电流(从连接到同一列的单元格(从倍增操作))来执行累积操作(例如I1=I11+I21)。根据应用程序的不同,激活功能可以在ADC块中执行,也可以在内存块外使用数字实现完成。

为了在更高层次上进一步说明这个概念,一个训练过的模型的个体权重被编程为存储单元的浮动门VT,因此,从训练过的模型的每个层的所有权重(假设是完全连接的层)都可以编程到一个内存阵列上,就像一个权重矩阵。

对于推理操作,一个数字输入,比如说图像像素,首先使用数字转换器转换成模拟信号,然后应用于存储器阵列。然后,该阵列为给定的输入向量并行执行数以千计的Mac操作,并产生输出,这些输出可以进入各自神经元的激活阶段,然后通过一个类似数字转换器(ADC)将其转换为数字信号。然后,在进入下一层之前,对数字信号进行共享处理。

这种类型的内存体系结构非常模块化和灵活。许多膜瓦可以拼接在一起,以构建各种具有重量矩阵和神经元的大型模型。在这个例子中,一个3×4瓦的配置与一个模拟和数字的织物在瓦之间缝在一起,数据可以从一个瓦到另一个瓦通过共享总线。

到目前为止,我们已经初步讨论了这种架构的硅实现。软件开发包(SDK)的可用性有助于解决方案的部署。除了硅之外,SDK还促进了推理引擎的部署。

SDK流是培训框架的不可知论。用户可以在任何一个可用的框架中创建神经网络模型,如张力流、喷灯或其他,根据需要使用浮点计算。一旦创建了一个模型,SDK将帮助量化训练好的神经网络模型,并将其映射到存储器阵列,在那里可以使用来自传感器或计算机的输入向量来执行向量-矩阵乘法。

结论

这种多层存储器方法及其内存计算功能的优点包括:

1. 极低功率: 这项技术是为低功率应用而设计的。第一级功率优势来自于这样一个事实,即解决方案是内存计算,因此在计算过程中不会在SRAM/DRAM的数据和权重传输中浪费能量。第二个能量优势来自于闪光电池是以极低电流值的亚阈值模式运行的,所以有源功率耗散很低。第三个优点是在备用模式下几乎没有能量耗散,因为非易失性存储器电池不需要任何功率来保持数据的连续性。该方法也非常适合利用重量和输入数据的稀疏性。如果输入数据或权重为零,则内存比特单元不会被激活。

2. 包足迹较低: 该技术使用一个分叉门(1.5T)单元结构,而数字实现中的SRAM单元则基于6T架构。此外,与6TSRAM电池相比,该电池是一个小得多的比特细胞。另外,一个单元格可以存储整个4位整数值,这与需要4*6=24晶体管的SRAM单元格不同。这提供了一个小得多的芯片足迹。

3. 较低的开发成本: 由于内存性能瓶颈和冯诺依曼架构的局限性,许多专用设备(如恩维迪亚的Jetsen或谷歌的TPU)倾向于使用较小的几何形状来获得每瓦特的性能,这是解决边缘人工智能计算挑战的昂贵方法。利用多层存储器方法,使用模拟内存计算方法,在闪存单元中进行芯片计算,从而可以使用更大的几何形状,降低掩模成本和准备时间。

边缘计算应用显示出巨大的前景。然而,在边缘计算能够起飞之前,还需要解决电力和成本方面的挑战。一个主要障碍可以通过在闪存单元中执行计算的内存方法来消除。这种方法利用了生产证明,事实上标准类型的多层次存储技术解决方案,是优化的机器学习应用。