无处不在的人工智能将依赖传统内存，第一部分

随着 AI 炒作的消退和面临新的工程挑战，内存需求成为焦点：并非每项机器学习和推理任务都需要先进的内存技术。相反，经过验证的传统存储器可以在边缘处理人工智能，而分布式人工智能可能正是 5G 真正需要的东西。

尽管如此，基本的推理操作已经变得越来越复杂。总体而言，内存将有望为推理做更多的事情。

TECHnalysis Research 总裁兼首席分析师 Bob O'Donnell 认为，人工智能是实现 5G 承诺不可或缺的一部分。只有将两者结合起来，才能实现新的应用。“具有讽刺意味的是，每个人都将这些都视为独立的动物：5G 是一回事，边缘是另一回事。人工智能是另一回事。你真的需要将这些东西结合起来，让它们中的任何一个真正发挥他们的能力，”O'Donnell 说。

随着边缘处理器的发展以及诸如 LPDDR之类的存储器被用于在边缘处理平凡的 AI 任务，集中式 AI 已经在一定程度上证明了自己。“房间里的摄像头可以进行非常简单的 AI 处理，以检测房间内的人数，从而调整 HVAC，”O'Donnell 说。虽然并不吸引人，但这些任务可以在一组具有适度计算和内存能力的建筑物中本地处理——消除了将数据来回发送到云的需要。

O'Donnell 补充说，还有一个中间地带，边缘设备在本地处理数据，同时具有足够的智能，可以知道何时将文件发送到数据中心进行“深度处理”。一个结果是改进的算法被发送回边缘。

“有这种持续的改进循环，”分析师说。“这就是事情开始变得非常有趣的地方。”

O'Donnell 预测，专用于分布式 AI 应用程序的内存将是相对低端的，这些内存类型可用于各种应用程序，例如分布式边缘设备。“我的猜测是 LPDDR 类型的存储器最合乎逻辑。”

但即使是低功耗 DDR 也可以得到超越智能手机、车辆和各种边缘端点中使用的典型设备类型的提升。在最近讨论将内存处理 (PIM) 技术推向主流的进展时，三星指出该技术最终可以应用于其他类型的内存，以支持 AI 工作负载。这可能包括 LPDDR5 用于将 AI 带到各种端点设备内的边缘，而无需数据中心连接。

三星展示了一款性能提升一倍以上的 LPDDR5-PIM，用于语音识别、翻译和聊天机器人等应用时，能耗降低了 60% 以上。

人工智能、5G

Nvidia 首席平台架构师 Robert Ober 指出，一些需要内存的分布式 AI 正在帮助运行 5G 基站。

边缘的 5G 基础设施有时比它所连接的旧基础设施具有更多的带宽，因此需要一些推断来管理网络事务。“使用显式编程太复杂了，”Ober 说。

AI 的许多边缘用例非常普通，使用的嵌入式设备需要具有较小物理和电源占用的内存。Ober 说，挑战在于，即使是边缘的图像识别和分类等基本 AI 功能也正在成为更大的工作。高达 4K 的更高分辨率图像以及对更多信息和上下文的需求意味着这些神经网络更加复杂。

“如果它是一个视频，那么随着时间的推移，你会使用多个帧来提取意义，”Ober 说。“记忆在那里真的很重要。”

英伟达专注于数据中心培训工作负载，其中内存容量和带宽至关重要，同时降低功耗，Ober 说。因此，不同的内存技术可以在未来的 AI 部署中发挥作用，包括电压控制的 MRAM，它可以降低功耗、维持带宽并释放计算能力。“从长远来看，你会有一些非常有趣的解决方案。”

Ober 补充说，即使内存能力不断提高以满足 AI 的需求，预期也会提高，因为 AI 复杂性的指数级增长是一致的。“你可以编码的知识越多，它可以做的事情就越多。” 训练网络本质上是对信息进行编码，对于边缘设备来说检测狗已经不够了。

“他们想知道什么类型的狗。它在做什么?快乐吗?难过吗?预期继续呈指数增长，”英伟达高管表示。

随着机器人图像检测和分类等功能的改进，预计数据中心中的人工智能和机器学习工作负载将做得更多。因此，对高性能计算的需求持续存在，他说，并且总会有新的人工智能任务更复杂、需要更多时间并需要更多机器智能。

将与人工智能任务相关的数据转移到正确的内存中是数据中心人工智能面临的最大挑战之一。因此，也减少了将每个工作负载发送回中央云的需要，从而对内存资源造成更大压力。Ober 预见到新的高带宽低功耗大容量存储器的需求，因为它本质上是非易失性的。已经有一些举措在嵌入式设备(例如工业端点)中处理 AI 工作负载，然后将一些任务转移到本地连接 5G 的基站。

更复杂的任务将被运送到云数据中心。“以这种方式分层的工作已经在进行，因为坦率地说，没有足够的带宽回到核心。”