同时计算和存储!Macronix 为人工智能应用创造创新内存
扫描二维码
随时随地手机看文章
人工智能 (AI) 应用程序已在我们的日常生活中无处不在。随着传感器、5G通信、边缘计算等技术的不断演进,大规模数据中心,包括汽车、工厂自动化设备、医疗保健设备、各种消费电子产品和小型电池供电的物联网(IoT ) 节点,逐渐从数字化和网络化功能的加入,演变为拥有不同层次的“智能”。
这些智能系统可以将收集到的大量数据转化为有用的信息,做出快速决策并实时做出适当的响应,或者将数据传输到云端进行深入分析,以获得更高价值的见解。能否充分发挥作用,不仅取决于中央处理器(CPU)的计算能力,还取决于内存,内存不再只负责简单的数据存储功能,而在共享方面开始发挥越来越重要的作用处理器的计算任务。
Donald Huang 是非易失性存储器集成组件的全球领导者 Macronix International Co., Ltd. (Macronix) 的产品营销部总监。他以配备先进驾驶辅助系统(ADAS)和自动驾驶功能的智能网联汽车为例,表示这种配备摄像头、激光雷达和雷达等传感器的系统每天可以产生高达数 TB 的数据。因此,它的内存不仅需要大量的存储容量和高传输带宽,而且还必须满足对可靠性和质量要求非常高的严格汽车规范。而且,
此外,他强调,当人工智能应用从云端迁移到边缘时,对于车辆等边缘设备需要安全性和快速响应,内存在实时数据处理和高速传输方面提供的支持是必不可少的,而对降低系统功耗和成本的解决方案的需求也在上升。
黄先生指出,为了满足人工智能应用对高存储容量、高速传输和低延迟的要求,内存组件在系统中的角色已经开始发生范式转变;过去,闪存在系统中只起到纯后端存储的作用,支持前端DRAM和处理器的嵌入式SRAM。然而,随着数据量的显着增加以及对传输带宽和速度的要求越来越高,他表示,需要一种全新的内存架构来应对这些新兴应用。
他接着解释说,为了应对大数据的需求,目前主流的NAND和NOR闪存已经从2D结构转向3D结构,以实现更高的存储密度和更低的成本。而人工智能系统也希望闪存更靠近计算单元,以支持高速访问并降低数据传输功耗。如今的新一代闪存直接在内部增加计算功能,准备从幕后走向前台,与中央处理器(CPU)和图形处理器(GPU)并肩作战。“Macronix 最新的 FortiX 系列 3D NAND/NOR 闪存就是这样一种‘以内存为中心’的创新解决方案,”Donald 说。
FortiX系列产品除了提供3D闪存的高存储容量、稳定的质量和可靠性外,还具有支持实时数据处理、高传输带宽和低功耗的额外优势。Donald表示,FortiX解决方案的内存搜索(IMS)和内存计算(CIM)是数模架构的计算功能。当传统的存储和计算分离的冯诺依曼架构遇到延迟和功耗瓶颈时,这种新架构不仅可以大大减少内存与CPU/GPU之间的数据传输。这不仅提高了速度并降低了功耗,而且还可以节省对模数转换器、微控制器和 GPU 组件的需求,从而降低整体系统成本。FortiX 是 Macronix 团队多年研发的心血结晶。相关技术论文近年来在国际电子器件会议(IEDM)、国际固态电路会议(ISSCC)等全球学术研讨会上受到青睐。此外,FortiX 一直在申请专利。
FortiX 的 IMS 功能可以直接从内存中的现有数据中搜索和比较数据(精确或接近),并支持并行输入。Donald解释说,3D NAND适用于大数据量(>64Gb)的应用,而3D NOR则支持TCAM和Hamming Distance Sorter架构的高速应用。有多种创新架构提供灵活的选项来帮助对象检测/图像识别,包括智能车辆的车道识别等应用。CIM 功能支持逐位逻辑运算,可以在深度神经网络推理任务中执行所需的 MAC 运算。Donald补充说,在性能方面,与传统的冯诺依曼架构体系相比,FortiX IMS 3D NAND内部搜索速度高达300Gb/s,其每秒数据查询率(QPS)可提高10倍以上,其运行功耗(有功功率)仅为300mW左右,远低于DRAM的1W功耗。此外,在 FortiX IMS 3D NAND 加速器运行后,数据量可以减少到只有原始数据量的 5%,大大减少了冯诺依曼架构系统后续运行的数据移动,从而不仅降低功耗和总成本,同时显着提高性能。
不过,Donald 也强调,新的 FortiX 架构不同于现有的标准闪存产品。为充分发挥 FortiX 的优势,Macronix 在产品开发的早期就与客户密切合作,针对不同的应用部署类似于特定应用的标准产品,然后将产品设计成通用型。产品参考行业标准,包括内存接口。Macronix 能够为客户提供出色的技术支持,是因为 Macronix 不仅拥有自己的 fab 生产线来保证内存产品的质量和可靠性,而且还拥有强大的软硬件工程师团队支持设计阶段。虽然 FortiX 系列产品尚未正式公布,但 Donald 透露,Macronix 一直在积极推动与目标应用客户的设计合作,并有可能在未来两到三年内推出终端产品,他也看好这一创新技术在人工智能时代的发展前景。Macronix 欢迎对 FortiX 感兴趣的厂商共同探索和开发“以内存为中心”解决方案的更多潜在应用。