Rambus通过GDDR7内存控制器IP推动AI 2.0发展
扫描二维码
随时随地手机看文章
作为 Rambus 行业领先的接口和安全数字 IP 产品组合的最新成员,GDDR7 内存控制器将为下一波AI推理浪潮中的服务器和客户端提供所需的突破性内存吞吐量。
面向AI 2.0的内存解决方案
AI 2.0代表着生成式AI革命性世界的到来。AI 2.0借助大语言模型(LLM)及其衍生模型的巨大增长创建新的多模态内容。多模态意味着可以将文本、图像、语音、音乐、视频等混合输入到模型中,从而创建出这些以及其他媒体格式的输出,例如根据图像创建3D模型或根据文本提示创建视频等。
LLM的参数规模已超过万亿,数据集样本规模也已达到数十亿。训练LLM需要巨大的算力,这离不开最新高性能内存解决方案的支持。
通过GDDR7增强AI推理能力
AI 2.0训练流程的输出结果是一个推理模型,该模型可根据用户提示创建新的多模态内容。由于准确性和保真度会随着模型规模的扩大而提高,因此推理模型的规模也在不断扩大。随着AI推理变得越来越普遍,并从数据中心向边缘和终端移动,这就促使整个计算领域需要更加强大的处理引擎和量身定制的高性能内存解决方案。
GPU一直是推理引擎的首选,在服务器和台式机等边缘和终端应用中,GPU一直使用的是GDDR6内存。但GDDR6的数据传输速率已达到标准NRZ信号的实际极限——24Gbps。为了满足未来GPU的带宽需求,需要使用新信号机制的新一代GDDR。而使用PAM3信号的GDDR7内存可将数据传输速率提高至40 Gbps或以上。
面向AI 2.0的Rambus半导体IP
作为AI 2.0的首选半导体IP供应商,Rambus提供业界领先的 HBM、PCIe和 CXL控制器 IP,现在更提供业界首个GDDR7内存控制器IP。Rambus GDDR7控制器为GDDR7存储器的实现提供了功能齐全且具有高带宽效率的解决方案。它支持40 Gbps的运行速度,为GDDR7存储器设备提供160 GB/s的吞吐量,较业界吞吐量最高的GDDR6控制器(同样来自Rambus)提高了67%。Rambus GDDR7控制器实现了适用于最先进AI加速器、图形和高性能计算(HPC)应用的GDDR内存部署。
Rambus半导体IP总经理Neeraj Paliwal表示:“AI 2.0工作负载对带宽提出了前所未有的高要求,因此提供更高的内存性能变得至关重要。借助我们开创性的GDDR7控制器IP解决方案,设计人员可以快速利用最新一代GDDR存储器的优势,实现业界领先的吞吐量。”
IDC内存半导体副总裁Soo-Kyoum Kim表示:“GDDR7内存的性能较GDDR6大幅提升。对任何希望充分利用GDDR7优化的速率和延迟特性的人来说, Rambus GDDR7控制器IP将成为重要的工具。”
Rambus GDDR7控制器的主要特点:
• 支持包括PAM3和NRZ信号在内的所有GDDR7链路功能
• 支持多种GDDR7设备尺寸和速率
• 专门针对各种流量情况进行优化,可实现高效率和低延迟
• 灵活的AXI接口支持
• 低功耗支持(自刷新、休眠自刷新、动态频率缩放等)
• 可靠性、可用性和可维护性(RAS)功能,例如端到端数据路径奇偶校验、存储寄存器奇偶校验保护等
• 全方位的内存测试支持
• 对现有第三方PHY的集成支持
• 使用最新的GDDR7 VIP和内存供应商内存模型进行验证