当前位置:首页 > 厂商动态 > 厂商文章
[导读]“AI 一天,人间一年”,一句市场流行语完美阐释了如今AI大模型的高速发展和广泛应用。以人们日常使用的智能手机为例,众多知名厂商在AI浪潮席卷之下,紧跟AI前沿趋势,纷纷推出搭载端侧大模型或采用“端云协同”部署方案的AI手机,促使手机的智慧化、智能化达到全新高度,根据市场调研机构 IDC预测,2024年全球新一代AI手机出货量将达到1.7亿部,占智能手机总出货量的15%,体现了AI手机在电子消费市场的广阔前景。

AI智驭未来,2024迈入存储元年

“AI 一天,人间一年”,一句市场流行语完美阐释了如今AI大模型的高速发展和广泛应用。以人们日常使用的智能手机为例,众多知名厂商在AI浪潮席卷之下,紧跟AI前沿趋势,纷纷推出搭载端侧大模型或采用“端云协同”部署方案的AI手机,促使手机的智慧化、智能化达到全新高度,根据市场调研机构IDC预测,2024年全球新一代AI手机出货量将达到1.7亿部,占智能手机总出货量的15%,体现了AI手机在电子消费市场的广阔前景。

除手机领域外,AI在各类边缘应用落地的趋势也愈发显著。自ChatGPT横空出世以来,短短一年多的时间,生成式AI已悄然渗透至电脑、智能家居乃至汽车等多个领域,与千行百业持续深入融合,迸发出前所未有的创新活力与应用潜力。

释放边缘AI潜力,“存力”成关键引擎

生成式AI,尤其是在处理大语言模型和高精度图像生成任务时,往往需要庞大的存储和计算资源作为支撑。比如在图像生成方面,创建高分辨率图像往往伴随密集的卷积运算和反卷积运算,而这些运算需要高带宽、高容量的内存来支持数据的快速传输。

因此,庞大的市场机遇与发展所带来的挑战总是紧密相依,边缘设备在导入生成式AI方面仍面临着容量、带宽、能耗和散热等方面的瓶颈,这些因素深刻影响并制约着边缘AI的发展。

具体而言,边缘设备导入生成式AI时通常会面临以下瓶颈:

存储容量限制:以LLamA2 7B大型语言模型为例,即便在优化至INT8精度时,也至少需要7GB的内存容量来支撑其运行,而在进一步压缩至INT4精度下,内存需求仍高达3.5GB。这意味着多数现有的边缘设备需要进行内存扩容升级,才能实现模型的本地高效运算、显著降低响应延迟;

数据传输带宽不足:当前主流AI手机普遍采用LPDDR5内存,其带宽约为68GB/s。未来LPDDR6的带宽虽有望达到150GB/s,但可能仍不足以满足高端AI应用的需求。而HBM虽性能卓越,却因成本与功耗过高,难以在边缘设备中普及应用;

能耗和散热挑战:运行复杂的生成式AI模型相较一般应用会产生大量计算热量。因此,边缘设备需要设计有效的能源管理和散热系统,以确保设备运行的良好性能和稳定性。

CUBE:小号“HBM”,完美填补市场空缺

目前,AI技术的深度拓展应用在很大程度上仍需要借助云端,这意味着用户的每次请求指令均需穿越网络抵达云端,才能进行复杂的处理,随后再将处理结果反馈至用户,因此云端通常涉及传输延迟、数据隐私和效益成本方面的挑战,这大大限制了AI技术和应用的普及广度。

与云计算侧重大规模数据处理不同,边缘计算的数据处理发生在数据源或端点处,因此拥有实时处理、分析和决策的快速能力,可大幅降低传输延迟性,契合复杂多变的环境和任务处理。因此边缘AI市场也催生了对中低容量、超高带宽及低功耗内存解决方案的需求,并且生成式AI的出现也让存储行业催生了新的发展机遇——定制化的存储需求应用而生,这主要基于两大原因:

市场缺乏兼具成本效益与高性能的方案:目前的HBM3E带宽可达1.2TB/s,但功耗过高;虽然LPDDR6带宽未来有望超过150GB/s,但在这二者之间缺乏既能有效控制成本,又能满足边缘设备高性能需求的理想内存解决方案;

末级缓存(Last Level Cache):随着半导体制程不断向7nm以下推进,SRAM微缩效益不再明显,并且AI运算使其容量需求增加,高容量SRAM占据大面积进一步导致成本快速升高。因此,市场上亟需能够减少SRAM占用面积,降低整体成本的高效解决方案。

为满足日益增长的边缘AI市场需求,助推其高效创新发展,华邦专门推出CUBE(半定制化超高带宽元件)产品,大幅优化内存技术,可实现在混合云与边缘云应用中运行生成式 AI 的性能,为边缘AI量身定制完美的内存解决方案。与市面上现有方案相比,CUBE 的中小容量超高带宽的特点极具差异化,适用于机器人、可穿戴设备、边缘服务器等多种高级应用。

CUBE在功耗、性能、尺寸设计以及带宽等领域拥有卓越特性,全方位满足边缘AI的发展需求。在带宽方面,CUBE能够达到 256GB/s – 1TB/s,相当于 HBM2或4-32 个 LPDDR4x 4266Mbps x16 IO;并且,CUBE的功耗低于 1pJ/bit,在提供超高带宽的同时还可极大减少能源消耗。此外,通过创新性TSV 技术以及 uBump/ 混合键合,CUBE可降低功耗并节省 SoC 设计面积,从而实现高效且极具成本效益的解决方案。

整体而言,CUBE 凭借更高的带宽、更高的能效、更快的响应时间、可定制化特性以及紧凑外形,在释放 AI应用潜力方面发挥重要作用,能够让强大的 AI 从云落地至边缘设备和混合云应用中。

随着生成式AI不断向边缘端演化,不同应用场景下的边缘端产品数据传输量攀升,并催生出对低功耗、高带宽存储产品的迫切需求,这一系列新趋势为存储市场开辟了广阔的发展空间。作为深耕存储行业的领导厂商之一,华邦秉持不懈创新、精益求精的发展理念,持续开发用于终端产品特定应用的DDR4/LPDDR4,此外,华邦还致力于研发定制化超高带宽内存解决方案,携手OSAT(半导体封装测试)伙伴为边缘设备SoC带来理想的中小容量超高带宽内存,共同探索内存技术的创新前沿,推动边缘AI实现更高效、更蓬勃的发展。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭