燧原科技发布业内带宽最大的云端AI推理卡“云燧i20”
扫描二维码
随时随地手机看文章
(全球TMT2021年12月7日讯)燧原科技发布第二代云端人工智能推理加速卡“云燧i20”。作为全新一代云端AI推理加速产品,云燧i20拥有迄今为止业内最大的AI加速卡存储带宽,高达819 GB/s,远超行业同类产品水平;同时全面支持从FP32、TF32、FP16、BF16到INT8的计算精度。单精度FP32峰值算力达到32 TFLOPS,单精度张量TF32峰值算力达到128 TFLOPS,整型INT8峰值算力达到256 TOPS。对比第一代推理产品,云燧i20将浮点算力提升到1.8倍,整型算力提升到3.6倍。
升级后的“驭算TopsRider”软件栈,在性能、开发效率和模型覆盖面上得到大幅提升。通过引入通用高层图优化和大规模算子融合技术,充分释放了大容量片内存储和高带宽存储的利用率,将模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低;此外,驭算增强了对动态性的支持,使云燧i20在检测、语音识别、语义理解等场景更具竞争力。
在经济效益和部署灵活性层面,基于虚拟化和多实例加速技术,云燧i20能够实现单卡多用户,同时支持6个业务互不干扰、安全隔离运行。让更多云端推理应用同时享受专有的算力加速,为客户业务架构带来轻耦合、灵活可靠的实现方式,显著提升资源利用率与投入产出比。
超大带宽推理加速卡,兼具高吞吐、低延时特性
目前以语音识别、图片识别、视频内容分析为主的感知类应用,内容推荐和欺诈交易拦截等决策类应用在云端大部分都是以实时在线的方式提供服务;同时神经网络的参数越来越多,数据带宽需求也越来越高,兼顾高带宽和低延迟变得至关重要。云燧i20创新性地采用了高带宽HBM2E存储,实现了高达819GB/s的超大带宽,为各类云端推理业务提供高吞吐、低延时的性能,保障其准确、平稳、高效的运行。
自主创新芯片架构,以更高性价比提供极致化性能
新一代“邃思”AI推理芯片采用第二代高性能计算核心和数据引擎,由12nm工艺打造,通过架构升级,大大提高了单位面积的晶体管效率,从而实现了与目前业内7nm GPU相匹敌的计算能力。不仅如此,基于12nm成熟工艺带来的成本优势,使得云燧i20在相同性能表现下更具性价比优势。并且供应链体系更加稳定成熟,客户的业务需求可以得到及时满足。