亚马逊云科技推出由自研芯片支持的三款Amazon EC2新实例

Amazon EC2 Hpc7g实例采用最新款的Amazon Graviton3E处理器，为高性能计算工作负载提供极佳的性价比

Amazon EC2 C7gn配备新一代Amazon Nitro，具有增强的网络处理能力，是目前Amazon EC2网络优化型实例中，提供最高网络带宽和数据包转发性能的实例

Amazon EC2 Inf2实例，采用最新款的Amazon Inferentia2机器学习加速推理芯片，在Amazon EC2上以最低的延迟与成本，大规模地运行大型的深度学习模型

北京—2022年11月30日亚马逊云科技在2022 re:Invent全球大会上宣布，推出三款分别由三种新的自研芯片支持的Amazon Elastic Compute Cloud（Amazon EC2）实例，为客户广泛的工作负载提供更高性价比。Hpc7g实例配备了Amazon自研的最新 Graviton3E处理器，与当前一代C6gn实例相比浮点性能提高了2倍，与当前一代Hpc6a实例相比性能提高了20%，为亚马逊云科技上的高性能计算工作负载提供了超高性价比。配备了新一代Amazon Nitro的C7gn实例，与当前一代网络优化型实例相比，为每个CPU提供了多达2倍的网络带宽，同时将每秒数据包转发性能提升50%，为网络密集型工作负载提供了超高的网络带宽、数据包转发性能和性价比。Inf2实例配备了Amazon自研的最新Inferentia2机器学习加速推理芯片，是专门为运行多达1,750亿个参数的大型深度学习模型而构建的，与当前一代Inf1实例相比可提供高达4倍的吞吐量，降低多达10倍的延迟，以最低的成本为Amazon EC2上的机器学习推理提供最低延迟。

Amazon EC2 C7gn实例 (图片来源：Business Wire)

亚马逊云科技拥有十多年芯片设计经验，在云中以更低成本实现更高的性能和可扩展性。十多年来，亚马逊云科技推出了多种定制化的芯片设计，帮助客户运行要求更高的工作负载，包括更快的处理速度、更高的内存容量、更快的存储输入/输出（I/O）和更高的网络带宽。亚马逊云科技自2013年推出Amazon Nitro系统以来，已经开发了多个自研芯片，包括五代Nitro系统、致力于为各种工作负载提升性能和优化成本的三代Graviton芯片、用于加速机器学习推理的两代Inferentia芯片，以及用于加速机器学习训练的Trainium芯片。亚马逊云科技在芯片设计和验证的敏捷开发周期中使用基于云的电子设计自动化，这使团队能够更快地创新，更快地将芯片提供给客户。实践证明，亚马逊云科技更现代化、更节能的半导体处理确保了芯片的快速迭代及交付。每推出一款新的芯片，亚马逊云科技都进一步提升了这些芯片支持的Amazon EC2实例的性能、效率以及更优化的成本，为客户提供了更多的芯片和实例组合选择，针对他们独特的工作负载进行了优化。

亚马逊云科技Amazon EC2副总裁David Brown表示：“从Graviton到Trainium、Inferentia再到Nitro，亚马逊云科技每一代自研芯片都为客户的各种工作负载提供更高的性能、更优化的成本和更高的能效。我们不断推陈出新让客户获得卓越的性价比，这也一直驱动着我们的持续创新。我们今天推出的Amazon EC2实例为高性能计算、网络密集型工作负载和机器学习推理工作负载提供了显著的性能提升，客户有了更多的实例选择来满足他们的特定需求。”

Hpc7g实例专为在Amazon EC2上大规模运行高性能计算工作负载提供超高性价比

很多领域的组织需要依靠高性能计算来解决复杂的学术、科学和商业问题。当前，众多客户如阿斯利康、F1一级方程式赛车、Maxar Technologies等在亚马逊云科技上借助其提供的卓越的安全性、可扩展性和弹性，运行传统的高性能计算工作负载，包括基因组学处理、计算流体动力学和天气预报模拟等。工程师、研究人员和科学家使用Amazon EC2网络优化型实例（如C5n、R5n、M5n和C6gn）运行高性能计算工作负载，这些实例提供了近乎无限的计算能力和服务器之间的高网络带宽，实现数千个内核处理和交换数据。虽然这些实例的性能足以满足目前大多数高性能计算场景，但人工智能和自动驾驶汽车等新兴应用需要高性能计算优化实例，可以扩展到数万个甚至更多的内核，进一步解决难度系数持续增加的问题并降低高性能计算工作负载的成本。

Hpc7g实例由新的Amazon Graviton3E芯片提供支持，为客户在Amazon EC2上的高性能计算工作负载（如计算流体动力学、天气模拟、基因组学和分子动力学等）提供了超高的性价比。与采用Graviton2处理器的当前一代C6gn实例相比，Hpc7g实例的浮点性能提高了2倍，与当前一代Hpc6a实例相比性能提高了20%，让客户能够在多达数万个内核的高性能计算集群中进行复杂的计算。Hpc7g实例还提供高内存带宽和200Gbps的EFA （Elastic Fabric Adapter，弹性结构适配器）网络带宽，可以更快的运行并完成高性能计算应用。客户可以通过开源的集群管理工具Amazon ParallelCluster使用Hpc7g实例，与其它实例类型一起配置Hpc7g实例，这让客户在同一个高能性计算集群中灵活运行不同的工作负载类型。

C7gn实例为网络密集型工作负载提供极佳性能，具有更高的网络带宽、更高的数据包转发性能和更低的延迟

客户使用Amazon EC2网络优化型实例运行其要求极其严苛的网络密集型工作负载，如网络虚拟化设备（包括防火墙、虚拟路由器和负载均衡器等）和数据加密业务等。客户需要为这些工作负载扩展性能，以处理不断增加的网络流量来应对业务高峰，或者缩短处理时间为最终用户提供更好的体验。当前，为获得更多的网络吞吐量，客户采用更大型号的实例，部署远高于需求的计算资源，导致成本增加。这些客户为减少数据处理时间，需要更高的数据包转发性能、更高的网络带宽以及更快的加密性能。

C7gn实例采用新的、具有网络加速功能的第五代Nitro，在Amazon EC2网络优化型实例中具有最高的网络带宽和数据包处理性能，而且功耗更低。Nitro卡将主机CPU的I/O功能卸载到专门的硬件并进行加速，将Amazon EC2实例的所有资源几乎都提供给客户的工作负载，从而以更低的CPU利用率实现更稳定的性能。新款Amazon Nitro卡使C7gn实例的每个CPU提供高达2倍的网络带宽，将每秒数据包处理性能提升50%，与当前一代网络优化型Amazon EC2实例相比，进一步降低了EFA网络延迟。与C6gn实例相比，C7gn实例提高了多达25%的计算性能及多达2倍的加密性能。第五代Nitro比第四代Nitro效能功耗比提升40%，进一步降低了客户工作负载的能量消耗。C7gn实例通过扩展网络性能和吞吐量以及减少网络延迟，优化了客户在Amazon EC2上要求最严苛的网络密集型工作负载的成本。

Inf2实例专为部署当今最严苛的深度学习模型而设计，支持分布式推理和随机舍入算法

为提供更好的应用或者更加定制的个性化体验，数据科学家和机器学习工程师正在构建更大、更复杂的深度学习模型。例如，越来越普遍的超过1,000亿个参数的大型语言模型（LLM），由于它们需要巨量的数据进行训练，这推动了对计算需求的空前增长。虽然训练备受大家关注，但在生产中运行机器学习，大部分的复杂性和成本却在推理上（例如，每花1美元用于训练，将有多达9美元用于推理），这限制了推理的使用并阻碍了客户创新。客户希望在其应用中大规模使用先进的深度学习模型，但却受限于高额的计算成本。当亚马逊云科技在2019年推出Inf1实例时，深度学习模型具有数百万个参数。此后，深度学习模型的规模和复杂性呈指数级增长，甚至有些深度学习模型的参数增长了500倍，超过了数千亿。致力于使用最先进的深度学习技术，开发下一代应用的客户，希望拥有高性价比、高能效的硬件，实现低延迟、高吞吐量的推理以及灵活的软件的支持，让工程团队能够快速大规模地部署其业务创新。

Inf2实例，配备了Amazon自研的最新款Inferentia2机器学习加速推理芯片，可以运行高达1,750亿个参数的大型深度学习模型（如LLM、图像生成和自动语音检测），同时在Amazon EC2上提供最低的单次推理成本。Inf2是第一个支持分布式推理的推理优化型Amazon EC2实例，该技术将大型模型分布在多个芯片上，为参数超过1,000亿的深度学习模型提供极佳性能。Inf2实例支持随机舍入，这种以概率方式进行四舍五入的方式与传统的四舍五入相比，能够提供更高的性能和更高的精度。Inf2实例支持广泛的数据类型，包括可提高吞吐量并降低了每次推理功耗的CFP8，和可提升尚未利用到低精度数据类型模块性能的FP32。客户可以通过用于机器学习推理的统一软件开发工具包Amazon Neuron开始使用Inf2实例。Amazon Neuron与PyTorch和TensorFlow等流行的机器学习框架集成，帮助客户仅需少量代码改动就能将现有模型部署到Inf2实例。由于大型模型需要多个芯片支持，芯片之间需要实现快速通信，Inf2实例支持亚马逊云科技的实例内部高速互连技术NeuronLink，提供192GB/s的环形连接。与当前一代Inf1实例相比，Inf2实例提供了高达4倍的吞吐量，降低多达10倍的延迟，与基于GPU的实例相比，它的每瓦性能提升高达45%。

Arup（奥雅纳）是一家由设计师、工程与可持续发展咨询师、顾问和专家组成的全球性公司，致力于践行可持续发展，并利用想象力、技术和严谨的态度来建造一个更美好的世界。“我们使用亚马逊云科技的服务来运行高度复杂的模拟，帮助我们的客户建造下一代高层建筑、体育场馆、数据中心和关键基础设施，同时对影响大家生活的城市微气候、全球变暖和气候变化进行评估并提供洞察。” 奥雅纳高级工程师SinaHassanli博士说，“我们的客户希望能以更低的成本进行更快、更准确的模拟，以便在开发的早期阶段为其设计提供信息。我们期待借助更高性能的Amazon EC2 Hpc7g实例，帮助我们的客户实现更快、更有效的创新。”

Aerospike公司的实时数据平台旨在帮助组织构建应用程序，以打击欺诈、支持全球数字支付、为数千万客户提供超个性化的用户体验等。“Aerospike 实时数据平台是一个无共享（shared-nothing）、多线程、多模态的数据平台，旨在通过服务器集群高效运行，利用现代硬件和网络技术，为PB级数据以亚毫秒的速度提供可靠地高性能。”Aerospike 首席产品官LenleyHensarling表示，“在我们最近的实时数据库读取测试中，我们很高兴看到，采用新一代Amazon Nitro的 Amazon EC2 C7gn 实例与 C6gn 实例相比，每秒交易量显著提升。我们期待着C7gn 实例以及未来更多亚马逊云科技基础设施提升带给我们的诸多优势。”

Qualtrics是一家设计和开发体验管理软件公司。“Qualtrics的重点是借助技术创新，缩小客户、员工、品牌和产品之间的体验差距。为实现这一目标，我们正在开发复杂的多任务、多模态的深度学习模型，包括文本分类、序列标记、话语分析、关键短语提取、主题提取、聚类以及端到端对话理解等。”Qualtrics 核心机器学习负责人 Aaron Colak表示，“随着我们在更多应用程序中使用这些复杂的模型以及非结构化数据量不断增长，为给客户提供最佳体验，我们需要像Inf2 实例这样性能更高的推理优化解决方案，来满足我们的需求。我们很高兴看到新一代 Inf2 实例的推出，它不仅让我们实现更高的吞吐量，显著降低延迟，而且还引入了分布式推理和支持增强的动态形状输入等功能。随着我们部署更大、更复杂的模型，这将能进一步满足我们对部署的更高要求。”