迎战海量数据处理的难题，开拓数据价值的星辰大海｜亚马逊云科技re:Invent北京站从四大角度解读云服务创新

第十一届的亚马逊云科技re:Invent大会上个月已经在拉斯维加斯成功召开，5场主题论坛、数百场分论坛和丰富的技术应用展示，让5万多线下参与者和超过30万的线上观众大饱眼福。而在上周，亚马逊云科技在北京召开了re:Invent中国媒体沟通会，亚马逊云科技大中华区产品部总经理陈晓建先生从云原生数据战略、云安全、云底层技术创新和全新应用程序四大角度，为我们解读了今年re:Invent的发布重点内容。

亚马逊云科技大中华区产品部总经理陈晓建

云原生数据战略：应对浩瀚无垠的数据挑战

数据爆炸到今天已经不是一个未来的，而是现实。分析师判断未来5年所产生的数据是整个数字时代所产生数据的重量两倍还要多。如何去管理海量数据，挖掘数据的价值，对每个企业来说一方面是巨大的挑战，另一方面也蕴含无限的价值。

陈晓建表示，数据是整个应用程序业务逻辑的核心，几乎是每个组织数字化转型的基石，但处理数据非常棘手，这也是亚马逊云科技一直致力于建设一个云原生的数据战略的原因。亚马逊云科技在云计算领域也颁布了第一个云原生的数仓Amazon Redshift，还包括第一个专门构建的数据库服务Amazon DynamoDB。经过多年的发展，亚马逊云科技提供了一个端到端的数据战略，帮助客户从数据的摄入、存储、查询、分析，到可视化的展现，以及到人工智能，在各个方面通过安全、合规的方式帮助客户实现数据的共享和输出。

“我们希望提供的所有工具，能够帮助客户在整个数据全生命周期从存储到最后的AI人工智能，在每个环节都能帮助用户把数据利益最大化，通过提供完整全面的数据解决方案，可以帮助客户更安全、更高效的去挖掘数据价值。”

Gartner发布的《云数据库管理系统魔力象限》报告，连续8年将亚马逊云科技评为领导者企业，今年也同样在战略前瞻性和市场执行力方面获得了最高分。针对如何构建一个云原生的数据战略？亚马逊云科技认为有三个关键因素：

第一，需要去建立一个面向未来的数据底层基础设施。 第二，需要实现一个跨组织的数据一体化融合。数据不再是一个个烟囱式的孤岛，而是一个完整的打通的大的数据库。 第三，能够通过教育和工具，来实现数据的普惠化，来降低数据使用的门槛，让更多的人可以从浩瀚的数据中获益。

而要打造一个云原生的端到端的数据战略，分为三个部分。

需要构建一个极致的性能。 第二，要有一个轻松和无处不在的连接，不光是亚马逊云科技各种云服务之间的连接，同时也通过AppFlow、通过Data Wrangler，能够让客户自由地、简便地去连接到外部的各种数据源。 第三，通过数据的普惠化、智能化、各种培训以及工具的能力，能够降低用户去使用数据的智能化服务的门槛，让更多的人可以从中受益。

在本届的re:Invent大会上，亚马逊云科技发布了诸多和数据相关的服务。例如Amazon Athena for Apache Spark，让用户可以像使用Amazon S3一样，方便地通过Amazon Athena来使用Spark。短短一秒钟之内，就可以在Apache Spark运行一个交互式的数据分析服务。

另外一个功能叫Amazon Redshift Integration for Apache Spark，用户可以通过像EMR、Amazon Glue这样的Spark引擎来消费Amazon Redshift里面的数据。和目前Amazon Redshift和Spark之间的连接方式相比，优化的技术可以使得Spark引擎对Amazon Redshift数据抽取性能提升10倍之多。

数据库方面也有一些新的特性的发布，譬如Amazon DocumentDB的Elastic Clusters，它可以把单个节点通过横向水平扩展而扩展成一个集群。把Amazon DocumentDB的存储容量从64TB一下子拓展了32倍，到两个PB这么多。同时标准的Amazon RDS也进行了很多读和写的优化。通过本次发布的特性，新版本的Amazon RDS的写性能是之前颁布产品的两倍，读性能可以提升50%。

另外， Amazon SageMaker今年新发布的功能支持地理空间数据学习，用户只要单击几下，就可以从Amazon SageMaker访问不同的数据源上面的地理空间数据。此外本次亚马逊云科技也推出了Amazon SageMaker ML Governance，由Role Manager、Model Cards和Model Dashboard三个工具组成。

更为令人期待的发布是Amazon OpenSearch Serverless，这一服务补全了亚马逊云科技8年前发布的Serverless至今的最后一块拼图。Amazon OpenSearch可以和MSK一起配合，对实时数据进行需求大数据分析，对用户来说使用成本更低。

为了让机器学习变得更加普惠，亚马逊云科技推出了通过自然语言与Amazon QuickSight的交互功能——Amazon QuickSight Q。通过这一功能，用户可以用更自然、简单易用的方式来和QuickSight交互。

云安全：从底层硬件到上层服务的安全构建

随着海量数据的产生，与数据处理挑战而来的，还有客户对于数据安全方面的担忧。相比起数据挖掘，安全应该是优先级更高的工作。陈晓建从四个方面为大家诠释了亚马逊云科技的在安全方面的工作。

第一，如何帮助客户快速提升安全水平？

亚马逊云科技云安全整个合规有一个责任共担模型。亚马逊云科技在底层整个实现和架构方面，能够实现尽可能的安全，包括加密，用户始终拥有自己的数据，并且能够加密移动和管理保留这些数据。

一个典型的案例就是“Nitro卡”。Nitro有一个Enclaves的特殊硬件环境，这个硬件环境有一个非常好的隔离。Nitro还有一个TPM的芯片，是专用的安全芯片，可以让用户更好地依赖于TPM的一些应用程序和操作系统。

第二，如何降低安全的成本？

在本次re:Invent大会中，亚马逊云科技发布了Amazon Verified Permissions，通过将授权和业务逻辑分离，来加速应用程序的开发，通过把全新的集中和自动化的分析，来简化合规的审计工作，通过动态的自动授权，来构建一个零信任架构的应用程序。

第三，如何减少安全事件的处理时间？

在本次re:Invent大会上，亚马逊云科技发布了Amazon Security Lake。这是业界第一个为了安全所专门定制的一个数据湖，它可以通过汇聚分析和响应来自于亚马逊云科技云服务、用户自身的业务、和其它安全合作伙伴的数据，来构建一个数据湖，为安全分析提供价值。

另一个新特性是Amazon GuardDuty RDS Protection。Amazon GuardDuty是一个威胁检测服务，它内在的机器学习能力可以帮助客户去智能地监控其帐号和所有工作负载，看这些服务里是不是有安全风险。

第四，怎样提升安全效率？

在此次re:Invent上，亚马逊云科技发布了External Key Store（XKS）for Amazon KMS，这项功能的好处在于已经和100多项亚马逊云科技的云服务集成了，用户可以不用再去做一些烦琐的自己集成的开发工作，就可以使用自己的密钥管理系统。

此外，Amazon Macie的自动数据发现功能，可以自动、智能地对Amazon S3里的对象进行采样和分析，来发现里面的敏感数据。用户可以对自己的存储空间里到底存在哪些敏感信息有一个直观感受，用户数据治理的效率相信会得到大大提升。

陈晓建表示，亚马逊云科技将持续在安全中投入，亚马逊云科技理解安全对于用户业务的重要性，将通过更好的配置、更好的工具、更智能的分析以及更好的监控和警告机制，帮助用户在云中提升安全的态势。

云底层基石：高性能芯片+极速构建云原生应用+HPC服务

一切云服务都要跑在底层的硬件上，而硬件的能力和效率，也决定了用户的上层服务的使用成本和能耗。因此，要成为好的云服务商，必须要具备领先的底层能力。而陈晓建将亚马逊云科技的底层基石，分为三个部分：第一，极致性能的自研芯片；第二，极速构建的云原生的应用；第三，面向极限未来的HPC的服务。

第一：极致性能的自研芯片

Annapurna(安纳布尔纳峰)是一座在喜马拉雅群山中海拔8091米的极高峰，也是亚马逊云科技自研芯片团队的名字，通过10年的努力，亚马逊云科技构建了3条自研芯片的产品线——四代定制化芯片Nitro，三代基于ARM架构的CPU处理器Graviton，还有两款用于机器学习训练和推理的芯片。

在此次re:Invent大会上，亚马逊云科技发布了最新的第五代Nitro。据悉，Nitro V5晶体管数量是上一代Nitro的两倍，整个数据包的转发能力提升了60%，延迟减少了30%，每瓦特的性能提升了40%，所以V5的性能确实称得上威武。

Graviton也发布了Graviton3E，是 Graviton 3 家族的最新成员。新一代专门为浮点和向量指令运算进行了优化，这些工作在整个高性能计算之中是非常重要的。从用户场景来看，在HPC新一代数据测量工具上，Graviton 3E相比于Graviton3有35%的提升，在分子运动分析场景上性能可以提升12%，在金融期权定价方面可以提升30%的性能。

配合最新的芯片Nitro V5和Graviton3E，亚马逊云科技为客户带来了最新的实例C7gn。C7gn这个实例最适合用的场景是网络密集型的负载，具有最高的网络带宽和最低的延迟。同前一代整个网络优化的实例相比，提供了200Gbps的整个网络带宽和50%的数据包处理能力的提升。

在训练方面，亚马逊云科技计划推出一款基于Trn1的一个网络优化型实例Trn1n，进一步把网络带宽增加一倍，从800GB跃升到1.6个TB，通过强大的网络吞吐能力，能够将超过1万个Traniumn芯片构建在一个超大规模集群里，对超大集群进行并行训练。

在推理方面，亚马逊云科技推出了下代自研推理芯片Inferentia2以及基于此的Amazon EC2 Inf2实例。Inf2实例是唯一一个专门为了大型transformer模型，所做的模型分布式推理建立的实例。和Inf1实例相比，Inf2实例整个吞吐量提升了4倍，延时只有十分之一。每瓦性能提升达到45%，同时也支持类似于GPT-3，Mask R-CNN、VIT等等这样超大型的复杂模型。

第二：极速构建的云原生的应用

亚马逊云科技通过自身的电商云原生改造经历，以及16年服务数百万个客户的云原生的经历，总结了一套迈向云原生的治理经验，包括构建、治理和迭代三个阶段九个环节的旅程。

构建阶段，一切皆代码。通过代码来定义和管理所有类型的资源。比如说CDK可以把所有的基础设施面向对象的编程语言描述出来，交给系统自动维护。

第二、治理阶段，安全团队和开发和运行团队集成，避免让安全成为整个流水线中的瓶颈。通过Amazon GuardDuty对Amazon S3、Amazon EBS、对Amazon Aurora进行持续监控，能够预先发现系统的安全隐患并且加以解决来保证业务的安全性。

第三、持续迭代的阶段，很多平台型服务一旦构建之后，不光可以为自己所用，也可以把其共享给团队内其他业务团队所有。比如说数据库、消息队列、API网关、缓存等，通过EKS Blueprints可以构建为共享服务平台，让一个服务为更多的其他组件受益。

最有名的案例就是Amazon Lambda，这一服务从2014年推出以来备受客户的喜爱，每个月的月活用户超过百万，每个月函数的调用次数超过10万余次。此次最新的改进在于对“Java开发Amazon Lambda函数的冷启动”的优化。新的Amazon Lambda SnapStart可以大幅降低Amazon Lambda函数的冷启动延迟，并且没有额外的成本。Amazon Lambda SnapStart的工作原理是，在整个函数新建和创立的时候对整个Micro VM进行一个快照，当函数调动的时候，不会去重复整个冷启动过程，而是直接通过快照快速加载。

CodeCatalyst这一新推出的工具则是对于DevOps理念的最好诠释，这一工具提供了完整的项目管理，自动化的流水线高效开发和调试集成等能力。用户可以通过简单的拖拽就可以建立业务程序的架构，从而解决了不同团队不同角色，或者一个团队多个角色的运维和开发难题。

第三：面向极限未来的HPC的服务

关于HPC服务，客户关注三个方面。首先，客户需要最适合HPC的计算实例。其次，为了配合HPC还需要有网络、存储等诸多配套资源支持。第三、需要有很强的资源编排系统、算力编排系统支持HPC的工作。

计算实例方面，亚马逊云科技此次推出的HPC7g就是专门为了高性能的计算工作而设计的，非常适合计算密集型的HPC应用，比如说计算流体力学、分子动力学和天气模拟等等。此外亚马逊云科技还提供了搭载英特尔或AMD芯片的HPC实例，用户可以根据自己的需求来自由选择。

在网络数据传输方面，SRD是亚马逊云科技自己开发的网络协议，可以使用多条路径并行地为统一数据流提供服务。SRD可以带来极高的网络吞吐量和极低的延时，以及更高的可靠性。任何一条路径如果出问题不会影响整个流量的中断。

在仿真方面，Amazon SimSpace Weaver是全新推出的服务，最大的好处是可以在云端进行大规模并行空间模拟，用户不用担心单个节点物理上的硬件限制。据悉，SimSpace Weaver非常擅长模拟人群，可以自动地把这个模型分配到多个不同节点，并且还有最大的好处是同一个物体在不同区域里是可以来回走动的。

开箱即用的应用程序：将AI/ML植入到行业解决方案

要帮助客户完成极限的挑战， 为客户提供好用易用的应用程序是最直接的方式。作为本次演讲的最后一部分，陈晓建介绍了四大产品相关的解决方案。

第一：Amazon Clean Rooms

技术创新的锚点通常诞生于不同行业和领域的相互交汇和碰撞之中，但是这样的创新会带来很大的挑战，关键在于如何保证数据和业务的沟通互相打通同时又保证安全性。

Amazon Clean Rooms可以帮助多方协同者在亚马逊云科技环境下安全地进行数据协作，但是不需要担心自己源数据的泄露。用户的数据可以放在不同的Amazon S3的存储桶里，不需要暴露用户和数据，只需制定一些符合开放原则的查询规则即可。

Amazon Clean Rooms有着非常普遍的应用场景，最常见的就是精准网络投放。没有人愿意把原始数据告诉对方，这个时候就可以很方便地使用Amazon Clean Rooms来实现数据的协作，但是又不暴露彼此的原始数据。

第二：Amazon Omics

Amazon Omics是为了医疗从业者基于组态的数据协作提供绝佳的合作平台。医疗数据有它自己的特点：数据量大，同时隐私性极强。

客户通过Amazon Omics实现多组学多模态的分析，从而把更多维度的数据和个人基因结合，能够为每个个体产生定制化服务，并且这些服务都是严格按照GDPR或者HIPPA这样的医疗行业相关的数据安全规范所实现的。

Amazon Omics有着非常丰富的应用场景，包括大规模的群体测序，可构建可复用和追溯的临床基因工作流和提升临床基因的工作质量等等。

第三：亚马逊云科技自身的能力

首先是Amazon Connect，这是一个线上的呼叫中心云服务。客户只要在控制台里点击几下就可以构建这样的服务。座席代表可以在几分钟之内从世界各地任何地点进行对话，客户也可以根据需要实时动态地去扩大或者缩小整个呼叫中心规模。

针对Amazon Connect，亚马逊云科技推出了三项新创新。第一是通过机器学习预测和容量规划和调度，帮助管理人员优化计划。二是客服绩效管理功能，通过一些实时分析帮助呼叫中心管理者能够更好地认识到员工绩效，并且指导如何去帮助员工。最后是客服指南，通过交互指导帮助客服更有效更好地解决用户打过来的问题。

Amazon Supply Chain是从亚马逊云科技自身能力开放出来的一个新服务，这是一套非常强大和完善的物流供应链管理系统。客户只需要点击几下就可以连接到相关的各种供应链数据，然后有这么多数据之后，Amazon Supply Chain会通过机器学习模型自动地进行ETL处理，来建设一个统一的数据湖。数据到位之后，Amazon Supply Chain也可以提供全景的视图，呈现各种可视化的深度分析，来帮助客户更好地进行优化降低风险和成本。

结语

此次亚马逊云科技re:Invent发布了大量的新的特性、服务、工具和产品，浓缩起来仍然是内容非常之多。而陈晓建将其总结为五点：

· 十年领跑，硬件创新进入加速期

· 全面引领Serverless和云原生

· 构建云原生端到端战略

· 持续增强安全性

· 赋能行业，创新突破

自从亚马逊云科技发明云服务以来，数年的时间里，云服务改变了企业的决策机制，并提高了整个行业的创新速度。未来，云服务将继续带来颠覆性变革，而亚马逊云科技将与各行各业的“探路者”企业一起，在极端环境下充满信心应对挑战，畅想未来的无限可能。