让生成式AI重塑千行百业,亚马逊云科技拓展从底层芯片到顶层应用的全面布局
扫描二维码
随时随地手机看文章
亚马逊云科技(AWS)是云服务的发明者,而一年一度的AWS re:Invent大会,也被视为是云服务行业的风向标。随着近日在美国拉斯维加斯的大会落幕,亚马逊云科技也马不停蹄地展开了re:Invent的中国行活动,我们也满怀期待地参与了re:Invent中国行的北京站活动,并为大家带来其最新的云服务产品和技术动向。
据亚马逊云科技大中华区产品部总经理陈晓建介绍,本次re:Invent大会上一共发布了200多项新服务和功能,以及超过350项持续的更新。而此次北京站分享的重点落在两部分:一是从云计算的底层去重塑这些功能;二是如何利用生成式AI重塑未来。
图:亚马逊云科技大中华区产品部总经理陈晓建
重塑云计算底座,让计算更强大
AI为数据与计算带来更庞大的需求。而在不断增长的数据量以及越来越具挑战的功耗限制等双重因素影响之下,全球的数据中心与网络基础设施正面临着巨大压力。亚马逊云科技一方面不断增加数据中心的数量和分布,另一方面在存储和计算的底层技术上进行自研突破创新。
作为全球最大的云服务商,亚马逊云科技的数据中心数量比行业第二名多三倍,服务数量多了60%,功能多了40%。
而在存储方面,Amazon S3已经支持了全球数百万用户的各级存储需求,但随着数据密集型应用增加,在一些应用上对于数据访问的速度提出了更高的要求,客户可能要达到每分钟数百万次的数据集访问,每一毫秒的延迟都会对其业务产生影响。针对这些用户对于高性能存储的需求,亚马逊云科技此次推出了全新的高性能对象存储——Amazon S3 Express One Zone。
据悉,Amazon S3 Express One Zone是采用专门设计的软硬件来实现数据加速处理,同时能够以一致的毫秒级延迟处理每分钟数百万次的请求,相比Amazon S3标准存储快了10倍,同时请求成本降低了50%。从实际客户案例来看,这项新存储服务帮助Pinterest提升了10倍以上的写入速度,并将其机器学习驱动的视觉灵感引擎的总成本降低了40%。
图:Amazon S3 Express One Zone工作原理
除了存储外,高性能计算依赖于高性能的芯片。为了缓解未来基础设施的压力,行业需要依赖强大的生态系统,在高效、可扩展的多核计算基础上,打造专用处理的能力。
而为了提高云服务的能效表现,亚马逊云科技早在几年前就着手开始自研芯片,包括服务器级CPU、专用推理芯片和训练芯片,并且成功将诸多服务部署在自家高性能计算芯片上,帮助客户进一步节约了业务成本。
值得一提的是,此次re:Invent大会上发布的全新的Amazon Graviton4芯片,该芯片采用了96个Neoverse V2核心,每个核心独享2MB的L2缓存,内存方面提供12个DDR5-5600通道。相比上一代,Amazon Graviton4的平均性能提升30%,对某些工作负载的加速更明显,数据库应用程序速度提升40%,大型Java应用程序速度提升45%。
图:Graviton3和Graviton4
据陈晓建介绍,基于Amazon Graviton 4的Amazon EC2 R8g实例的预览版已经推出。而基于Amazon Graviton3的Amazon EC2 C7g、M7g、R7g实例在亚马逊云科技中国(北京)区域和中国(宁夏)区域也已经正式可用,将为中国客户带来提供更高性能、更快内存,以及更加节能的体验。
图:EC2 R8g实例
推进无服务器服务创新,让云服务更易用
对于绝大多数客户而言,无服务器(Serverless)提供了更好的成本效率。客户可以在业务高峰时拓展更多资源,而在低谷时降低资源占用,并且无需自己进行服务器维护升级,这使得整体投入和风险降低,并获得了更好的业务灵活性。
Serverless已经成为了云服务的必然趋势,而针对Serverless的重塑,也将支持到绝大多数客户的业务创新。亚马逊云科技也在re:Invent大会上宣布了三项无服务器服务创新,助力客户以任意规模分析和管理数据。陈晓建也在北京站的活动中针对这三大无服务器服务创新进行了分享。
首先是Amazon Aurora Limitless Database,正如其名字Limitless所言,它简化了跨单台服务器读写吞吐量限制进行扩展,能够让客户超越单个Aurora写入器实例的限制,扩展数据库的写入吞吐量和存储容量。对于大规模应用程序而言,客户无需再构建复杂的跨多个数据库的方案,可以实现真正意义上的无扩展上线的关系性数据库。
图:Amazon Aurora Limitless Database
而另一个新发布是Amazon ElastiCache Serverless,可以帮助客户在一分钟内创建高可用的缓存,并实时进行垂直和水平扩展以支持客户复杂的应用程序,且无需管理基础架构。
第三个新发布的服务是Amazon Redshift Serverless,它大大简化了数据库管理的工作,让企业的数据分析人员无需管理数据仓库基础设施即可轻松运行任何规模的分析工作负载,并且可根据多个工作负载维度自动调整资源并执行优化操作以完成客户预设的性价比目标。
而以上Serverless创新服务的基础,来自亚马逊云科技的关系型数据库服务Amazon Aurora。陈晓建也在此次活动中揭秘了Amazon Aurora得以支撑各种无服务器云服务的两大底层技术。首先是底层Grover系统,这一系统自2014年以来,帮助Amazon Aurora实现了数据和计算资源的分离,可提供跨多个可用区的数据持久化支持,能横向扩展读取副本,实现了数据库存储的无服务器扩展。另一个底层技术是“协同资源管理”的系统Caspian。自2018年以来,Caspian采取重塑全新的Hypervisor+热点调度系统的方式来工作,让Amazon Aurora serverless数据库可以在毫秒内响应变化的数据库负载并调整大小。
图:Grover让Amazon Aurora数据库存储系统IO需求显著降低
布局生成式AI三大层,助力各类客户重塑业务未来
从去年年底至今,生成式AI的热度不减。这一技术已经被视为是新一轮的生产力变革,无数领先企业纷纷思考和实践,如何在自己的业务中用好生成式AI,助力业务提升。而亚马逊云科技的目标,是让生成式AI降低门槛,让AI能力做到普惠,重塑千行百业,改变每个人的生活。
图:生成式AI三层架构
陈晓建表示,要实现生成式AI的业务赋能,需要考虑到方方面面的因素。包括如何兼顾规模与成本,真正让业务收益;如何选择最适合业务场景的模型,如何用企业自己的数据定制并快速行动;当然还有如何充分保护数据的安全隐私的前提下负责人的应用生成式AI。而要兼顾所有这些要素的实现,亚马逊云科技选择从生成式AI的三层架构进行全面布局。
首先是在底层,提供用于基础模型训练和推理的基础设施。亚马逊云科技在此次re:Invent大会上最新发布了第二代的自研训练芯片——Amazon Trainium2处理器,该芯片具有65 exaflops的按需超级计算性能,可以针对训练具有数千亿至数万亿参数的基础模型进行优化,相较上一代有了4倍性能提升。同时,亚马逊云科技也发布了全新的Amazon SageMaker HyperPod服务,可帮助客户大规模加速基础模型训练,缩短高达40%的训练时间,并可以确保持续数周或数月的不中断训练过程。
图:亚马逊云科技自研推理优化芯片和训练优化芯片
此外,亚马逊云科技还与英伟达强强联手,宣布达成多项最新合作。亚马逊云科技将提供首款搭载NVIDIA Grace Hopper超级芯片和亚马逊云科技UltraClusters技术的云AI超级计算机;首款使用NVIDIA最新芯片GH200 NVL32的NVIDIA DGX云也即将登录亚马逊云科技。双方还将共同开展“Project Ceiba”项目, 将全球最快的GPU驱动AI超级计算机和NVIDIA DGX云超级计算机用于NVIDIA AI的训练、研发、定制化模型的开发。这一超级计算集群中集成了1.6万个GH200超级芯片,可提供高达65 ExaFLOPS的惊人算力。
图:亚马逊云科技与英伟达合作推出全球首个云上GH200 AI超级计算集群
看完了在AI底层技术的布局,再来看下亚马逊云科技在中间层工具层的创新。工具层面的布局旨在帮助客户实现最贴近业务场景的模型选择和定制,实现更轻松的模型集成,同时还要确保数据安全和隐私。而Amazon Bedrock则是亚马逊云科技提供的利器,能够帮助客户利用大模型构建和扩展生成式人工智能应用的最简单方法。
图:Amazon Bedrock简化模型的选择、定制和集成
基于多年来的AI和ML的技术积累,亚马逊云科技为Amazon Bedrock提供全面的Amazon Titan模型,覆盖了客户从文本到多模态的业务场景。此次re:Invernt大会上,亚马逊云科技就一口气发布了四大新的模型:包括简单高效的文本聊天模型Amazon Titan Text Lite,支持开放文本生成和对话聊天的Amazon Titan Text Express,支持多模态数据的Amazon Titan Multimodal Embeddings,以及具备图像生成能力的Amazon Titan Image Generator预览版。
而对于某些客户而言,他们具有更强的研发能力,需要将AI模型与业务场景实现更紧密的耦合,来构建企业的差异化壁垒。针对这部分客户需求,亚马逊云科技为Amazon Bedrock新增了持续预训练功能,当前Amazon Titan Text Lite与 Express均已支持。此外,Amazon Bedrock还提供了微调功能,支持的模型包括Cohere Command、Meta Llama 2和Amazon Titan,并将很快支持Anthropic Claude 2。此外,Amazon Bedrock还新增了具有知识库的检索增强生成功能以及支持跨公司系统和数据源执行多步骤任务的代理功能。
在顶层的应用方面,亚马逊云科技带来一个有意思的AI助手——Amazon Q预览版。这不禁让我们联想到了007电影中神秘角色“Q”。作为邦德的御用军需官,他研发的五花八门的武器装备,无数次帮助邦德化险为夷。而Amazon Q同样也是用户的一个智能专家,它具备多重化身。一方面,它是一个云应用专家,可以解决各种云服务相关的专业问题,并为用户提供切实可行的实施代码以及代码转换功能,帮助加速应用的维护和升级。另一方面,它又是一个企业业务专家,企业可以轻松将其连接至其业务数据和系统中。此外,它还是一个商业智能专家,支持将其引入多种服务和应用中以提供基于生成式AI的帮助。同时,它还是一个联络中心专家,能够根据实时对话检测客户问题,并能够自动回复、给出建议以及提供相关资料。
图:Amazon Q
而除了上述提到的强大模型能力,生成式AI还需要拥有一个强大的数据底座。一个强大的数据基石,能够让企业的数据在不同的环境之中打通、在不同的产品之间流通。而亚马逊云科技所提供的是一个完整的全面的端到端的数据服务,从Amazon S3、Amazon Aurora、Amazon DynamoDB到各式各样的托管数据库均有所支持。而在此次活动上,亚马逊云科技还宣布将新增对另外一种商用数据库的支持——Amazon RDS for Db2。生成式AI时代,客户需要将向量数据和业务数据存储在一起,于是,亚马逊云科技的服务中启用了向量检索。包括在Amazon OpenSearch Serverless、Amazon DocumentDB和Amazon DynamoDB、Amazon MemoryDB for Redis中均新增了向量搜索的功能,客户现在可以借助这一功能实现更快速的向量搜素。此外,亚马逊云科技还推出了四项新的Zero-ETL特性,助力跨数据访问和分析更加高效便捷。
“无论您在业务中想要做什么,都需要端到端的业务能力,需要数据能够在整个全流程过程之中去进行最高效的流转,同时也需要数据的治理能力。”陈晓建分享到,“通过我们提供的Amazon Q、Amazon Bedrock,亚马逊云科技整个底层的能力就可以帮助我们每一个客户最合理的使用生成式AI,为业务赋能。”
结语
re:Invent即再造、重塑,这是一个持续的、没有终点的旅程。而在不断重塑的过程中,每个不同的阶段推动重塑的动能是不同的。当下,生成式AI无疑是实现业务再造升级的关键技术动能,而亚马逊云科技希望能够通过re:Invent,为客户突破复杂技术,用重塑实现科技技术的普惠,助力各类客户实现业务重塑。