夯实云计算底层系统基石 UCloud不断演进全球基础架构能力

2019年5月28日， 国内领先的中立云计算服务商UCloud优刻得（以下简称UCloud）在北京召开以“中立安全、赋能产业”为主题的UCloud用户大会暨Think in Cloud北京大会。

本次大会上，UCloud基础架构平台线总经理王凯，分享了UCloud对于云计算基础架构的深度洞察和设计能力，并介绍了综合性的企业级云计算基础架构解决方案。

基础架构是云计算底层系统的基石，是底层实力。

云计算基础设施的稳定和可靠，是云计算公司的底层实力。王凯表示：“如果云计算产品未来提供的是IT信息化综合服务，那么基础架构就是云计算底层的系统基石。”

王凯介绍，相对于云产品，基础架构有两个特点，第一是基础架构模式重，因为它不同于一般的软件架构，而是需要大规模重资产的基础物理建设；第二是基础架构建设节奏慢，因为它处于系统底层，就意味着上层有诸多应用，这些应用不容易被编排和改造，为了避免底层的变化会影响上层应用，基础架构要相对稳定。

基础架构这两个特点，决定其在整个设计、规划、建造过程中，需要更多更丰富的经验，还要有更加前瞻的视野。

UCloud在成立以后的七年里对整个基础设施建设持续重大投入，并形成了自己的建设思路 “给客户提供最合适的基础设施”。

王凯回顾了UCloud数据中心建设过程。早期，UCloud客户主要集中在北京、上海、广州、香港这些城市，UCloud在这些核心节点建设了数据中心；2016年-2017年，随着用户出海业务的迅速发展，为了给出海企业拓展提供帮助，UCloud迅速布局了整个海外节点；随着自身业务发展和体量持续扩大，以及大型、超大型数据中心技术成熟，网络接入节点仍然在核心区，而存储和高密计算根据延时需求，逐渐倾向部署在非核心区，可以利用更好的自然环境和土地、电力条件，以获取更低的运营成本和更高的经济效益。

此时；差异性、定制化基础设施成为客户的诉求。鉴于对客户需求的个判断，2018年UCloud建设了福建GPU可用区，专门为AI和高密计算提供支持；同时还正在开工建设北方的乌兰察布数据中心，充分利用当地自然条件等优势，将作为低成本、可定制的基地型数据中心，为北方地区的计算、冷存储业务提供支持。

基础设施是点，物理网络是信息通道，大容量、全球化且高可用的业务诉求对物理网络的提出了极高的挑战。

超大型的数据中心和全球化的趋势对物理网络提出了更高的要求。基于这样的挑战，UCloud首先发布了物理网络的DCN4.0架构。

该架构有三个特点：

第一是弹性高容量，DCN4.0架构采用3级CLOS架构，支持20K到80K个物理节点接入；

第二是高速网络，DCN4.0架构使用25G接入设计和100G的网络核心汇聚设计，支持1：1的收敛比，使用无损以太网技术，充分保证DC内部充足的带宽和极低的时延；

第三是采用POD设计，王凯介绍：“数据中心的建设迭代过程很慢，但在软件的不断迭代中，我们又希望对软件不断升级的网络架构需求提供支持。”UCloud将积累的网络设计能力产品化，抽象出来形成POD，单个POD提供一致的网络能力，将内部分区的架构设计转化成网络对内的产品能力，兼顾成本、架构设计演进、创新三者平衡。

网络工程师工作一年抵不上民工一铲子？物理网络要求高可用

“解决了容量问题，我们接下来是关注数据中心高可用”王凯介绍：“网上有个段子，网络工程师工作一年，抵不上民工一铲子。”这句话指的基础设施高可用非常难，城域网的光缆经常出现这样那样问题。

为了保证数据中心高可用性，避免其受不确定因素影响，UCloud在2018年新推出的网络城域网架构，将原来的2pop升级为3pop，整个单数据中心的可用性从原来的6个9提升到了9个9，全年数据中心理论“不可用”的时长从3分钟变成了0.09秒。

针对城域网，UCloud发布了DC Group架构。DC Group架构将地理位置相近的DC通过full-mesh的结构联系起来，作为同一个AZ对外提供服务。这样形成了三个优势，第一是低延时，距离十公里以内的DC延时可以控制在0.2毫秒，相对业务是无感知的。第二是通过冗余和带宽，通过100G和400G的高密度波分，对DC Group之间的数据中心提供了6.4T的大带宽，保证了整个业务的流量。第三是滚动升级持续扩容，当原有数据中心不够用时，可以通过新建新一代DC的方式，满足新业务在原AZ里上线的要求，同时将新数据中心的产品架构挂在在原有的DC Group进行升级扩容，兼顾整个数据中心生命周期和容量管理。

针对广域网，发布四个产品架构，包括三个广域网架构，一个边缘网络架构。其中，广域网三个架构是洲际节点、UTN网络、UBN网络，洲际节点主要负责多地区internet的带宽接入，目前在23个地区有30+BGP出口，在海外拥有近1T的带宽；UTN网络是多业务传输网，它与UCloud全球基础设施和起来，甚至可以让客户通过UTN和UCloud全球基础设施打造属于自己独立的全球基础架构；UBN网络是UCloud在UTN之上搭建的数据网，主要是实现流量调度功能，包括Anycast和分布式DDos的功能都是在这张网络上落地。

王凯还重点介绍了UCloud“罗马”网络产品，罗马依托于UTN、UBN、UDPN网络、UCloud全球加速节点，甚至其他的运营商资源共同搭建而成，核心价值是为客户提供就近接入和链路动态调度，主要应用场景是实现最后一公里接入、极速的多云互联和廉价的广域网全球加速。

从数据中心的DCN到城域网的3POP、DC Group，再到广域网的UTN、UBN和洲际节点，最后到边缘的罗马产品，UCloud基于对网络架构的理解，为客户提供了一套完整综合的解决方案。

虚拟网络，既是难点又是核心技术点

“虚拟网络是云计算的难点，也是一个核心技术点。”

2012年，UCloud开始使用虚拟网络，采用EBTables和IPTables的组合架构做用户隔离，但是UCloud的团队很快发现这个技术方案不足以向客户提供安全、稳定的服务。2013年，UCloud的虚拟网络开始采用SDN技术实现租户隔离，也就是VPC(Virtual Private Cloud)。同时将第一代虚拟的SDN交换机引入，将物理机设备引入公有云体系；2014年和2015年，为了性能优化，引入了DPDK高性能网关；2016年和2017年，升级VPC2.0，将原有的经典网络和VPC1.0网络客户，在客户没有感知的情况下，全部无缝升级到VPC2.0。使用包括IP跨AZ漂移、ULB跨AZ挂载等特性。

创新升级为客户创造了更好的使用体验，但UCloud远远没有止步于此。随着云计算行业发展，传统企业的云业务场景，给虚拟网络的自身的健壮性，高性能和易用性提出了更高的要求，应对这些诉求，2018年UCloud推出包括UXR、智能网关和IPv6三大特性的下一代网络架构VPC3.0，目前还在考虑构建下一代架构VPC4.0。

UXR具备路由和解耦特性，使UCloud虚拟网络可以将公有云、物理云、托管云等各个独立分区以及对外接入网关全部通过UXR互联，这样既实现了各个业务模块的解耦，又确保每个分区都可以基于自己规模扩展，以此确保整个网络的平行拓展和对外的连接，真正实现网络的分区路由。同时通过使用可编程芯片交换机，ucloud上线了国内首家线上自研虚拟网络汇聚路由器，确保了6.5T 128字节稳定线速转发，保证了核心虚拟网络设备的高速性能。

智能网关是在UCloud原有的宿主基础上使用智能网卡，将原有的虚拟网络封装和转发功能移交到智能网卡，通过部分硬件卸载的方式完成，通过这种方式使转发能力提升整整10倍。这个方案的另外一个优势可以统一VPC内部架构，将公有云和未来单机的Bare Metal设备在功能和拓扑上一致，客户不用区分云主机和物理机的差异。

IPv6方面，UCloud目前已经通过NAT64实现了IPv6转化服务接入，同时还通过可编程交换机开发了ulb7，实现整个IPv6的负载均衡接入。VPC3.0架构还支持整个IPv6的主动式流表下发，这就意味着UCloud可以无损支持纯的IPv6网络。

云计算不是冰冷冷的技术，更是IT基础架构的服务，客户需要的不光是单一产品，更是全方位的解决方案。通过7年的积累和完善，除了技术和资源，UCloud还积累了丰富的海量运营的体系经验，包括：多维度立体化的监控体系、海量资源的全生命周期管理、全球数据中心自动化持续交付流水线、高效稳定SRE运维支撑、全流程的持续服务改进和极致可靠的安全防护。

王凯认为，整个基础架构体系，体现了UCloud漫长的技术积累，是包括资源整合的能力、架构优化能力、技术研发能力、海量运营能力在内的综合能力体现。在产业升级大趋势中，UCloud将继续随业务成长，不断演进全球基础架构能力并对外综合输出，为上层业务和客户提供服务，赋能产业变革。