浙江电信的5GC组网部署和实践探讨

5G核心网（以下简称5GC）是5G能否成功部署和顺利发展的关键，在整个中国电信CTNet2025网络重构工作当中，5GC的云化部署是一项重点工作。在坚持5GC控制面云化三层解耦的目标架构基础上，承载5GC的CT云资源池建设，除了要满足NFV网元的可靠承载及转发性能需求外，为应对5G面对不确定的业务、提供确定服务的挑战，5GC应以模块化、软件化、服务化的方式构建网络，应面向MEC提供灵活的适配能力，支持多DC架构，实现云边协同。

因此，中国电信股份有限公司浙江分公司（以下简称“浙江电信”）在建设5GC云化部署的CT云工作实践中，以5G业务特点为出发点，充分考虑了NFV云化部署后，5GC VNF为实现业务特性对DC网络基础架构高可用性、稳定性、安全性的特定需求，探讨了在统一云基础设施架构中，实现多业务承载的组网方案。

CT云主要用于承载NFV虚拟化的CT类网元（VNF），比如城域网的vBRAS、vCPE，4G的vEPC、vIMS，5G的AMF、SMF、UPF等。当前，DC云资源池内的Spine-Leaf组网是普遍方案，但与承载IT类业务的云资源池不同，CT云因其上CT类NFV网元的业务特性，功能上需要有一组Border-Leaf设备作为DC与WAN侧的边界，起到业务连接、路由收敛的作用。显然，CT云对这组网络设备的路由性能、收敛时间等有更高的要求。

一是大规模路由需求。Border-Leaf要处理所有南北向流量路由，要具备大规格FIB V4/V6路由能力，CT云的路由来源包括移动用户的动态/静态路由、企业VPN客户路由、家宽用户路由、WAN侧路由、基站侧路由，考虑到未来业务发展，路由需求通常在200K以上，而普通的交换机的路由规格仅为120K（V6）/256K（V4）左右，路由器的路由规格通常超过4M。

二是大规格BGP会话数与VRF数量。Border-Leaf需要分别建立与PE/VNF的BGP peer关系，交换WAN与DC间的路由，配置复杂的路由策略，要求很强的BGP会话能力。

Border-Leaf集中处理所有DC中Leaf下挂的业务VPN，而Leaf只需要处理本地下挂VNF的VPN。比如VNF业务VPN、企业移动VPN、传统网络VPN对接，因此Border-Leaf 对VRF、BD、BDIF的能力要求更高。

三是快速BFD收敛。Border-Leaf汇聚大量用户路由，要具备快速收敛能力，包括毫秒级BFD，设备发生故障时，通过BFD快速感知故障，加快收敛速度；路由快速收敛，设备发生故障时，要求快速刷新路由表。

四是丰富路由特性。Border-Leaf作为DC和WAN的网络边界，要适配各种复杂的WAN组网要求（DC多出口、路由策略控制、安全策略、QOS映射策略）。未来DC网络的演进，AI，SRv6等特性会走进CT云，需要Border-Leaf具备面向未来演进的能力。

对于5GC场景，Border-Leaf所承担的南北向连接需求主要有两个方面：北向连接，分别与ChinaNet、CN2 PE、IP RAN ER等进行对接，做综合接入与汇聚；南向连接，作为DC内5GC VNF的L3-GW，主要承担VNF南北流量转发，部分东西跨VPC的流量转发。

通过以上分析可以看出，CT云中的Border-Leaf从功能上，是一个服务于CT业务的跨专业连接设备，在设备形态上，推荐选用高性能路由器。但因其边界设备的特殊位置，必定会产生多专业交叉维护问题。如以上提到的北向连接与南向连接，从运营商传统维护界面的专业划分，就分别属于承载网专业与5G核心网专业的维护范畴，再向南端延伸至DC内，DC内的Spine-Leaf交换网络包括服务器、存储、NFVI、VIM等云基础设施，又属于云资源池专业维护的范畴。因此，为了使用及维护界面的清晰，以南北向连接的能力为维度，将Border-Leaf进行能力分解，从物理设备形态上分为5GC-CE（承担北向连接）和DC-GW（承担南向连接）两组设备，以路由器为设备选型建议，分析其分设的合理性见表，两种组网架构如图1、图2所示。

图1  5GC-CE&DC-GW 分设组网架构

图2  5GC-CE&DC-GW合设组网架构

5GC-CE&DC-GW分设组网：5GC-CE和DC-GW分设在两组不同路由器上，DC-GW和5GC-CE部署eBGP OptionA方式对接，见表。

5GC-CE&DC-GW合设组网：5GC-CE和DC-GW部署在同一组路由器上，DC-GW&5GC-CE通过VxLAN和SR/MPLS拼接或路由重发布。

表 5GC-CE&DC-GW合设 vs 分设组网对比分析

综上多维度分析，5GC业务覆盖面广，业务影响大，5GC-CE、DC-GW合设系统复杂度高、角色交织、故障耦合、操作难度大、风险高。因此，5GC-CE、DC-GW分设更为合理。

浙江电信5GC组网实践

在浙江电信5GC组网实践中，5GC-CE、DC-GW分设，中心云DC业务网络、管理网络和存储网络三网独立部署，通过云管平台和DC SDN控制器实现计算、存储和网络的自动化协同发放，如图3所示。

图3  浙江电信5GC组网实践

在业务网络层面，业务TOR成对堆叠；信令网络采用硬件分布式SDN方案，在业务TOR、DC-GW之间部署BGP-EVPN，业务TOR做VNF的三层网关，与VNF的接口地址部署静态路由+BFD打通业务地址（Loopback地址），DC-GW与VNF的业务地址之间运行EBGP+BFD发布业务路由；DC-GW与5GC CE采取OpTIon A EBGP对接；服务器使用10GE/25GE接入业务TOR，业务TOR与业务EOR之间使用40GE连接；业务EOR向上都采用100GE连接。

在管理网络层面，管理TOR、管理EOR分别成对堆叠，管理EOR作为管理区的三层网关，管理EOR与IP RAN网络B设备使用静态路由发布管理区路由；管理TOR与管理EOR之间使用10GE连接。

在存储网络层面，存储TOR、存储EOR分别成对堆叠；存储TOR与存储EOR之间使用40GE连接。

对于CT云内承载的不同专业CT业务系统，Border-Leaf作为边界，其与内外部网络设备的连接方式及部署要求也不尽相同，对于不同专业，在统一DC云基础设施承载的基础上，这组设备可能需要按专业独立分设。其Border-Leaf设备就是一组独立的Pool-GW，DC内其他网络和IT设备原则上可与5GC共用，界面上唯一的不同为：其中vBRAS网元与Pool-GW为数据接入网专业维护，相应MANO中的管理维护界面也做对应区分。

随着eMBB、e2X、MEC等5G典型业务逐步商用，特别是MEC的部署驱动核心网将逐步从集中式向分布式云化架构演进，以满足不同的业务体验需求。5G CT云建设是一个长期过程，需由中心云向边缘云逐步推进，根据业务需求分阶段建设。

当前浙江电信5GC CT云建设项目，以NFVO/VIM云平台结合SDN控制器，聚焦DC内核心网云化、网络自动化部署。

在业务上线时，根据用户在云平台上的逻辑组网设计，由SDN控制器自动打通端到端网络的各个环节并完成所需下发的配置；为CT云业务提供弹性计算、弹性网络、弹性负载均衡、弹性安全等业务服务能力；完成并增强各资源池的云服务能力，能够快速对所属资源及能力进行自动化发放。

部署在数据中心的SDN网络，为NFVI提供网络服务，即向各种类型的VNF网元提供相应的网络接入、路由、VAS等服务，使VNF能灵活按需与各类外部网络互联。

根据云核心网网元的特征，CT云网络分为虚拟化层网络（负责VM基础连通性，转发网元内东西向流量及网元业务管理流量）和业务层网络（VNF间通信网络以及VNF与外部网络的连通性），SDN控制器需要支持虚拟化层网络和业务层网络的自动化发放。

随着5G业务开展，低时延业务如CloudVR、MEC等应用推进，U面将逐步下沉，靠近用户侧。CT云架构将呈现多级分布式架构，边缘云快速处理用户请求，减小时延；中心云集中部署管理面和控制面，集中管控。此时，边缘云和中心云、中心云和中心云之间将产生互访流量，需要考虑如何快速建立DC间连接。

边缘DC UPF/CDN/MEC等转发节点，可以考虑引入边缘网关作为边缘云接入设备，该边缘网关可以和IP RAN融合，和IP RAN网络使能E2E SRv6，实现5G基站快速接入，快速开通。

边缘网关被IP RAN的WAN控制器纳管，将边缘网关和IP RAN网络统一管理，并和VIM对接，实现WAN和DC统一管控。

中心云采用VxLAN转发技术，沿用第一期方案，由DC内SDN控制器管控，实现DC内云网自动化部署。

WAN控制器和DCN控制器统一DCI接口，并和业务协同层对接，由协同层编排DCI互联需求，实现DCI连接按需打通。

边缘DC流量采用SRv6技术承载，SRv6协议在中心云DC-GW之前的PE节点终结，PE和DC-GW采用VLAN/IP对接，通过协同层实现PE和DC-GW的自动化对接，实现边缘云和中心云的自动化打通。

浙江电信5GC云化部署的组网实践，为面向CTNet2025目标架构的云基础设施组网提供了有力的技术经验支撑。