基于5G承載的智能城域網部署研究及實現

劉倩　項朝君　呂艷娜等

關鍵詞：5G承載；智能城域網；SR；SDN；BGP-LS；MPLS BGP VPN；智能化

1 概述

在長期的業務網絡發展演進過程中，聯通構建了多張不同定位的IP 承載網絡，主要分為IP 城域網和UTN城域承載傳送網。其中，IP 城域網是互聯網業務的承載網絡，主要承載的有家庭固定寬帶、固網語音、IPTV、政企專線等業務；UTN 城域承載傳送網絡則主要用于IP/MPLS技術的無線接入網（IP RAN）、政企專線等業務。不同城域網絡的管理相對獨立，并且在設備容量、協議使用、自治域劃分以及業務功能支持上都各不相同，隨著IP 業務融合演進發展的趨勢，上述網絡之間形成了復雜的業務聯系，多張網絡互聯帶來了背靠背資源浪費以及網絡管理的高復雜度，同時導致業務承載的一致性差、業務轉發效率低、網絡擴展不靈活、創新業務支撐不足等一系列問題。

鑒于現有網絡的復雜性以及5G承載、通信云化、城域網網絡功能虛擬化等業務承載的迫切要求，中國聯通城域網絡重構勢在必行。隨著5G時代的到來，5G 基站建站速度及建站密度都遠超4G 基站，4G 承載網的接入匯聚核心設備無論從容量還是功能性能等方面都無法滿足5G 業務的發展，因此，以5G 建設及5G 承載網絡構建為契機，打破煙囪式的組網架構，構建一張融合承載的智能城域網實現通信云、移動業務、政企客戶接入以及固網寬帶等業務的綜合承載成為必要[1]。

2 聯通智能城域網組網方案

智能城域網采用核心（MCR）+ 匯聚（MER）+ 接入（MAR）的簡化架構實現5G 業務、專線業務、家客業務以及4G、5G 基站互操作等業務的綜合承載目標。聯通智能城域網總體架構如圖1所示。

其中，核心設備（MCR）用于網內不同匯聚設備間流量轉發以及與其他網絡間流量轉發；匯聚設備（MER）用于多業務綜合承載接入，包括基站回傳業務、大客戶業務、通信云業務以及vBRAS 業務等，與MER 同局址的BBU 或少量周邊基站直接接入MER；接入設備（MAR）用于基站接入以及部分節點的綜合業務接入。

MCR 和169 網CR 對接，疏導vBRAS 家寬業務流量以及互聯網專線類流量；MCR 和CUII/B 對接，疏導訪問大區5GC 流量；MCR 和UPF 對接，疏導訪問UPF流量。MCR 和IPRAN 對接，疏導互通流量和訪問4G 核心網流量；MCR 和電信網絡對接，疏導共建共享流量。

2.1 智能城域網IGP協議部署

2.1.1 IGP協議層次化部署

智能城域網IGP 協議層次化部署，MCR 與MER 之間、MER 與MAR 之間均部署ISIS 協議，都采用Level2 層級，MCR 與MER 設備共進程ISIS n。接入環采用ISIS 多進程，接入MAR 設備按環分進程，每個接入環（或接入鏈）部署1 個ISIS 進程，與核心匯聚層實現路由隔離，同一對匯聚設備下不同接入環分屬不同進程，進程間的路由相互隔離[2]。如存在多級接入環，二級接入環/ 接入鏈與一級接入環采用同一進程。

MAR 將MAR-MAR 互聯、MAR-MER 互聯接口和自身環回口宣告進ISIS，ISIS 進程號與本設備所在的環號對應。MER-MER 互聯接口開啟N+1 個子接口，面向接入側的N 個子接口運行接入環ISIS 進程，第N+1 個子接口運行MER-MCR 之間的ISIS 進程。

2.1.2 IGP COST值設置原則

接入環MAR-MER 或MAR 之間的COST 設置為100，MER-MER 之間用于接入環ISIS 進程的互聯子接口COST 值大于接入環所有鏈路COST 值之和設置為2 000，為接入環閉環，確保MAR 之間的互通不經過MER 繞行。

MCR 根據雙平面設計原則，匯聚環MER 之間以及MER-MCR 之間COST 設置一致均為100。同時為保證橫穿流量盡量靠近接入層，相同層級節點之間互聯電路COST 值逐級減小，MCR-MCR 之間COST 設置為150大于MER-MER 的COST 值100。

2.1.3 IGP路由重分布

核心匯聚ISIS 進程和接入ISIS 進程進行按需路由引入。接入環匯聚設備將其loopback 路由引入接入環ISIS 進程。對于業務IP，按照業務分層部署方案，接入設備的路由沒有必要引入到匯聚環中。

當匯聚MER 上進行接入環ISIS 進程和匯聚環ISIS進程的雙點雙向路由重分布時，為了防環，在相互重分布路由時需要注意在將匯聚ISIS 進程的路由發布給接入ISIS 進程之后不能再被重分布進匯聚ISIS 進程，同理，在將接入ISIS 進程的路由發布給匯聚ISIS 進程之后不能再被重分布進接入ISIS 進程。

路由引入可能引起環路問題，如圖3 所示，接入進程為ISIS 2，匯聚進程為1000，匯聚環MER 間的COST值為100，對于A2 設備的環回地址在2 臺MER 上查看COST 值均為200，在2 臺MER 的ISIS 1000 進程分別引入ISIS 2，此時在MER1 上再次查看A2 的環回地址COST 值為100，下一跳為MER2，同理在MER2 上查看A2 的環回地址COST 值為100，下一跳為MER1，此時環路產生。為解決上述問題，在進行路由引入時需要打上更大的cost 值（現網配置為10000）。

2.1.4 智能城域網Segment Routing配置

智能城域網開啟SR 功能，將loopback 環回地址作前綴通告Node-SID，在ISIS 協議下使能ISIS SegmentRouting 功能，使能ISIS 的BFD，以及ISIS TI-LFA，觸發故障快速感知和重路由。

SRGB 域的空間大小設置原則為：大于SR 網絡（本地網）域內網元數量，同時要保證SRGB 起始值加偏移值不大于SRGB 的結束值。

目前，每個本地網的SRGB 范圍為24 000-43 999，每個本地網中所有設備的SRGB 范圍及起始值均保持一致。單個本地網中每個網絡節點的ISIS prefix-sid index值必須在SRGB 之內，目前SRGB 最大值和最小值之差為20 000，那么ISIS prefix-sid index 可用值是0-19 999。MER 設備的每個ISIS 進程的SRGB 范圍必須一致。

每臺設備的NODE SID 設置為每AS 域內唯一，為每臺設備分配6 個NODE SID，其中，預留5 個標簽用于滿足后期硬切片等業務發展需求。

2.2 智能城域網BGP協議部署

在智能城域網內，BGP 協議除了作為跨網邊界路由協議外，還主要用于傳遞業務路由，BGP 開啟BGPVPNv4/VPNv6/EVPN 地址族用于傳送相關業務路由。

2.2.1 智能城域網兩級RR部署

智能城域網及5G 接入環部署兩級RR，智能城域網核心設備MCR 兼做一級RR 并且cluster-id 設置一致，一級反射器MCR不設置下一跳為自己，智能城域網中MER 做RRclient；5G 接入環匯聚設備MER 兼做二級RR 不設置cluster-id， 二級RR 作為5G 接入環內的RR，對同環路由不修改下一跳，對于其他路由（跨環和回傳）修改下一跳地址為自己，5G 接入環內的其他設備做RR client。

智能城域網邊緣設備與路由反射器建立BGP-LS 鄰居關系獲取網絡拓撲信息，路由反射器與SDN 控制器建立BGP-LS 鄰居關系[3]，控制器根據獲取的拓撲信息計算路徑。

2.2.2 智能城域網RD/RT部署方案

智能城域網網絡目前為口字型部署，結合業務需求及運維管理，智能城域網全網設備上同一個VRF 的RD 設置一致。匯聚核心設備部署單RT，其值與RD 值保持一致。接入設備目前對于5G_RAN、5G_RAN_VIP、4G_RAN 業務啟用雙RT 部署，因為這些業務存在Xn 流量，在實現S1 業務的同時保證Xn 同環業務的直接轉發需求。

RT2 獨立規劃，其Assigned Number 采用7 位編號，即RT2 的標準格式為“AS：ABBBCCC”。第1 位“A”表示VPN 屬性， 本期主要涉及3 類VPN（1 為5G_RAN，2 為5G_RAN_VIP，3 為4G_RAN）。第2-4位“BBB”表示匯聚設備的編號（取奇數）。第5-7 位“CCC”表示接入設備所屬ISIS 進程的進程號。例如一對MER 設備編號為5 和6（即BBB=005），接入環ISIS 進程為3（即CCC=003），VPN 為5G_RAN（即A=1），此時RT2 應為AS：1005003。

雙RT 規劃路由策略為：接入設備啟用雙RT，RT1和RT2，同環業務使用RT2，其他業務使用RT1，MER針對不同環的MAR 設備分配到不同的peer group 組，MER 給MAR 下發缺省路由的同時再給同環MAR 發布攜帶對應RT2 的路由。

MER 本地配置缺省路由， 并將缺省路由通過network 方式在bgp 的VPN 實例下引入，MER 針對不同環的MAR 設備分配到不同的peer group 組，針對不同的group 使用不同的export 策略，主要區別在于node20 設置，MER 針對不同的接入環鄰居發布對應RT2 的路由。

2.2.3 智能城域網MCR/MER優選同平面路由

智能城域網網絡目前為口字型結構，BGP 選路遵循同側優先的原則，將MCR 和MER 分為2 個平面，其中MCR1 和MER1 在同一平面A，MCR2 和MER2 在同一平面B。

MCR 將下聯所有MER 放至1 個bgp 組中，MCR1發出的所有路由打上團體屬性A，MCR2 發出的所有路由打上團體屬性B。A 平面MER 收到屬性A 的路由配置local-preference 100，屬性B 的路由配置local-preference50；B 平面MER 收到屬性A 的路由配置local-preference50，屬性B 的路由配置local-preference 100。

A 平面MER1 發路由給MCR 時，打上團體屬性A，B 平面MER2 發路由給MCR 時，打上團體屬性B。A 平面MCR1 收到屬性A 的路由配置local-preference100， 屬性B 的路由配置local-preference 50；B 平面MCR2 類似。

通過上述配置實現MCR/MER 流量優選同平面路由。

2.3 SDN控制器與業務系統建設方案

智能城域網SDN 控制器和業務系統實現智能城域網的協同控制及配置自動下發等，滿足云網一體及5G、大客戶、家寬等業務綜合承載、自動開通、彈性調整和線上控制目標[4]。網絡架構如圖5示意。

1）業務系統分為統一業務系統和省內業務系統。統一業務系統和省內業務系統分別負責全國統一業務及省內特色業務的自動開通、彈性調整和線上控制，同時北向開放網絡能力和業務能力，供其他系統調用。

2）智能城域網能力平臺實現不同省智能城域網的編排協同以及分發，統一對外提供接口，開放網絡能力；

3）SDN 控制器具備對所管轄的省內智能城域網接入（MAR）、匯聚（MER）及核心設備（MCR）的集中控制能力，并控制網絡完成必要的業務以及智能運維相關的配置，實現配置的自動下發。

4）智能城域網SDN 控制器和能力平臺之間間采用統一的YANG 模型對接。

5）智能城域網SDN 控制器采用南向配置模板與南向網絡設備對接。

6）智能城域網SDN 控制器與業務系統和跨網協同層、通信云之間接口采用標準接口對接。

7）智能城域網統一業務系統，能力平臺及SDN 控制器采用全國集中的方式進行部署，省內定制業務系統根據省內需求進行部署。

3 智能城域網跨網對接實現

智能城域網涉及與多個系統及網絡進行對接，目前省內智能城域網與異網互通現狀如圖6 所示。

5GC 控制面全國大區集中設置，通過接入骨干IP承載B 網實現與各本地智能城域網聯通，5GC 用戶面分重點城市部署。鄭州、洛陽大區MCR 通過n×100G鏈路和鄭州、洛陽大區5GC-U 出口設備對接為大區地市提供5GC 用戶面出口。地市MCR 通過100G 鏈路上聯鄭州、洛陽大區MCR 疏導地市5G 用戶面出口，目前與電信共建共享流量也是通過大區MCR 疏導的。智能城域網MCR 與B 網對接用于疏導本地市C 面到大區C 面流量以及基站管理流量；與A 網對接用于實現SDN 自動下發以及MAR 自動上線等功能。智能城域網MCR 與聯通IPRAN 對接用于疏導4G、5G 基站互通流量。

3.1 地市MCR與大區MCR互通

目前地市MCR 與鄭州、洛陽大區MCR 互通的VPN 有5G_RAN、5G_RAN_VIP 和4G_RAN 的VPN，地市MCR 與大區MCR 建立eBGP 鄰居，采用Option A 方式進行跨域VPN 業務互通。目前河南省內僅鄭州和洛陽大區MCR 與電信網絡互通，其他地市的MCR 還未與電信網絡互通。

地市MCR 與大區MCR 間5G_RAN VPN 的互通實現為：地市MCR 發送本地市聯通和電信5G 基站地址段給大區MCR，大區MCR 發送全省聯通、電信5G 基站地址段以及聯通電信UPF 地址段給地市MCR 實現業務互通。

地市MCR 與大區MCR 間5G_RAN_VIP VPN 的互通實現為：地市MCR 發送本地市VIP 地址段給大區MCR，大區MCR 發送本大區VIP 地址段以及大區C 面網段給地市MCR 實現業務互通。

地市MCR 與大區MCR 間4G_RAN VPN 的互通實現為：地市MCR 發送本地市4G 基站地址段以及智能城域網新開4G 基站地址段、NSA 基站地址段給大區MCR，大區MCR發送UPF 地址段給地市MCR實現互通。

3.2 MCR與承載B網互通

目前智能城域網MCR 與承載B 網AR 互通承載的業務VPN 有5G_RAN、5G_RAN_VIP、5G_OAM 和設備管理public VPN（對應B 網IPRAN VPN），采用BGP MPLS VPN 跨域Option A 方式進行對接，實現跨域VPN 業務互通，主要用于疏通5G 相關控制面信令流量以及少量跨本地回傳流量等。

MCR 與B 網AR 間5G_RAN VPN/5G_RAN_VIP的互通實現為：MCR 發布本地市5G 基站業務地址段給B 網，B 網發布5GC 業務地址段給MCR，實現基站到5GC 的互通。

MCR 與B 網AR 間5G_OAM 的互通實現為：MCR 發布本地市5G 基站管理地址段給B 網，B 網發布省中心5G 網管服務器地址段給MCR，實現基站到基站網管的互通。

MCR 與B 網AR 間設備管理public VPN 的互通實現為：MCR 發布本地市智能城域網網元管理地址段給B 網的IPRAN VPN，B 網通過IPRAN_JT VPN 接收集團網管服務器地址段發布給IPRAN VPN，實現MCR/MER/MAR 網元到集團網管服務器的互通。

3.3 MCR與CUII網互通

目前智能城域網MCR 與CUII 網（承載A 網）AR互通承載的業務VPN 有設備管理public VPN（對應CUII 網SMAN_NMS_JT VPN）、SmartMAN_AUTO_ONLINE（對應CUII 網SMAN_NMS_CJ VPN），采用BGP MPLS VPN 跨域Option A 方式進行對接，實現跨域VPN 業務互通。主要用于疏通SDN 控制器、業務平臺以及其他智能城域網相關的物理位置集中部署的系統與智能城域網設備間的流量等。

MCR 與CUII 網AR 間設備管理public VPN 的互通實現為：MCR 發布本地市智能城域網網元管理地址段給CUII 網的SMAN_NMS_JT VPN，CUII 網將集團SDN 控制器地址段發布給MCR，實現SDN 控制器對網元的數據自動下發[5]。

MCR 與CUII 網AR 間SmartMAN_AUTO_ONLINE 的互通實現為：MCR 發布本地市新增MAR網元的DCN 地址段、現網MAR 網元的管理地址段給CUII 網的SMAN_NMS_CJ VPN，CUII 網將集團部署的自動下發網管的地址段發布給MCR，實現自動下發網管對新增MAR 網元進行設備上線數據下發、對現網MAR 網元進行數據下發。

3.4 MCR與UPF網絡互通

目前省內UPF 分為人網UPF 和物網UPF，僅在鄭州、洛陽重點城市部署，分為鄭州大區和洛陽大區，鄭州、洛陽兩地市MCR 對接UPF 網絡EOR 設備，對接業務VPN 主要有5G_RAN、5GC_WAP、4G_RAN、VoLTE_SGi、GPRS_Gn_C、5GC_MGMN、5G_MEC，采用BGP MPLS VPN 跨域Option A 方式進行對接，實現跨域VPN 業務互通。

MCR 與UPF 網絡各業務互通實現為：MCR 向UPF EOR 下發各業務的缺省路由，UPF EOR 向MCR發送人網UPF 業務地址、物網UPF 業務地址、UPF 管理地址、MEC 業務地址以及相關C 面信令地址等，實現用戶訪問UPF、網管管理UPF 以及相關信令交互業務的互通。

3.5 MCR與聯通IPRAN互通

目前MCR 與IPRAN 互通的VPN 有4G_RAN 和4G_OAM 的VPN， 采用fake-as 號進行BGP MPLSVPN 跨域Option A 方式對接。主要解決智能城域網新開SA 基站，回落到IPRAN 上的4G 基站時的語音和數據業務問題，實現IPRAN 上的4G 基站與5G 的UPF互通問題，智能城域網新開4G 基站與原4G 的EPC 互通問題。

MCR 與IPRAN 間4G_RAN 的互通實現為：MCR發送本地市智能城域網下掛的聯通/ 電信4G 基站業務地址段、智能城域網下掛的聯通/ 電信5G NSA 基站業務地址段和5G UPF 業務地址段給IPRAN，IPRAN 發送本地市IPRAN 下掛的聯通/ 電信4G 基站業務地址段、IPRAN 下掛的聯通/ 電信5G NSA 基站業務地址段和4G EPC 業務地址段給地市MCR 實現業務互通。

MCR 與IPRAN 間4G_OAM 的互通實現為：MCR發布本地市智能城域網下掛的4G 基站管理地址段、智能城域網下掛的5G NSA 基站管理地址段給IPRAN，IPRAN 發送省中心4G 網管服務器地址段給MCR，實現基站到網管的互通。

3.6 MCR與電信承載網互通

智能城域網MCR 與電信承載網互通的業務VPN 有5G_RAN，采用BGP MPLS VPN 跨域Option A 方式進行對接，實現跨域VPN 業務互通。目前河南省內僅鄭州、洛陽與電信網絡進行互通。

MCR 與電信承載網間5G_RAN 的互通實現為：MCR 發送聯通5GC 地址段，UPF 地址段以及電信分配給聯通地市的地址段給電信承載網，電信承載網發送電信5GC 地址段，UPF 地址段以及聯通分配給電信地市的地址段給MCR 實現共建共享基站到對應核心網的業務互通。

4 智能城域網倒換方案

4.1 正常流量轉發及倒換檢測機制

當網絡無故障時，正常流量轉發場景如圖7 所示。

MAR 的S1 業務，上行選擇就近MER 轉發，下行方向MER1 和MER2 均可轉發，實現單發雙收功能，見紅色曲線；

Xn 業務，同環直接轉發，同匯聚跨環時，兩臺MAR 選擇就近的MER 中轉，跨MER 場景，與S1 業務類似，可以參考上面的S1 轉發過程。

為保證網絡故障時業務的快速切換，現網針對不同故障場景部署了相應的快速檢測機制[6]。可能發生的主要典型故障點如圖8 所示：

當前網絡部署了多種檢測機制適應不同故障場景[7]。

4.2 場景1：中間鏈路故障

當匯聚接入鏈路故障時，流量轉發如圖9 所示。

A2 設備TI-LFA 生效，A2 設備業務路由下一跳仍然是MER1，因為啟用防微環功能，防微環時間5s，A2 到MER1 的SR LSP 將是節點標簽和鄰接標簽組合；

一段時間后，IGP 路由完成收斂，業務路由下一跳變為MER2；

MER 上聯方向網絡無變化，MER1和MER2 均能收到回程報文，MER1 需要繞行MER2 到A2；

整個過程中，從鏈路down 開始到防微環生效才有丟包。

4.3 場景2：MER/MCR橫連鏈路故障

當6/7節點故障，即MER/MCR 橫連鏈路故障時，流量轉發如圖10 所示。

MER 之間鏈路正常情況下，沒有業務流量，鏈路down 對業務流量轉發不影響；

MCR 之間鏈路正常情況下，沒有業務流量，鏈路down 對業務流量轉發不影響。

4.4 場景3：MER整機故障

當MER 設備整機故障時，流量轉發如圖11 所示。

A2 設備bfd for srtunnel 會檢測到失效，啟用vpnfrr 切換路由，缺省路由下一跳切換為MER2；

MCR 設備bfd for srtunnel 也會檢測到失效，啟用vpnfrr 切換路由，棄用MER1 發的路由，啟用MER2 發的路由。

4.5 場景4：MCR整機故障

當MCR 設備整機故障時，流量轉發如圖12所示。

MER1 設備bfd for srtunnel 會檢測到失效，啟用vpnfrr 切換路由，棄用MCR1 發的路由，啟用MCR2 發的路由；

AR 設備BGP 鄰居因為bfd for bgp會down，路由會收斂，收斂完成前，AR 發給MCR1 的數據包會被丟棄。

4.6 場景5：網間鏈路故障

當網間鏈路故障時，流量轉發如圖13所示。

MCR1 的bfd for bgp 生效，ebgp 鄰居斷開，撤銷AR1 發送的路由，啟用MCR2 轉發的ebgp 路由；

MAR、MER1 設備轉發路徑不變。

4.7 場景6：MER上連和橫連同時故障

當MER 上連和橫連同時故障時，流量轉發如圖14所示。

MER1 檢測到MCR 虛擬下一跳不可達，撤銷發給MAR 的缺省路由，MAR 切換路由下一跳為MER2；

MCR1 設備bfd for srtunnel 生效， 棄用MER1 發來的路由，啟用MER2 發來的路由，回程報文轉發給MER2。

4.8 場景7：MCR下連和橫連同時故障

當MCR 下連和橫連同時故障時，流量轉發如圖15所示。

過程一：MER1 和MCR1 之間的主備SR LSP 均失效；

1）MER1 設備bfd for srtunnel 生效，啟用vpnfrr，原先下一跳為MCR1 的路由都切換為MCR2；

2）MCR1 設備bfd for srtunnel 生效， 下一跳為MER1 和MER2 路由均失效，因為MCR 向AR 設備發送的是聚合路由，若非按成對MER 做匯聚，發給AR的路由就無法失效，在AR向MCR1轉發流量時，會丟包；

過程二：IGP 路由收斂，MER1 和MCR1 之間的SR LSP 可正常建立，由于LP 設置同側優選的原因，MER1 和MCR1 會優選對方成為轉發下一跳，轉發路徑需要從其他MER 繞行，見紅色實體曲線；

丟包包含兩部分，一個是MER1 設備從bfd 檢測到vpnfrr 切換過程，一個是由于IGP 收斂MCR1 到MER1的SR LSP 形成之前。

4.9 場景8：MER下連和橫連同時故障

當MER 下連和橫連同時故障時，流量轉發如圖16所示。

對于S1 業務，A2 設備上bfd for srtunnel 生效，啟用vpnfrr，缺省路由切換下一跳為MER2；

對于X2業務，同環無影響，跨匯聚場景跟S1 類似，同匯聚跨環部分場景需要繞行MCR 轉發，見實體紅色曲線流量；

MER 向MCR 發路由撤銷，撤銷本環的業務路由，MCR 業務路由收斂之前，MCR1 轉發給MER1 的數據包會被丟棄。

5 結束語

智能城域網的建設部署實現了多業務的1 張本地網統一承載，解決了現有城域網網絡復雜、跨網互通成本高、業務轉發效率偏低、業務承載一致性差、網絡擴展不夠靈活、創新業務支撐不足等一系列問題。

結合SDN 以及智能化應用的部署，更好地實現了云網協同、業務自動開通，促進了通信DC 的云化演進，同時構建智能化、自動化、開放化的網絡管控系統，開創了全新的業務開通模式，提升了網絡配置的規范性、準確性、可靠性，支撐智能化運維和互聯網化運營，大大降低了運維成本，迎接5G 時代的挑戰。