城域網云化實踐及展望

摘要：結合運營商某地市分公司的城域網（MAN）云化試點情況，對試驗網的架構、部署、業務實現、運維模式等進行了分析。闡述了試點的價值和挑戰，并基于實踐案例提出了城域網架構fabric化演進、網絡即服務的運維能力和以應用為中心的網絡發展建議，為運營商助力行業數字化轉型提供參考。

關鍵詞：城域網云化；fabric化演進；網絡即服務；應用為中心；運營商

Abstract： The framework， deployment， service implementation， operation and maintenance mode of the practice case of cloud-based metro？ politan area network （MAN） in a branch of the operator are analyzed. The value and challenges of the experimental network are described. Based on the case， the insights of MAN fabric evolution， operation capability of the network as a service， and application-centered network development are proposed， which provides reference for operators and helps the digital transformation of the industry.

Keywords： cloud-based MAN； fabric evolution； network as a service； application-centered； operator

1城域網現狀概述

網際互聯網協議（IP）城域網是運營商覆蓋中國各城市范圍的全業務接入網絡，網絡架構分為接入層、匯聚層、業務控制層和核心層。如圖1的紅色箭頭所示，在傳統城域網架構中，用戶業務流量通過光纖到X（FTTX）/局域網（LAN）方式從接入層進入城域網，并逐層匯聚至業務控制層。隨后，報文經核心層的路由器快速轉發至運營商的骨干網。與城域網平級的是無線承載網。無線承載網是基于無線接入網網際互聯協議化（IP-RAN）的技術實現，提供基站的接入及高值政企業務的接入。

隨著云計算及5G業務的發展，互聯網應用對IP城域網的靈活性、拓展性、功能性等提出了新的要求[1-3]。然而，基于傳統運營商城域網的結構難以實現業務的快速創新，也難以滿足互聯網的發展。為了加快轉型，運營商積極推動用戶定義網絡、海量計算、高保障行業專網接入等的研究。

2中國電信城域網云化實踐

運營商在不改變現有網絡架構的條件下，前瞻性地引入疊加網絡（Overlay）、軟件定義網絡（SDN）、網絡功能虛擬化（NFV）等技術推進網絡云化的演進[4-5]，提升網絡的靈活性和擴展性。本章節將以中國電信某地市公司城域網云化實踐為案例，闡述相關的實現架構、部署方式、業務承載方式及運維模式，并總結試驗網中的實踐經驗。

2.1云化網元定義

云化網元是指城域網通信網元以云化方式進行部署，即業務系統與硬件解耦，并以純軟件的形式實現傳統通信網元的功能。云化網元的引入讓網絡具備了一定的可編程性，提升了網絡的靈活性。主流的云化網元以云化路由網關設備、虛擬寬帶接入服務器（vBRAS）、虛擬客戶前置設備（vCPE）為主。本文基于云化路由網關設備的實踐展開討論。

2.2實踐方案架構

本方案中的云化路由網關設備分為兩種，如圖2所示。一種部署在城域網邊緣資源池中，用來承載用戶接入隧道，實現業務分流、網絡地址轉換（NAT）等功能，以下簡稱網側云化網元節點；另一種部署在公有云側的專用資源池中，用來承載入云業務，以下簡稱云側云化網元節點。

本方案的架構分為3個層次，分別為編排層、控制層和業務層。編排層全國統一部署，負責云網資源的綜合調度和開通指令的下發；控制層以省級為單位進行部署，包含城域網中不同類型的網絡控制系統，如終端管理系統、接入網網管系統、云化網元控制器等；業務層是實現用戶業務需求的實體網絡，受控制層控制。

2.3試驗網的部署方式

云化網元節點部署分為網元節點和控制節點兩個部分。圖3為云化網元的部署。其中，網元節點基于OpenStack架構，采用雙機集群系統（HA）方式部署。內部物理網絡的建設參照數據中心的葉脊網絡（Spine-Leaf）架構，分別部署一對業務葉（Leaf）交換機和一對管理Leaf交換機，以實現管理流量及控制流量的分離。網絡數據平面基于開放虛擬交換機（OVS）和數據平面開發套件（DPDK）的架構實現。動態主機配置協議（DHCP）、虛擬路由器（vRouter）等功能通過Network Namespace機制實現。云化網元節點之間通過建立的虛擬可擴展局域網（VxLAN）隧道進行通信。

控制節點的部署以簡約實用為原則。在實現云化網元節點集中管理能力的同時，運營商會控制系統的復雜性。因此，本方案在實際部署時僅涉及服務中心和維護中心兩個部分。服務中心負責云化網元的資源管理、計量、彈性調度。管理員通過云服務中心可自行部署虛擬網元。維護中心負責對軟硬件和虛擬網元的監控，并管理Overlay網絡的配置。管理人員可依據維護中心的歷史運維數據對平臺的潛在風險進行分析和預判。

本試驗網中，云化網元節點部署在城域網核心路由器側和互聯網數據中心（IDC）側，如圖4所示，即在城域網多業務邊緣路由器（MSE）/核心路由器（CR）旁部署云化網元節點，該節點負責寬帶業務的接入；在IDC云側入網點（POP）交換機處部署云化網絡節點以實現入云業務的接入。控制節點部署在省級的業務云中，通過管理網絡對云化網元節進行集中管理并維護節點之間鏈路狀態。

2.4試驗網的業務實現

（1）寬帶業務的實現

寬帶業務的實現過程如圖5所示。光網絡單元（ONU）通過DHCP SERVER為用戶的終端分配私網IP，并通過以太網的點對點通信協議（PPPoE）撥號方式，從MSE和寬帶接入服務器（BRAS）獲取廣域網（WAN）的IP地址。用戶網關ONU和網側云化網元節點隨后會建立VXLAN隧道。當用戶報文進入云化網元節點時，報文會先進行VxLAN解封裝再進行NAT轉換，最后經缺省路由轉發至互聯網。

寬帶業務承載在VxLAN隧道具有3點優勢：一是在不改變原有路由配置并保證傳統寬帶業務平穩運行的同時，實現流量快速向云化網元節點的導流作用；二是當故障發生時，業務可在主用節點和備份節點之間進行快速切換，提高業務的可靠性；三是支持SDN自動化配置VXLAN隧道的能力，縮短開通時長。

（2）入云業務的實現

入云業務的實現如圖6所示。首先，用戶網關從MSE/BRAS上獲取WAN的IP地址；其次，用戶網關與網側云化網元建立VxLAN隧道A，同時網側與云側的云化網元建立VxLAN隧道B；接著，公有云內的POP節點通過二層網絡與云側云化網元進行互通，并打通用戶虛擬私有云（VPC）與云側云化網元的三層路由；最后，公有云內部的Vrouter與VPC建立VxLAN隧道C。面對同時需要寬帶和入云需求的客戶，運營商在網側的云化網元節點部署分流機制。分流機制根據目的地址進行分流。上網流量通過NAT映射到公網地址后進行上行傳輸，入云流量則被封裝在相應的隧道中進行轉發。入云業務的實現為家寬業務提供了更多云網協同的增值服務，同時降低了用戶端的部署門檻。

（3）企業組網的業務實現

企業組網的業務實現方式基于軟件定義廣域網（SDWAN）的架構。運營商在云化網元節點處建設企業用戶專屬POP業務區域，并通過專線將地區內的POP節點進行互聯，形成覆蓋在城域網上的Overlay full mesh網絡。當用戶智能網關設備接入互聯網后，網關設備與最近的POP節點建立Overlay隧道連接并發起認證請求。POP節點將請求轉發至控制器進行驗證。當認證通過后，網絡參數從云端自動下發至網關。此時，用戶即可通過網關訪問云資源及企業分支內網。用戶在使用過程中，只需要在Portal頁面上進行點擊操作即可完成業務配置的變更，包括參數修改、組網變更、安全配置等。

面向高保障的企業級用戶，用戶可以選擇支持蜂窩和有線雙接入方式的SD-WAN智能網關進行部署。此時，用戶業務可以依托運營商基礎設施和網絡規模，在現有多協議標簽交換（MPLS）網絡、寬帶網絡、5G等網絡上建立Overlay網絡。這種實現方式不僅提高了運營商線路資源利用率，還實現了客戶端混合鏈路接入，提升業務的可靠性。基于云化網元方案的SD-WAN企業組網業務既為運營商全網統一的運維模式發展提供了經驗參考，也進一步促進了運營商內部多專業的技術融合。

2.5試驗網的運維模式

試驗網的運營模式以集約化維護為原則，按照總部、省、市三級的方式落實維護責任主體。其中，總部負責業務頂層的創新及維護云化網元節點基礎設施即服務（IaaS）層、云平臺等的運行，省分部負責維護云化網元虛擬設備的路由配置和硬件服務器上連接的相關網絡設備，地市分部則負責設備的現場維護。當業務出現故障時，地市公司僅需要參照傳統網絡的維護方式，保證BRAS及其下聯業務的可用；上層的業務則由省分部與總部共同維護。這種運維模式有利于傳統維護管理體系向云網協同的管理模式平滑過渡。

2.6試驗網運營經驗總結

本節將結合根據云化網元節點的試驗網實踐情況，從業務價值和挑戰兩個維度進行闡述。

2.6.1云化網元的應用價值

云化網元在實戰運營中的價值體現在隧道標識、業務負載均衡、開通效率和業務創新4個方面。

第一，部署中的Overlay隧道采用VxLAN技術，并且基于16M的虛擬網絡基礎設施（VNI）的標識避免了因傳統業務標簽不足而影響開通的問題。第二，VxLAN以用戶數據報協議（UDP）的方式進行封裝，在全IP的網絡中可通過多路徑的部署方式實現業務的負載均衡，提高可靠性。第三，SDN控制器的全局自動化能力實現網絡業務敏捷開通。根據試驗網的測試統計，傳統專線業務的開通需要7個工作日，而基于云化網元模式的專線業務的開通時長可以控制在24 h之內。這極大提高了用戶體驗。第四，基于云的部署方式使網元節點具備一定的互聯網技術（IT）開放性。運營商可引入多廠家的應用，如深度檢測技術（DPI）、應用識別、防火墻應用、內容審計等能力，為用戶提供靈活的增值服務，實現業務的快速創新。

2.6.2云化網元面臨的挑戰

云化網元的引入對屬地化的運維能力提出了新要求，主要聚焦在流量模型、維護能力和維護體系3個方面。

第一，隨著運營商云網融合的發展，城域網將出現多種類別數據中心旁掛現象，并已演進成為多云互聯的狀態，如公有云、基于云化網元的電信云、部署增值應用的業務云、面向海量計算的邊緣云等。根據思科的研究分析[6]，全球數據中心的IP流量將在2021年增長至20.6 ZB，其中99%的網絡流量將與數據中心密切相關。互聯網應用對數據中心的依賴將進一步加強。基于傳統垂直流量模型設計的網絡架構如何適應未來的發展是城域網演進急需研究的問題。

第二，目前的網管系統主要針對設備的硬件狀態、數據配置進行監測，暫未細化至云化網元的IT服務組件。因此，當遇到IT組件故障時，管理員需要登錄至設備底層進行判障。這種方式的效率較低。以OpenStack Neutron體系部署的VxLAN流量場景為例，各計算節點之間的互通涉及多個服務進程，包括安全組、集成網橋（br-int）、隧道網橋（brtun）、物理層網橋（br-phy）等。首先，VxLAN報文進入服務器并經過r-phy及br-tun組件，被轉換為普通二層報文；其次，該報文經br-int并根據流表的匹配信息被轉發至安全組；最后，安全組依照實際配置的情況對報文進行相應放行。在上述流量模型中，任一環節的組件問題都會引起業務的中斷，特別是控制層面的錯誤指令批量下發，更易導致群障現象的發生。

第三，運營商的現有運維體系是以網絡為中心的。隨著業務的發展，云和5G應用對網絡質量提出了更高要求，比如時延、可靠性、魯棒性等。同時運營商將面臨實際運營成果和用戶滿意度脫節的問題。這個問題的根源在于運營商的維護能力聚焦在傳輸控制協議（TCP）/IP體系中的傳輸層及以下，對應用層的維護經驗積累較少。這一問題同時也導致了網絡質量指標與用戶應用層體驗不匹配的現狀。

3城域網云化演進展望

基于第2章節的闡述，本章節將面向城域網未來的發展，結合試驗網實踐情況及面臨的挑戰，從網絡架構演進、服務能力和應用服務能力3個角度對城域網云化演進進行展望。

3.1城域網架構fabric化演進

在城域網多云互聯的發展趨勢下，云節點之間的橫向流量將急速增長。這種變化將進一步推動城域網以Spine-Leaf結構發展。基于Spine-Leaf架構的網絡有助于城域網東西向流量的調度。隨著IP技術的普及，該架構的多鏈路特性將大大提升網絡的并發能力，并為多云互聯提供高速穩定的轉發條件。在Spine-Leaf網絡架構下，城域網引入以SRv6[7-8]為代表的新型轉發面技術將使業務端到端的管理成為可能。SRv6借助互聯網協議第6版（IPv6）報文頭中的源路由頭（SRH）存儲端到端顯性路由信息，并借助控制器的統一調度特性實現端到端轉發路徑的靈活定制。同時，SRv6結合靈活以太網（FlexE）等切片技術將促進面向垂直行業定制化專網服務的發展。

因此，為了實現城域網架構fabric化的統一管理，運營商將城域網的各子管理區域引入各級網絡控制器中，如圖7所示。其中，省級集中的總控制器將控制被級聯的各區控制器，并為全區提供整體的云網能力調度。綜上所述，城域網架構fabric化演進是運營商連接各種資源和服務的樞紐，成為避免重復建設的網絡資源集約化管理中樞、主導未來信息通信技術（ICT）和政企業務走向的核心競爭力。

3.2網絡即服務的運維

能力

隨著城域網云化的發展，云網運營中面臨的故障問題不僅會出現在路由配置、硬件等物理設備層面，還會發生在虛擬化底層的服務進程中。由于運營商的運維系統是以硬件設備和通信線路為核心的，運營商面對虛擬化底層資源和IT組件的運營狀態診斷存在盲區。因此提升運維系統的IT能力是打造網絡即服務運維能力的基礎。對此，本文從3方面展開分析。第一，運營商須深入研究云網底層架構，比如在虛擬網絡方面應該聚焦軟件進程的性能、虛擬網絡的業務表現、IT組件之間的運行邏輯等關系；在硬件方面從重要匯聚設備及常發生故障的設備著手，梳理和分析設備告警規則與業務的關系。第二，形成城域網資源系統和云化網元資源的映射關系，實現通過查詢云化網元故障即可查詢到該客戶的Overlay層和Underlay層網絡資源信息的能力。同時，運維系統引入云IaaS層、虛擬網元、虛擬網絡Overlay層、虛擬網絡組件之間的網絡狀態監控手段，以此實現云網初步統一管理的目標。第三，建立基于用戶視角的云網物理資源可視化視圖，展示業務流量流經的物理網絡設備及服務器的路徑，并通過植入ping、tracert等基礎的運維工具，實現初步的網絡即服務的運維能力。

3.3以應用為中心的網絡發展

探索應用層與網絡層的關系是運營商助力行業數字化轉型的重要挑戰。面向以行業應用為中心的專網服務可借鑒傳統應用加速的思路。典型的應用加速方案是在城域網部署加速節點。加速節點對流量的特征進行甄別，并將滿足加速需求的流量轉發至高保障的通信鏈路上，使流量直達服務方的數據中心，以實現用戶指定應用的服務體驗提升。

應用加速的實踐是以應用為中心調度網絡資源的新思路。在城域網云化發展的趨勢下，運營商可以聯合服務方探索網絡層和應用層的關系，建立標準化的接口模型[9]。一旦城域網實現fabric化并具備云網資源統一調動的能力，運營商就可根據應用層對網絡層的需求，使能切片分組網（SPN）等技術驅動行業專屬服務方案落地，保障行業應用高可靠運行。這種方式也是提高運營商投資收益率的新實踐。

綜上所述，面對云計算和5G時代行業專屬應用對網絡的不同要求，應用定義網絡[10]是城域網云網一體化形成之后助力行業數字化轉型的關鍵所在。

4結束語

未來人們對城域網云化演進的研究將進一步集中在以下4個方面：一是進一步探索新型Overlay網絡技術，結合行業的需求建立網絡即服務的運維體系；二是聚焦業務應用層的感知，建立以應用為中心的網絡質量檢測手段、預警能力和自動判障能力；三是推進邊緣計算等新業務的落地，研究邊緣云與核心云之間的聯動能力，推動云網融合的發展；四是聚焦云網一體化安全防護體系，研究新的理念和新技術的應用，保證生產安全。

參考文獻

[1]史凡.云網絡：云網融合的新型網絡發展趨勢[J].中興通訊技術， 2022， 28（1）： 8-10. DOI：10.12142/ZTETJ.202201004

[2]陳丹陽，陸璐，孫滔.數字孿生網絡接口設計及其協議分析[J].中興通訊技術， 2022， 28（1）： 29-33. DOI：10.12142/ZTETJ.202201008

[3]王衛斌，周建鋒，黃兵. ODICT融合的網絡2030 [J].中興通訊技術， 2022， 28（1）： 47-56. DOI：10.12142/ZTETJ.202201011

[4]中國電信集團公司. CTNet-2025網絡架構白皮書[R]. 2016

[5]中國聯合網絡通信有限公司研究院.中國聯通CUBE-Net 3.0網絡創新體系白皮書[R]. 2021

[6] Cisco. Cisco global cloud index： forecast and methodology， 2016-2021 [EB/ OL]. [2021-02-16].https：//www. cisco. com/c/en/us/solutions/collateral/ service-provider/global-cloud-index-gci/white-paper-c11-738085.html

[7]推進IPv6規模部署專家委員會. SRv6技術與產業白皮書（2019版）[R]. 2019

[8]中國移動研究院.中國移動G-SRv6技術白皮書[R]. 2020

[9]李昕. SDWAN還有前途嗎？[EB/OL].[2021-02-08]. https：//mp.weixin.qq. com/s/6QLicgqvAwWFMPQGCVVsPA

[10] PAUL S，JAIN R. OpenADN： Mobile apps on global clouds using OpenFlow and Software Defined Networking [C]//2012 IEEE Globecom Workshops. IEEE， 2012： 719-723. DOI： 10.1109/GLOCOMW.2012.6477663

作者簡介

陳淏，中國電信福建公司云網運營主管，云計算專業C級人才；主要負責福建省MEC、公有云、業務平臺上云、IT上云、云安全管理、智能專線等業務；曾獲福建電信轉型創新一等獎；發表論文1篇。