隨選網絡系統架構及關鍵技術實踐

孫穎，林睿，聶世忠

?

隨選網絡系統架構及關鍵技術實踐

孫穎1，林睿2，聶世忠1

(1. 中國電信股份有限公司北京研究院，北京 102209；2. 中國電信集團公司，北京 100032）

分析了中國電信對SD-WAN應用場景和技術方案的選擇，同時，對中國電信隨選網絡系統整體架構和研發涉及的關鍵技術進行了闡述，包括EVPN技術、Devops平臺技術、VxLAN中繼引流技術的選擇和應用方案。

隨選網絡；SD-WAN；編排器；控制器

1 引言

中國電信作為國內最大的基礎網絡服務商之一，通過SDN/NFV/云計算技術強化大網優勢、提升業務體驗是首要著眼點。因此中國電信隨選網絡實踐中，選擇了以軟件定義方式建立端到端WAN路徑為業務切入點，結合質量、可靠性等需求，為客戶提供分鐘級業務開通時限以及后續業務使用中的自動化調整功能。在技術實現方面，選擇了對現網改造要求最小的overlay方案，作為現網實施的第一步，即基于SDN技術在基礎網絡之上實現自動化、智能化的端到端邏輯通路，對客戶屏蔽底層網絡的復雜性。這條邏輯通路可以構建在互聯網上，也可以構建在CN2網絡（中國電信高等級骨干網）上，對客戶接入方式沒有特定要求。

從2006年SDN（software defined network，軟件定義網絡）概念誕生至今，國內外業界一直在探索和擴大其應用領域。SDN初期關注點在云和數據中心內，逐步延展到互聯網、廣域IP網、傳輸網，近兩年聚焦于企業市場和廣域網范疇的SD-WAN（software defined wide area network，軟件定義廣域網）。所謂SD-WAN，既有技術內涵，又有業務內涵。技術內涵，即SD-WAN 是以SDN技術為基礎，實現廣域網通道開通、傳送質量改善、客戶成本降低等相關技術；業務內涵，即SD-WAN基于以上技術向客戶提供WAN服務。AT&T、NTT、DT等全球多家運營商以及眾多新興服務商在SD-WAN服務中，都選擇了面向政企客戶、以企業互聯和云/數據中心互聯為主的業務場景。在主要業務功能上，可以歸納為3類：IP VPN（virtual private network，虛擬專用網絡）業務的自助訂購和敏捷發放、入云/云間通道的自動配置、專網與互聯網混合路徑選擇。在這三大類業務功能中，又有多種技術實現方式，各方均依據自身的既有技術優勢實現，無分優劣，各有千秋。筆者認為，以上這些業務形態均屬于SD-WAN范疇，隨選網絡即中國電信在SD-WAN領域的一次深入實踐。

從技術路線上來說，中國電信的隨選網絡是基于WAN中的集中控制，結合質量、可靠性等需求，以軟件定義的方式建立端到端WAN邏輯路徑，提供日常業務調整和查看手段。

2 系統架構設計

中國電信隨選網絡系統基于SD-WAN技術路線，以SDN技術為基礎，整個系統由業務門戶、SDN編排器、SDN控制器、SDN設備四大組件組成，如圖1所示。

圖1中，業務門戶是業務自助訂購與網絡可視化操作界面，提供客戶角色、客戶經理角色、網絡管理員角色的相關功能；SDN編排器北向提供面向業務的網絡能力封裝和業務功能編排，南向整合多廠商控制器接口，實現跨廠商、跨業務的能力統一化；SDN控制器實現對底層SDN設備的配置下發、資源狀態收集和路徑計算以及異常情況下的設備倒換；SDN設備執行SDN控制器配置指令、完成相關數據處理和轉發。在中國電信隨選網絡方案中，SDN設備主要包括CPE（customer premise equipment，客戶終端設備）、vCPE（virtual customer premise equipment，虛擬客戶終端設備）、VxLAN（virtual extensible LAN，可擴展虛擬局域網）中繼。

圖1 隨選網絡系統四大組件

應該指出的是，在業界諸多具體實現中對SDN控制器、編排器的功能界定各異，有的廠商甚至將編排器和控制器合一。參考圖2的模型，可以看到在整體架構中，控制器北向提供功能模型，編排器北向提供業務模型。在一些具體實現中，控制器可以實現業務模型，由控制器直接對接業務平臺或門戶，這種做法雖然在業務場景單一情況下實施簡便，但未來會對異廠商互通及編排器的業務功能編排造成障礙。

圖2 SDN系統層次劃分

SDN編排器決定業務能力和業務形態，為業務運營單位提供業務編排手段，決定業務編排操作難易度。對編排器來說，業務是一系列相關事務，事務對應一些串行的配置動作，這些動作全部有序配置成功即完成一個業務功能，有一個配置動作沒有成功即視為業務配置失敗，其他配置動作全部回滾。因此，從系統設計角度來說，編排器是對業務進行理解的“大腦”，真正被上層軟件定義的關鍵就在編排器這一層。在隨選網絡的架構設計中，要求編排器和控制器嚴格按照業務模型和功能模型進行劃分，控制器不做業務層面的組織工作，只向編排器提供單純的、細顆粒度的原子能力，這樣有利于日后編排器根據業務需求進行靈活的業務功能編排。

從部署方式上說，編排器和控制器可部署在云資源池中，相互IP地址可達即可。由于編排器開發采用了松耦合微服務方式，因此編排器各軟件模塊及原子能力可根據需求分布式部署，相互IP地址可達即可。編排器作為系統資源編排的統一入口，建議全國或全省一套；而控制器通常是單域、單專業的。從編排器視角看，對控制器的部署方式沒有特別要求。編排器和控制器的作用主要是控制面的配置下發，并不涉及轉發面的處理，因而一般不會出現高并發重負載的情況。

3 系統關鍵技術

3.1 EVPN技術

隨選網絡系統控制器和設備開發采用EVPN（ethernet VPN，以太網VPN）技術，控制面為MP-BGP，數據面為VxLAN。EVPN技術體系如圖3所示。

圖3 EVPN技術體系

MP-BGP在BGP基礎上擴展了RD（route distinguisher，路由區分符）和RT（route target，路由目標符）兩個標識，實現VPN路由隔離。在中國電信隨選網絡系統四大組件中，要求SDN控制器和CPE/vCPE設備支持MP-BGP，按需建立BGP鄰居關系，從而實現跨廣域網的二/三層路由信息交換。要求CPE/vCPE支持VxLAN，作為VxLAN的VTEP（VxLAN tunnel end point，VxLAN隧道端點），提供VxLAN隧道數據分組封裝和解封裝功能。實施初期，由于網絡規模小，節點數量少，可采用純分布式路由方式，SDN設備運行MP-BGP，完成路由信息交互。后續隨著網絡規模擴展，計劃在控制器層面增加RR（路由反射器）模塊，與所有節點建立鄰居關系，解決大量節點之間Full Mash的N2問題。由于采用了EVPN技術，中國電信隨選網絡系統可同時提供二/三層VPN以及Full Mash和Hub-Spoke組網方式。在CPE/vCPE處理VxLAN封裝和解封裝時，需識別內層源IP地址與目的源IP地址是否屬于同一子網，如屬同一子網，則啟用二層VPN處理能力，即橋接方式，如圖4所示；如屬不同子網，則啟用三層VPN處理能力，即路由方式，如圖5所示。

隨選網絡系統選用EVPN技術，還基于以下幾點考慮。

? 控制面采用成熟的、標準化的MP-BGP，更適用于運營商的網絡規模和業務穩定性要求。

圖4 VxLAN橋接方式

圖5 VxLAN路由方式

? 通過MP-BGP控制MAC/ARP的學習，而非L2廣播自學習方式，有效避免廣播風暴，保障業務安全性。

? 通過MP-BGP實現VxLAN隧道的自動創建，簡化業務配置，降低網絡部署難度。

3.2 Devops平臺技術

隨選網絡系統中SDN編排器的開發引入了DevOps平臺及其理念，通過內部流程與自動化工具的整合，將開發、測試、部署、運維構成自動化閉環，如圖6所示。

圖6 Devops自動化閉環

DevOps流程中的集成與測試、部署、運維3部分覆蓋了從軟件產品開發到運維的全過程，通過管理工具（例如Jenkins）完成3部分間的無縫銜接。代碼被提交到源代碼管理服務器上，自動觸發代碼的構建與單元測試，在單元測試成功后觸發功能測試和壓力測試。測試的范圍不僅包含軟件代碼部分，也包含編排形成的業務模型、策略模型等。在開發中選用Git作為源代碼管理工具，Jenkins作為持續集成與部署的工具，Ansible作為配置管理工具，Docker和Kubernetes作為部署工具。

中國電信隨選網絡編排器基于DevOps平臺開發，架構上分為開發態和運行態，軟件從開發態送入沙箱調測，測試通過自動進入正式系統運行，整個流程中無需人工干預。軟件模塊之間采用通用總線進行調用、尋址、負載均衡等。同一軟件模塊可以部署在不同的物理位置、不同實例上。

從軟件系統架構的角度看，隨選網絡系統SDN編排器的目標既包含了穩定可靠的軟件系統，也包含了用于實現新需求新功能的集成開發環境。基于這套自動化測試部署的底層平臺，還將實現面向網絡維護人員的業務編排界面，運維人員只需理解業務邏輯，通過簡單的拖拽動作就可以完成新的業務能力配置，不需要學習命令行和代碼技術。因此，這套系統也為企業實施新型人力資源組織提供了技術手段，要求未來的業務運營團隊既包含研發測試團隊，也包含傳統運維團隊，兩部分人員有機融合。

3.3 VxLAN中繼引流技術

在一些業務場景中，希望客戶的流量能自動進入CN2網絡中，從而規避可能的網絡擁塞點，實現差異化承載。這個功能是通過隨選網絡系統中的VxLAN中繼來實現的。

VxLAN中繼引流實現原理如圖7所示。

中國電信隨選網絡系統的VxLAN中繼設備部署于引流目標網絡的邊緣，負責前段VxLAN隧道的終結和后段通道（可以是VxLAN隧道，也可以是MPLS通道）的數據分組封裝。客戶駐地網出口位置的CPE通過識別數據分組的目的IP地址，將需要導流的數據分組分離出來，在封裝VxLAN數據分組時，將外層目的IP地址填上VxLAN中繼的IP地址。這樣，這部分數據分組就會沿著引流策略設置好的通道進行傳送。

當數據分組離開引流目標網絡時，還需經過一個VxLAN中繼，終結目標網絡中的數據通道，重新封裝一個VxLAN數據分組，其外層目的IP地址是對端CPE的IP地址，從而將數據分組繼續向目的地進行傳送。可見，整個傳送通道是由3段通道粘接而成的，兩端CPE和VxLAN中繼之間的粘接關系由SDN控制器進行配置。

通過VxLAN中繼引流方案解決客戶高等級業務的承載問題，好處在于客戶側不必有兩條接入鏈路（分別接入專網和互聯網），對客戶的接入方式也沒有特殊要求。客戶流量經引流繞過網絡中最易發生擁堵的鏈路段，能夠明顯提升傳送質量。

圖7 VxLAN中繼引流實現原理

圖8 城域網VPN方式引流實現原理

另外一個實現引流的方案是預先配置城域網VPN，客戶數據在BRAS（broadband remote access server，寬帶遠程接入服務器）設備進行分流，如圖8所示。

中國電信各城域網均雙掛163和CN2網絡，可通過策略路由配置的方式使得城域網VPN流量進入CN2 MPLS VPN，這樣一條端到端VxLAN VPN共享的基礎網專用通道就搭建完成了。在面向客戶的業務開通層面，SDN編排器和控制器根據相關業務參數，向分別部署在客戶網絡和對端系統中的CPE/vCPE設備下發參數，業務發放即可在幾分鐘之內完成。

目前，隨選網絡系統已經在江蘇、浙江、重慶、廣東、江西等多個省份完成部署，以統一架構實現了隨選園區、隨選云網協同、物聯網隨選專網、隨選VPN4個業務場景。

4 結束語

在隨選網絡系統設計中，更多地考慮了系統面向業務的可擴展性和開放性，業務需求能夠通過軟件實現來定義網絡，通過網絡功能原子化，使得多種網絡能力能夠在業務層面進行整合、統一呈現。同時面向應用開發者和服務提供商，提供便捷的應用開發環境及業務交付的服務支撐。在承載技術層面，隨選網絡系統充分考慮了overlay技術與underlay網絡資源相結合的方式，可以充分體現運營商的差異化競爭力。因此，隨選網絡系統的架構設計和關鍵技術的選擇，能夠較好地適應當前業務創新需求以及后續網絡演進需要。

[1] 韋樂平. SDN的戰略性思考[J]. 電信科學, 2015, 31(1): 7-12.

WEI L P. Strategic thinking on SDN [J]. Telecommunications Science, 2015, 31(1): 7-12.

[2] 何曉明, 冀暉, 毛東峰, 等. 電信IP網向SDN演進的探討[J]. 電信科學, 2014, 30(6): 131-137.

HE X M, JI H, MAO D F, et al. Discussion of evolution of carrier IP network to SDN[J]. Telecommunications Science, 2014, 30(6): 131-137.

[3] 趙慧玲, 史凡. SDN/NFV的發展與挑戰[J]. 電信科學, 2014, 30(8): 13-18.

ZHAO H L, SHI F. Development and challenge of SDN/NFV[J]. Telecommunications Science, 2014, 30(8): 13-18.

[4] IETF. BGP MPLS-based Ethernet VPN: RFC7432[S]. 2015.

[5] IETF. Virtual extensible local area network (VxLAN): a framework: RFC7348[S]. 2014.

[6] 李晨, 陳俏鋼, 李鳳凱, 等. SDN的網絡模型及北向接口[J]. 中興通訊技術, 2016, 22(6): 17-21.

LI C, CHEN Q G, LI F K, et al. Network model and northbound interface of SDN[J]. ZTE Technology Journal, 2016, 22(6): 17-21.

[7] 徐洪磊, 孫瓊. 基于SDN的網絡調優及控制器北向接口探討[J]. 電信技術, 2016(6): 49-52.

XU H L, SUN Q. Network tuning and discussion on northbound interface of controller based on SDN[J]. Telecommunications Technology, 2016(6): 49-52.

System architecture and key technologies of on-demand network

SUN Ying1, LIN Rui2, Nie Shizhong1

1.Beijing Research Institute of China Telecom Co., Ltd., Beijing 102209, China2.China Telecom Corporation, Beijing 100032, China

China Telecom’s selection of SD-WAN application scenarios and technical solutions was analyzed. At the same time, system architecture of China Telecom’s on-demand network and key technologies involved in R&D were elaborated, including EVPN technology, Devops platform technology, selection of VxLAN relay drainage technology and application.

on-demand network, software defined wide area network, orchestrator, controller

TN929

A

10.11959/j.issn.1000?0801.2017323

2017?11?10；

2017?12?07

孫穎（1977?），女，中國電信股份有限公司北京研究院高級工程師、隨選網絡解決方案專家，主要研究方向為IP網絡技術、SDN系統研發，擁有多項技術專利和國際標準，曾獲得中國電信集團公司科學技術進步獎二等獎。

林睿（1975?），男，中國電信集團公司網絡發展部網絡演進和規劃處處長，主要研究方向為承載網架構、SDN技術、業務平臺技術等，多次獲得中國電信集團公司科學技術進步獎一、二等獎。

聶世忠（1973?），男，中國電信股份有限公司北京研究院高級工程師、SDN技術專家，主要研究方向為IP網絡技術、IPRAN技術、SDN系統研發，擁有多項技術專利和國際標準，曾獲得中國電信集團公司科學技術進步獎一等獎。