基于SDN的CMNet演進

姜全澤，來志遠

(1.華信咨詢設計研究院有限公司，浙江 杭州 310014;2.中國移動通信集團北京有限公司，北京100007)

基于SDN的CMNet演進

姜全澤1，來志遠2

(1.華信咨詢設計研究院有限公司，浙江 杭州 310014;2.中國移動通信集團北京有限公司，北京100007)

從SDN技術發展現狀出發，分析CMNet業務網絡特點，提出CMNet分3步的SDN演進探討:第一步，關注城域范圍內關鍵場景的應用跟蹤;第二步，視技術成熟度，基于感知的流量工程逐步擴大到CMNet骨干網;第三步，與經營分析系統、業務系統、三方系統等各系統聯動實現適應市場業務可編排的SDN運營網絡。

流量工程;智能管道;SDN演進

1 引言

基于SDN(software defined networking，軟件定義網絡)的研究和應用領域當前主要集中在Google、Facebook、騰訊等IT廠商，而運營商主要在IDC領域進行實驗，運營商的廣域網和城域網的SDN應用研究較少。

2013年國務院關于“寬帶中國”戰略及實施方案的通知(國發〔2013〕31號)和關于促進信息消費擴大內需的若干意見(國發〔2013〕32號)兩個文件的發布對運營商提高寬帶服務有較大政策刺激。LTE(long term evolution)牌照已發放，各大運營商紛紛建設4G寬帶移動網絡。2015年3月國務院提出互聯網的 “提速降費”，進一步促進寬帶網絡的建設。固定寬帶采用光纖入戶改造寬帶接入網絡。在內容建設、流量經營方面，通過建設IDC、緩存系統、DPI(deep packet inspection)互聯網感知系統、資源調度系統，提高用戶訪問速度和訪問質量。未來數據流量將成倍增長，用戶帶寬也將成倍增長，運營商在寬帶網絡和內容運營方面不斷強化。

近年來，流量經營被提到了運營商戰略高度。CMNet(中國移動互聯網)在“平臺經營(云)、網絡經營(管)、用戶經營(端)”3個層面開展，實現流量經營目標。流量經營的需求對管道智能化提出了需求，基于流量特征識別、流量經營方向、流量經營措施、流量經營關鍵能力建設是智能管道的建設目標。CMNet IP基礎網絡和互聯網資源內容需要進一步通過創新手段，實現互聯網資源的全局可視化及基礎資源的優化調度。運營商在IDC建設過程中采用了云計算、虛擬化等技術，同時在IDC中逐步引入了SDN的思路。

當前國內運營商在IDC領域有局部試驗SDN，而廣域網SDN沒有進行相關的案例研究。本文通過SDN技術研究，分析CMNet業務網絡特點，探討向SDN演進的思路。

2 SDN技術綜述

2.1 SDN技術特點

SDN源于美國斯坦福大學Clean Slate項目組，研究的協議是OpenFlow。核心思想是承載面和控制面分離、集中控制、網絡開放。無論是ONF SDN架構定義、ETSI NFV架構定義還是OpenDaylight開源項目，這3種不同的架構在定義SDN總結為集中控制、開放接口、網絡虛擬化三大基本特征。

(1)集中控制

邏輯上的集中控制能夠支持獲得網絡資源的全局信息，并根據業務需求進行資源的全局調配和優化，例如流量工程、負載均衡等。

(2)開放接口

通過開放的南向和北向接口能夠實現應用和網絡的無縫集成，使得應用能告知網絡如何運行才能更好地滿足應用的需求，比如業務的帶寬、時延需求、計費對路由的影響等。另外，支持用戶基于開放接口自行開發網絡業務并調用資源，縮短新業務的上線周期。

(3)網絡虛擬化

通過南向接口的統一和開放，屏蔽了底層物理轉發設備的差異，實現了底層網絡對上層應用的透明化。邏輯網絡和物理網絡分離后，邏輯網絡可以根據業務需要進行配置、遷移，不再受具體設備物理位置的限制。同時，邏輯網絡還支持多租戶共享和租戶網絡的定制需求。

2.2 SDN技術水平

業界認為SDN主要有4種技術路線:創新OpenFlow模式、改良派的API模式、疊加模式和NFV(network funcation virtualization，網絡功能虛擬化)模式。

·創新的OpenFlow認為單點設備內部可編程 (如Google)，網絡設備轉發平面標準化，可編程，南北向均開放，開放生態鏈;控制靈活性很大，但技術難度高，從現網演進比較困難。

· 改良派API認為單點設備外部接口可編程(如Cisco)設備的可編程，開放北向API，盡量保留和重用現有的各種路由協議和IP網絡技術，控制靈活性適中，開放不徹底，可充分利用現有設備，快速實現業務。

·疊加模式認為技術架構是網絡邊緣軟件化，采用overlay技術，支持OpenFlow、OpenStack等管理虛擬機。VMware提出的VxLAN(virtual extensible local area network)技術滿足數據中心中對網絡管理虛擬機和多租戶應用。

·NFV實現軟件/硬件解耦。目標是硬件標準化，通過不同的軟件定制不同的網絡功能。通過虛擬化NFV基礎設施(包括多種物理資源的組合)節省總體成本，縮短業務部署周期。

從技術發展和適用運營商網絡的網絡演進的角度來看，除了創新派技術難以適應現網演進，其余3種技術都可在運營網絡應用。

2.3 SDN產業支撐

標準研究組織、OTT廠商、設備廠商、網絡運營商等組織在共同支撐SDN產業的發展。SDN技術發展階段如圖1所示。從SDN標準組織研究走在比較靠前，OTT推動積極，設備商用化尚未成熟，電信運營商部署SDN處于試驗階段，設備廠商和OTT有不同的運用。

圖1 SDN技術發展階段

(1)當前國際 SDN 標準組織(ONF、IETF、ITU-T、ETSI、CCSA等)對標準研究有不同程度的推進。

ONF基于OpenFlow協議，定義SDN主流的基礎協議和架構。OpenDaylight與Linux基金會合作，開發SDN控制器、南向/北向API等軟件，是一個開放的網絡編程平臺，使SDN具有任意大小規模的網絡虛擬化功能。IETF是傳統網絡廠商的勢力所在，強調與現有網絡設備緊密結合。IETF主張在現有的網絡層協議基礎上增加插件(plug-in)，并在網絡與應用層之間增加SDN orchestrator進行能力開放的封裝。ITU-T通過與ONF的聯絡協商，明確了將針對運營商網絡進行SDN場景對象、相關架構的研究。研究未來網絡包括云計算、移動和下一代網絡功能需求和網絡架構的標準化。Y.2301提出了網絡智能能力提升(network intelligence capability enhancement，NICE) 的思路。ETSI網絡功能虛擬化行業規范工作組 (ISG)支持網絡功能虛擬化，提出9種虛擬化應用場景。在行業標準服務器硬件上運行的軟件中執行網絡功能，這些軟件可以根據需要在網絡中不同位置的硬件上安裝和卸載，不需要安裝新的硬件設備。CCSA TC1已經在2013年初成立了未來數據網絡(FDN)任務組(SWG3)，重點研究基于SDN技術的未來數據網絡的場景需求、架構和協議標準。目前已立項的標準研究FDN的應用場景和需求、FDN的功能體系架構、FDN的通信協議。TC3開展了NGN中的SDN技術引入的需求和架構研究，尤其是與ITU-T SG13對口制定基于智能型網絡的SDN技術標準。TC6開始光網絡SDN架構的研究。

(2)OTT互聯網公司積極推動，已研發SDN設備應用在數據中心互聯。以Google、Facebook、微軟為代表，Google已經定制了SDN交換機。騰訊、阿里等積極參與SDN部署，騰訊通過租用電路進行獨立路由器組網。

(3)設備供應商處于設備研發試驗階段，設備尚不成熟。Juniper利用PEC為SDN在廣域網上實現閉環控制，利用BGP-TE獲取網絡拓撲信息。華為公司的策略是源于OpenFlow，但不限于OpenFlow，實現 PCE+Smart TE的網絡部署。Cisco通過Segment Routing進行靈活的流量調度，全網狀TE實現流量自動均衡實現私有化的onePK協議，支持 PCE、OpenFlow、ALTO 等協議。

(4)電信運營商，在數據中心有結合NFV的部分應用，國內運營商在數據中心開展了SDN試點，另外在城域網BRAS虛擬化進行了實驗研究。

ONF革新陣營、ITU和IETF傳統演進陣營多元共存將是SDN技術長期的業態。目前在設備支持方面有待成熟。

3 CMNet業務網絡部署及存在問題

中國移動網絡形成了接入網、傳送網、承載網、核心網、業務網和IT支撐的架構。網絡承載優化、內容建設、流量經營方面相互協同，初步形成了“云、管、端”的業務邏輯，如圖2所示。

(1)中國移動互聯網業務

CMNet承載以下數據業務:固定互聯網接入(包括面向家庭的寬帶互聯網接入和面向集團客戶的專線互聯網接入)、WLAN接入業務(GPRS/TD/LTE用戶接入)、網元的承載、移動數據中心IDC業務以及移動夢網的信息服務業務，目前主要基于中國移動數據業務管理平臺、WAP網關、短信網關、多媒體消息業務中心、139郵件系統、飛信系統等提供業務。

(2)內容建設

通過建設IDC、CDN、緩存系統減少互聯網跨網訪問，減少網間結算，提高訪問速度。

(3)互聯網流量經營

中國移動在“平臺經營(云)、網絡經營(管)、用戶經營(端)”3個層面開展，實現流量經營目標。通過DPI系統、互聯網感知系統、流量流向系統建設，提高管道利用率和用戶訪問質量。引入標準策略控制架構(PCC)方案，采用業務、累積流量、用戶簽約信息、位置/接入、時間等多維管控手段，與業務營銷、計費策略相關聯，通過端到端QoS控制減少資源占用。

(4)網絡結構

CMNet骨干網在網絡層次上目前分為骨干核心層、骨干接入層兩層結構。骨干核心層節點采用雙/四節點設置，節點間呈不完全網狀互聯，實現跨省業務的有效疏通。骨干接入層負責與省內的城域網疏通。在國內、國際網間互聯出口部署了流控、惡意代碼檢測、異常流量清洗等相關管控系統。省內網由多個城域網組成，城域網按核心、匯聚、控制3層結構。城域網核心層由高速路由器組成，城域網業務控制層由BRAS/SR組成，接入層通過PTN傳輸網、裸光纖等傳輸資源與OLT互聯。為保障業務安全，路由器、BRAS/SR設備通過OTN/DWDM進行鏈路保護。

隨著LTE的部署以及OTT視頻等高帶寬業務應用，網絡帶寬將成倍增長。CMNet核心、匯聚各層的規模也相應增長。CMNet除了完成寬帶業務接入、業務匯聚功能外，業務調度、流量疏導需求也日益明顯，流量調度需求表現在如下幾個方面。

· LTE部署，SGi接口流量的承載。

·LTE PGW集中設置，SGW至PGW的回傳 (或提供跨局址的異地備份、保護)。

· 互聯網企業互聯需求的流量，如企業互聯、L2/L3VPN需求等。

·IDC之間的流量調度需求。

·CMNet骨干網節點的大帶寬鏈路調度，當前為萬兆鏈路，未來大量100 Gbit/s鏈路的互聯需求。

圖2 CMNet業務網絡現狀

當前網絡還存在如下問題。

(1)缺乏有效流量調優措施，精細化運營不足

當前數據中心與骨干網之間流量，核心網Gi/SGi流量均缺乏有效的流量調優手段。盡管現在有經營分析系統、流量感知系統、資源調度系統這些手段來提升互聯網質量，但對流量精細化調度不足，如針對用戶等級、時段等進行精細化運營部署可編排性，流量靈活調度，現有網絡適應業務能力弱。

(2)網絡部署周期長，網絡運維成本高

骨干網上有多廠商的設備，不同設備間需協調，部署不同設備實現不同網絡功能，如BRAS、核心路由器等設備功能定位不同、部署周期長。對于每一次的網絡升級調整，需要投入大量的調測、運維成本。

4 面向SDN的CMNet演進探討

4.1 演進思路

運營商網絡不同于OTT網絡，系統多、網元構成復雜。在流量進一步擴大時，現網絡具備擴容或者新建條件，在新建過程中可采用SDN新技術解決網絡流量精細化管理、網絡部署周期長、網絡運維成本高等問題。面向SDN技術，CMNet演進需要一個過程。縱觀技術發展，SDN源于OpenFlow，但不局限于OpenFlow。面向SDN的網絡演進，運營商將采用多種技術。全新ONF模式的SDN并不適合運營商現網演進，而智能管道結合流量工程、網絡功能虛擬化更加符合運營商的演進模式。該模式更充分地利用現網資源，符合網絡滾動發展。

面向流量經營的戰略轉型，CMNet的能力必須與之相適應。現有CMNet和互聯網資源內容需要進一步通過創新手段來實現互聯網資源的全局可視化及基礎資源的優化調度。IDC應用的典型代表(如云計算、OTT視頻業務)不斷發展，CMNet需適應業務、承載靈活、網絡能力擴展性強、網絡運維支出少、部署業務的速度快。網絡扁平化、設備軟件化、硬件標準化是技術發展趨勢:網絡扁平化，網絡需具備從信宿到信源中繼少、路由跳數少、端口占用少的能力，目前運營商網絡有不同程度的扁平化應用;設備軟件化，通過軟件定義網絡，實現控制轉發分離;硬件標準化，通過通用硬件實現不同網絡功能，如邊緣設備多功能，實現NFV。現網SDN的演進，根據業務形態的編排將會使網絡快速適應業務的快速部署，同時節約網絡運維支出。

如圖3所示，SDN與智能管道具有天然的契合度，左圖為ONF的標準SDN架構，右圖為Y.2301提出的智能管道的架構，二者具備相同的承載與控制分離的思路，不同點在于Y.2301對運營商現有網絡的演進關聯度更高。智能管道的部署也是逐步部署演進的過程。智能管道的關鍵是讓網絡更好地服務于業務和用戶體驗，最終解決提升管道價值的問題。智能管道的內涵就是挖掘和補充現有網絡的能力，增強網絡及業務間的協同和保障，并最終實現用戶可識別、業務可區分、網絡可管理、流量可控制的“四可”網絡。

在網絡演進過程中，一要關注標準化組織的技術發展并參與標準化工作;二要結合現有設備在不影響網絡運營的前提下開展局部的實驗，如城域網BRAS/SR虛擬化、IDC流量調優精細化流量經營、結合計費策略的業務編排用戶帶寬升級等;三要結合業務的編排研發SDN控制器，讓網絡設備標準化推進SDN演進。

4.2 演進步驟

CMNet按照智能管道結合流量工程、網絡功能虛擬化CMNet演進思路。第一步，城域范圍內關鍵場景的應用跟蹤;第二步，視技術成熟度，基于感知的流量工程逐步擴大到CMNet骨干網;第三步，經營分析系統、業務系統、三方系統等各系統聯動以實現SDN。

4.2.1 關注城域范圍內關鍵場景的應用跟蹤

(1)IDC資源池化與城域網流量優化

如圖4所示，基于SDN+VxLAN/GRE實現網絡IDC資源池虛擬化，實構建跨DC資源池和物理位置提供vDC服務。通過流量監控實現流量可視化，進一步實現根據租戶等級流量控制調優。基于SDN控制器實現對DC出口，出口路由器間的智能流量調度，流量調度策略靈活定義。基于網絡開放API，提供面向應用的網絡級開放能力，實現網絡與計算、存儲資源系統協同。基于租戶/業務的增值業務，通過MPLS VPN城域網提供單位租戶或業務系統的增值業務能力。

(2)設備虛擬化

虛擬化的最大好處主要體現在新業務上線周期的縮短以及運維效率提升帶來的OPEX節省。在城域網中，BRAS的虛擬化是當前比較熱門的方向，主要思路是把認證、計算功能集中在城域網區域核心，城域網變成一個大的二層網絡，通過光網保障業務可靠性，核心通過服務器進行集中的認證，大大簡化邊緣設備。目的是減少邊緣設備的成本(包括家庭網關的成本)。

(3)服務鏈的構建

服務鏈的構建源于核心網SDN控制，基于不同的業務類型快速實現增值服務的構建，縮短業務部署周期。

(4)IP+光傳送網結合應用

IP+光網絡的SDN應用，總體而言是基于大顆粒的流量調度，認為結合PCE(路徑計算單元)的集中路由和OpenFlow的集中信令將是傳送網的演進方向。光傳送網絡軟件可編程，載波數、譜寬等要素根據需求編排。集中控制進行全網協同，降低網絡規劃難度，提升資源利用效率，加快業務提供速度。

圖3 SDN與智能管道的契合示意

圖4 IDC資源池化與城域網流量優化

4.2.2 基于感知的流量工程逐步擴大到CMNet骨干網

在完成城域網實驗后，視技術成熟度擴大到CMNet骨干網，實現根據CMNet路由網絡MPLS VPN與PCEP(路徑計算單元協議)流量工程。對于可編排的流量工程，分3個階段進行流量的精細化管理:第一個階段，RR+(路由反射器)為每個鄰居獨立計算路由，統一考慮全局流量規劃選擇路由和路徑;第二個階段，PCE+控制隧道建立和RR+一起基于多約束路徑計算，基于流量、端到端的策略完成路徑控制;第三個階段，通過獨立的SDN控制器實現精細化流量工程。

4.2.3 演進目標實現系統聯動的SDN

如圖5所示，目標是在現有網絡基礎上實現省級、中央兩級控制器。在獨立SDN控制器的基礎上，更多地結合業務應用，實現業務應用、靈活編排的SDN。北向接口可采用嵌入式 API REST，南向統控制接口可采用NetConf/SNMP/CLI，轉發控制接口可采用 OpenFlow/IRS。結合現有的運營系統、第三方開放系統、業務系統區分業務、流量、用戶簽約信息、位置、時間等多維組合。與業務營銷、計費策略相關聯，通過端到端QoS控制基于應用層感知。基于用戶需求和第三方應用進行組網和構建服務鏈。與經營分析系統、業務系統、三方系統等各系統聯動的實現網絡的SDN。

圖5 系統聯動的兩級SDN目標架構設想

5 結束語

與IT企業的革新式技術不同，CMNet向SDN的演進必然是漸進式的過程。本文提出結合現有CMNet三步走的SDN演進思路。方案中還有一些需要深入研究和細化的問題，如SDN控制器如何適應當前復雜運營環境的規則并與流量工程結合，光傳送層面的OTN設備和現有路由設備如何融合等。

［1］Software-defined networking:the new norm for networks［EB/OL］.(2013-04-02) ［2015-12-01］.https://www.opennetworking.org/images/stories/downloads/sdn-resources/white-papers/wp-sdn- newnorm.pdf.

［2］Software-defined networking (SDN):layers and architecture terminology ［EB/OL］. (2015-01-9) ［2015-12-1］.http://www.rfc-editor.org/rfc/rfc7426.txt.

［3］Power up your SDN ［EB/OL］.(2015-01-10)［2015-12-1］.https://www.opendaylight.org/lithium.

［4］何曉明，冀暉.電信IP網向SDN演進的探討 ［J］.電信科學，2014，30(6):131-137.HE X M，JI H.Discussion of evolution of carrier IP network to SDN［J］.Telecommunications Science，2014，30(6):131-137.

［5］王茜，趙慧玲，解云鵬，等.SDN在通信網絡中的應用方案探討［J］.電信網技術，2013，3(3):23-27.WANG Q，ZHAO H L，XIE Y P，et al.Discussion on SDN applications in communications network［J］.Telecommunications Network Science，2013，3(3):23-27.

［6］王素彬，郭亮.ChinaNet向SDN演進的方法探索 ［J］.電信科學，2013，29(6):171-157 WANG S B，GUO L.Study on IP RAN technique evolution and network construction［J］.Telecommunications Science，2013，29(6):171-157.

［7］曹芹.SDN 對運營商的價值［J］.電信網技術，2013(3):10-15.CAO Q.Value of SDN to operators ［J］.Telecommunications Network Science，2013(3):10-15.

［8］胡曉娟，張園.基于SDN融合的虛擬化移動核心網絡研究［J］.電信科學，2013，29(9):51-54.HU X J，ZHANG Y.ResearchontheSDN-basedand virtualized mobile controlnetwork ［J］.Telecommunications Science，2013，29(9):51-54.

［9］賈聿庸，袁博，黃曉瑩.寬帶智能提速平臺向SDN演進的探討［J］.電信科學，2013，29(6):139-144.JIA Y Y，YUAN B，HUANG X Y.Evolution of broadband intelligent speedup platform to SDN srchitecture ［J］.Telecommunications Science，2013，29(6):139-144.

［10］郭恩陽，范云凌.移動分組域核心網向SDN架構EPC演進的發展展望［J］.移動通信，2013，14(14):78-82.GUO E Y，FAN Y L.Development prospect of evolution from mobile packet core network to EPC based on SDN architecture［J］.Mobile Communications，2013，14(14):78-82.

［11］姜全澤，來志遠.超寬帶 CMNet城域網優化組網策略 ［J］.電信科學，2013，29(4):131-140.JIANG Q Z，LAI Z Y.Research on network optimization strategy of ultra-broadband CMNet metro network ［J］.Telecommunications Science，2013，29(4):131-140.

CMNet evolution based on SDN

JIANG Quanze1，LAI Zhiyuan2
1.Huaxin Consulting&Design Institute，Hangzhou 310014，China 2.China Mobile Group Beijing Co.，Ltd.，Beijing 100007，China

From the current development situation of SDN technology，characteristics of CMNet were analyzed.Then the CMNet evolution was divided into three stages:firstly，focused on the application of the key scenes in metro area;secondly，gradually expanded to the CMNet backbone network depended on the technology maturity and the perception of traffic engineering;thirdly，business analysis system，business system，third-party's system and other systems were linked to achieve the market adapting and stitchable SDN.

traffic engineering，intelligent pipeline，SDN evolution

TN915.41

A

10.11959/j.issn.1000-0801.2016028

2015-06-30;

2015-12-08

姜全澤(1975-)，男，華信咨詢設計研究院有限公司高級工程師，主要研究方向為移動IP網絡。

來志遠(1976-)，男，中國移動通信集團北京有限公司高級工程師，主要研究方向為移動IP網絡。