SDN規模部署關鍵問題分析

李晨+程偉強+王金柱

摘要：SDN是中國移動未來網絡項目NovoNet的核心技術之一。指出中國移動的SDN實踐，重點包括數據中心、軟件定義的分組傳送網（SPTN）、廣域網、集客網、移動核心網五大應用場景。通過對SDN發展的關鍵技術問題的介紹和分析，認為SDN把軟件和網絡結合在一起，給網絡帶來靈活性和開放性，同時也對網絡固有的穩定性有所沖擊。對于SDN引入來說，應該全局考慮業務系統對穩定性和靈活性的需求和平衡。

關鍵詞： SDN；NovoNet；數據中心；SPTN

1 未來網絡發展目標

通信網絡經歷了1.0模擬通信、2.0數字通信、3.0 IP化通信，正式進入通信4.0 時代。通信4.0 需要信息技術（IT）和計算機技術（CT）融合。其核心特征包括敏捷化、開放化、軟件化、虛擬化。為實現快速響應市場發展，滿足客戶對通信網絡深層次需求的目標，亟須開展網絡轉型工作。中國移動于2015年初提出了發展下一代創新網絡NovoNet的理念，深度融合IT新技術，構建“資源可全局調度，能力可全面開放，容量可彈性伸縮，架構可靈活調整”的新一代運營商網絡。

1.1 新型數據中心和新型網絡

通信4.0時代的網絡在物理設計上應具備兩大基礎特征：

（1）網絡功能軟件化形成電信云，構成新型數據中心。

（2）軟件定義網絡（SDN），實現靈活調度，構成新型網絡。

傳統電信網絡采用專用設備，這些設備的電源、功耗、尺寸要求各不相同，導致大量專用電信機房出現。未來的新型數據中心目標是統一規劃，采用通用服務器，形成統一的資源池，電信設備將采用網絡功能虛擬化（NFV）技術實現軟硬件分離，電信網元功能以軟件形式承載在統一資源池上形成電信云，實現網絡快速部署，網元快速升級以及容量的彈性調度。新型數據中心的核心技術是NFV和SDN。

傳統IP網絡自組織轉發方式無法準確調度路由和開放路由；輕載建設的傳統模式在大帶寬時代無法長久持續。新型網絡采用SDN技術，通過將路由設備控制和轉發功能分離，實現網絡路由的集中計算，向轉發設備下達路由，從而實現網絡的靈活、智能調度，以及網絡能力的開放和可編程[1]。

1.2 中國移動NovoNet計劃

中國移動推出NovoNet新一代網絡計劃，旨在融合IT、CT技術，構建一張“資源可全局調度，能力可全面開放，容量可彈性伸縮，架構可靈活調整”的新一代網絡。NovoNet中Novo是拉丁語創新的詞根，Net包括了移動和固定網絡、IP網絡、傳輸網絡以及數據中心網絡。NovoNet的核心技術是SDN和NFV，核心思想是“新架構、新運營、新服務”。NovoNet將以新型數據中心為單元形成電信云，通過新型網絡實現高效承載，最終實現網絡功能軟件化、資源共享化、網絡可編程。

2 中國移動SDN部署實踐

2.1 SDN部署應用場景

中國移動SDN網絡主要包括5個應用場景：

（1）NovoDC，是NovoNet在數據中心的實現方案，旨在為公有云、私有云提供多租戶/多業務的虛擬網絡，滿足用戶自助開通虛擬私有云網絡的需求。

（2）軟件定義的分組傳送網（SPTN），是NovoNet在傳送網的主要場景之一，旨在為集團客戶、長期演進（LTE）回傳網絡提供快速開通和質量保證。

（3）NovoWAN，是NovoNet在廣域網的實現方案，通過實時感知網絡流量，全局集中調度流量，提升IP網絡帶寬利用率，并且能夠保證關鍵業務質量。

（4）NovoVPN，是NovoNet在集客多協議標簽交換（MPLS）虛擬專用網絡（VPN）的實現方案，該方案基于Overlay VPN技術，實現集客VPN用戶的快速接入，自動上線。

（5）移動核心網、固網應用SDN，實現靈活業務鏈的編排。

2.2 數據中心SDN商用部署

2015年中國移動公眾服務云商用部署SDN網絡，主要提供私有網絡（VPC）、虛擬防火墻、虛擬負載均衡、VPN等網絡服務。該方案基于中國移動自研的OpenStack大云平臺，采用Plug-in方式和SDN對接。

該方案中SDN轉發節點數百個，控制器采用集群方式實現可靠保護和負載分擔，如圖1所示。

2.3 SPTN部署

2.3.1 SPTN架構、北向接口和南向接口

SPTN是業界率先提出面向超大規模網絡的層次化控制架構，并付諸實現。SPTN作為下一代城域傳送網解決方案，要能夠覆蓋全國所有縣市，實現多廠家，百萬節點組網。為了在大規模網絡上，同時實現區域內靈活管控和跨區域端到端調度，SPTN引入了分層分域管理的層次化控制器模型，如圖2所示[2]。

直接管理轉發設備的控制器成為域控制器，一個管理域對應一個域控制器來管控；在域控制器之上，可以繼續構建超級控制器，用于管理下層的多個域控制器；若需要跨域管理多個超級控制器的域，還可以繼續在此基礎上構建更高層次的超級控制器。通過構建金字塔式的層次化控制器架構，頂層控制器能對全網的集中控制中心，實現大規模、多域、多廠家組網。同時，各層控制器獨立管控自己域內的資源，能夠實現本地運維和管理。

各層控制器采用統一的拓撲、資源、業務抽象模型，上層控制器可通過下層控制器的北向接口的調用來完成自底向頂的集成。如果提升控制器的管理能力，控制器支持管理更多的轉發設備的情況下，可以避免控制器的層次過多，這樣更加有助于網絡的集成和管理。

中國移動率先制訂了SPTN標準信息模型及接口協議，實現現網多廠家互聯及智能化升級。北向接口指控制器之間以及控制器與應用程序（APP）之間的接口，主要接口功能需包括拓撲管理、業務控制、告警、性能監測控制以及安全管理等功能。APP與控制器之間的接口以及控制器之間接口的大部分功能相同，為了減少接口標準的復雜度，兩個接口采用相同的標準協議。在SPTN系統中，采用了業界主流的RESTCONF接口，針對SPTN功能設計了統一的YANG數據模型，描述接口的交互信息，主要的模型如表1所示。

制訂SPTN 南向接口（OpenFlow 表轉發模型（TTP））， 通過標準轉發設備和南向接口實現跨廠家設備的直接管控。原生的OpenFlow無法滿足SPTN電信級網絡的要求。SPTN針對OpenFlow做了如下方面的擴展：

（1）轉發pipeline擴展。該擴展支持網絡側接口（NNI）到用戶網絡接口（UNI）側的處理，以及UNI 到NNI 的處理。這個處理過程能夠使得SPTN 系統能夠插入或者提取合適的操作管理維護（OAM）報文或者保護報文。

（2）對OAM 的擴展。該擴展需滿足層次化的OAM 要求，支持段層、偽線（PW）層、分層服務提供商（LSP）層以及業務層的各種OAM 處理，以及不同廠家設備之間的互聯互通。對OAM 的擴展模塊應置于傳送設備，以硬件實現，以保證實時性。

（3）對線性保護倒換的擴展 。線性保護需要運行較復雜的狀態機，如果都運行在控制平面，50 ms以內的快速保護倒換很難實現。在SPTN中建議將倒換狀態機的運行作為黑盒放置于傳送設備，該處理模塊與OAM模塊及OpenFlow pipeline對接，同時，控制器運行協同機制，保證保護倒換狀態的一致性。

2.3.2 SPTN測試和試點

SPTN構建了包括軟件系統（APP、超級控制器、域控制器）、硬件設備（SPTN設備及芯片），測試儀表等的端到端生態系統，如圖3所示。

目前，中國移動已經完成現網7廠家的實驗室互通測試，在廣東、浙江、福建、北京等省份或地區進行了在現網商用試點。試點結果表明，SPTN網絡讓PTN專線開通時間從“周”級別縮短到“分鐘”級，實現了跨廠家端到端業務開通。

2.4 自研SDN控制器

自2014年起，中國移動基于開源OpenDaylight平臺，自主研發了面向數據中心的SDN控制器，為公有云、私有云提供虛擬網絡解決方案。自研SDN控制器一方面借助OpenDaylight平臺實現多種南向協議（包括OpenFlow、NETCONF等）以及網絡基本功能（拓撲、狀態管理，主機追蹤等）；另一方面自主研發新功能，滿足中國移動數據中心的定制需求。自研新功能主要包括以下幾部分，如圖4所示。

（1）虛擬網絡轉發、策略控制。基于開放虛擬交換機（OVS），通過OpenFlow流表的方式實現功能包括L2轉發、L3分布式路由、安全組、虛擬端口限速、動態主機配置協議（DHCP） 服務、元數據服務。

（2）與第三方網元開放接口互通。利用多廠家商業VXLAN網關、防火墻、負載均衡器為虛擬網絡提供服務。自研SDN控制器按照《中國移動SDN控制器接口規范》進行開發，控制商用設備。

（3）多層、可視化運維。提供Underlay物理層、Overlay虛擬網絡層以及用戶視圖層3個層面的可視化運維功能。

（4）OpenStack集成。能夠與主流OpenStac發布版I、K等集成。

中國移動自研SDN控制器不僅能夠滿足數據中心的定制化功能需求，在性能方面也可以滿足中型數據中心上千臺虛擬機（VM）并發上線的能力。

3 SDN規模部署關鍵問題

通過以上一定規模的商用部署和運營，以及真實環境下的壓力測試，我們發現SDN網絡在實際使用中還存在著一些問題亟待解決：

（1）軟件定義網絡，除了把軟件的優勢帶給了網絡，也把軟件的問題擴展到網絡，影響到了網絡的穩定性。數據庫、消息隊列以及異常處理是大型軟件運行中影響穩定性的主要因素。傳統網絡設備采用專用轉發芯片實現，操作系統運行的軟件以及協議相對簡單，穩定性較高。SDN網絡中通過控制器集中處理消息，引入了消息隊列、數據庫等軟件組件，在大壓力下這些軟件組件本身的問題將直接影響網絡系統的穩定性。在使用中，我們發現了幾個實際應用中的案例：

·數據庫不同步。OpenStack Neutron和控制器都維護各自數據庫。當一個虛擬交換機（VSM）故障，馬上新建VM時，Neutron數據庫來不及更新而控制器已經感知，后續對這個VM的處理將出現異常。

·消息隊列滿?？刂破飨㈥犃袧M了，將造成后續VM端口啟動消息丟失，進而導致后續VM無法執行DHCP流程并獲取IP地址。

·異常處理不完善。為了避免并發寫數據時候的沖突問題，軟件系統的操作方式有兩種，一種是單數據庫操作且寫數據加鎖，但這種方式效率有限；另一種方式是采用分布式數據庫采用負載分擔方式，不過容易出現并發寫的時候鎖不住，造成兩邊數據沖突，所以在鎖不住的情況下往往采用回滾方式處理。由于控制器異常情況下回滾處理不完善，回滾失敗，導致重新申請失敗。

在大數據量并發配置的情況下，上述問題很容易發生，且直接影響網絡的穩定性。關于軟件給網絡穩定性帶來風險的問題，需要重點研究和優化。

（2）目前的SDN產品不是開放，而是更封閉。傳統網絡中，基礎網絡基于以太網、IP路由協議搭建，主要采用多廠家數據中心交換機產品混合組網。對于安全、負載均衡等增值網絡服務方面，可以通過IP技術兼容第三方廠家產品實現。從目前SDN產品看，包括控制器、虛擬交換機、SDN TOR交換機、SDN網關、防火墻、負載均衡、VPN設備等，都必須采用單廠家一攬子方案，最多強綁定指定第三方產品。這種格局并不利于SDN的長遠發展。

該問題表現為2個層面的綁定：第1個層面是SDN和功能網元的綁定；第2個層面是SDN控制面和轉發面的綁定。對于第1個層面，其本質在于目前缺少標準的業務鏈實現機制，所以廠家在SDN轉發設備和防火墻、負載均衡等網絡功能設備之間導流時，采用了SDN廠家私有技術和接口。另外，功能網元的配置定義不完善（如單臂雙臂、子接口虛擬局域網配置等），需要相應的擴展。對于第2個層面，一方面從商業上講，控制器和轉發設備之間想打開是一種新的商業模式，還需要產業鏈自己去演進，也許未來會形成控制器廠家和轉發設備廠家，而現階段，每個廠家都同時有控制器和轉發設備，想互相管理對方的設備難度很大；另一方面，單從技術上講，即使不同SDN方案提供商宣稱控制器和轉發設備之間都支持OpenFlow1.3，但是在這些flow mod消息中到底相同功能的一條流表映射成為幾級設備上的轉發表，每級轉發表匹配的內容和動作是什么，都是千差萬別的，特別是控制器去配置硬件交換機時，還和芯片有關，難度更大。

中國移動自主開發SDN控制器的最主要需求就是為了解決上述兩個問題。一方面通過定義標準的控制器與多廠家轉發設備之間的接口和模型，實現SDN和NFV的解耦；另一方面通過制訂標準的OpenFlow流TTP，實現控制器與轉發設備之間標準的南向接口，解耦SDN控制面和轉發面。

（3）多域協同的架構選擇問題。廣域網部署SDN面臨很多實際的挑戰。電信級的網絡中，網元數量眾多，以PTN設備為例，每個省有幾萬端設備，全國近100萬端設備，單一甚至集群控制器無法管理這么大規模的網絡。另外，廣域網的轉發設備分布很廣，覆蓋全國31個省份，且網絡拓撲復雜，省內分為接入、匯聚、核心3層，跨省還有單獨的承載平面，如果控制器全國集中部署，光控制器和轉發設備之間的傳輸時延就有幾十毫秒，對控制面的可靠性和穩定性影響大。最后，由于長期網絡的運維分工，廣域網的運維、管控團隊部門很多，較難實現理想的SDN集中控制和管理。

分域控制器是廣域網引入SDN新技術，解決上述運營和維護問題的有效手段。分域控制器本身的方案選擇也分為單層控制器+東西向接口、多層控制器+南北向接口兩種方式。如圖5所示，通過優劣勢對比，多層控制器平衡了復雜性，是有效的多域協同網絡架構。

（4）缺少大規模復雜網絡中控制器功能及性能測試方案?？刂破鞯墓δ芎托阅軠y試是SDN方案的重中之重。在SDN產品快速發展的過程中，測試儀表和方案一直相對落后，沒有專門的、通用的測試產品。為此，中國移動牽頭梳理了SPTN場景下的測試需求，并聯合儀表廠家、分組傳送網（PTN）廠家聯合開發SPTN測試儀表，填補了產業鏈在SPTN測試領域的空白。當前控制器測試的主要問題包括3點：

·控制器是面向十萬節點量級網絡設計的，如何衡量控制器的性能指標并進行定量測試。

·測試環境包括多層次化控制器及轉發設備，如何進行全系統端到端精細測試。

·各種接口是適配實際網絡設計的，如何采用通用測試儀表進行相關測試。

測試儀表主要實現以下套件，完成接口、功能和性能測試。

·接口一致性測試套件。分別模擬APP、各層控制器、轉發設備，驗證被測設備接口對象樹構型、屬性間關系和取值正確性。

·控制器功能和性能測試套件。模擬控制器或大量網元，對業務功能管理、拓撲管理、通知告警和性能管理等功能性能進行測試，并給出問題原因。

4 展望

SDN被視為下一代網絡的核心技術已經廣泛達成共識，不管是AT&T的Domain2.0，中國移動的NovoNet，還是中國聯通的CUBE-NET2.0和中國電信的CTNet2025，不同運營商應用SDN主要的場景也基本一致。

中國移動一直以來作為新技術的引領者，積極探索和實踐SDN架構和技術給網絡帶來的價值，同時也在實際應用中發現了一些問題，歸結為一個詞就是“跨界”。SDN把軟件和網絡結合在一起，給網絡帶來靈活性和開放性的同時，也對網絡固有的穩定性有所沖擊，需要持續完善和優化。對于SDN引入來說，應該全局考慮業務系統對穩定性和靈活性的需求和平衡，具體問題具體分析。

跨界的SDN對網絡行業的影響是深遠的，從廠家、設備、產品，到網絡設計人員、維護人員，再到公司的體制都面臨著挑戰。隨著更多的SDN商用案例推出，這些挑戰將更加顯現，從業人員和公司除SDN技術本身之外，還應更多地考慮知識跨界和轉型。

參考文獻

[1] 李正茂. 通信4.0：重新發明通信網[M]. 北京： 中信出版集團， 2016

[2] 李晨，段曉東，陳煒，等. SDN和NFV的思考與實踐[J]. 電信科學， 2014， （8）： 23-27. DOI： 10.3969/j.issn.1000-0801.2014.08.004