云數據中心SDN/NFV組網方案、測試及問題分析

顧戎，王瑞雪，李晨，黃璐

(1.中國移動通信有限公司研究院網絡技術研究所，北京 100053;2.北京郵電大學網絡技術研究院，北京 100876)

云數據中心SDN/NFV組網方案、測試及問題分析

顧戎1，王瑞雪2，李晨1，黃璐1

(1.中國移動通信有限公司研究院網絡技術研究所，北京 100053;2.北京郵電大學網絡技術研究院，北京 100876)

云計算技術的快速發展和廣泛應用使得數據中心的業務形態產生了翻天覆地的變化，SDN和NFV兩大技術聯合應用在數據中心優勢顯著，真正實現了網絡資源的虛擬化。經過有針對性的SDN/NFV規模組網評測，可以看到SDN/NFV已經具備在云數據中心網絡的部署條件。同時，在方案制定和測試驗證過程中也發現了一些關鍵問題需要未來進一步研究和探討。

SDN;NFV;云數據中心;方案測試

1 引言

1.1 SDN和NFV技術相互補充相互結合

SDN(software defined networking)是一種軟件集中控制、網絡開放的網絡體系架構，核心思想在于控制與轉發相分離、集中化控制、通過標準接口開放網絡能力。其最大價值在于提升網絡虛擬化能力、加速網絡創新，提高全網資源使用效率。NFV(network function virtualization)是采用虛擬化技術，將傳統電信設備與硬件解耦，基于通用的計算、存儲、網絡設備實現電信網絡功能，從而提升設備的建設、管理和維護效率。

網絡由網元功能及其之間的網絡連接共同組成，SDN和NFV就是網絡連接與網元功能的關系。SDN提供網絡連接，NFV提供網元功能，二者相互獨立又相互補充，如圖1所示。其中，獨立性表現為SDN可以基于傳統硬件方式實現網絡功能，也可以采用NFV方式提供網絡功能。兩者相互補充會發揮更大的效應:一方面，SDN技術將網絡的轉發功能和控制功能分離，功能的拆分有利于網元的NFV化;另一方面，NFV可基于x86通用硬件為SDN的控制和轉發網元提供虛擬資源，使得SDN的資源調度更加靈活。

圖1 SDN和NFV的關系

1.2 云數據中心引入SDN/NFV技術的必要性

傳統網絡虛擬化能力不足，使得云數據中心虛擬私有云(virtual private cloud，VPC)業務和業務鏈(service chain)服務受到挑戰。靈活性、擴展性和易用性成為未來網絡的基本特征。在此背景下，SDN和NFV技術的出現使其迅速成為產業關注的熱點。

將集中控制、能力開放的SDN架構應用于云數據中心，可提升網絡服務的虛擬化能力，提高全網資源調度的高效性，滿足虛擬機在數據中心內靈活創建、遷移、隔離等業務需求。同時為了解決防火墻、負載均衡器、廣域網VPN網關等傳統硬件設備虛擬化能力有限的問題，云數據中心在SDN架構的基礎上引入NFV形式的軟件產品，采用業務鏈的解決方案為每個租戶單獨提供可定制的服務，并集中進行流量的調度。通過SDN和NFV技術聯合，可以將物理網絡抽象成虛擬的邏輯網絡模型，基于SDN架構、OpenStack標準接口和流表設計實現VPC和業務鏈服務，并通過加速技術實現NFV網元的高效工作。

2 云數據中心SDN/NFV技術引入方案

2.1 云數據中心SDN/NFV組網架構

云數據中心SDN解決方案具有多級架構，包括應用層、協同層/虛擬化平臺、控制器和轉發層。多級架構有助于實現網絡的靈活調度，提供真正的網絡即服務。

SDN調度平臺或者第三方平臺作為應用層，為用戶提供網絡資源的自配置界面以及虛擬網絡拓撲配置界面，用戶可針對虛擬鏈路/網元進行訪問控制策略的配置，并向用戶實時呈現當前網絡的運行情況。

協同層包含計算、存儲、網絡、鑒權等多個模塊，用于調度數據中心內的計算、存儲和網絡資源。

控制層為邏輯集中的控制實體(物理上可集中式資源實現或者分布式資源實現)，將應用層業務請求轉化為轉發層的流表并配置到轉發層的相應網元中，并接收轉發層的狀態、統計和告警等信息。

轉發層由具有分組轉發功能的物理設備 (物理網元)或虛擬交換設備(虛擬網元)組成，根據SDN控制器通過控制—轉發接口配置的轉發表完成數據轉發。虛擬轉發層是云計算數據中心組網中必不可少的一個層次，用來滿足云計算環境下的虛擬機流量交換需求并提供靈活的流量調度。從轉發層的不同網元選擇以及采用的流量封裝方式來看，可分為overlay和overlay+underlay組網方案。

overlay組網方案的核心在于僅通過SDN控制虛擬交換機，虛擬交換機作為VxLAN的接入點，虛擬交換機之間通過VxLAN tunnel建立重疊網絡，基于SDN的流量控制和業務編排完全在虛擬交換機層面完成。底層的物理網絡通過網管或命令行方式基于傳統網絡技術提供服務器(虛擬交換機)之間的二層或三層連通，基于虛擬交換機增加的VxLAN封裝的MAC地址或IP地址信息進行轉發，對于虛擬機之間的流量并不直接感知。

overlay+underlay組網方案是通過SDN同時控制物理和虛擬交換機，全面控制網絡資源。虛擬交換機仍然作為VxLAN的接入點，虛擬交換機之間通過VxLAN tunnel建立重疊網絡，基于SDN的流量控制和業務編排結合虛擬交換機和物理交換機共同完成。此時物理網絡只需要基于虛擬交換機增加的VxLAN封裝的報頭信息進行轉發，物理交換機的轉發流量容量需求大大減少。由于物理交換機也在SDN的控制之下，VxLAN網關可以由核心交換機來兼做，一方面能夠優化流量轉發的路徑，另一方面基于硬件設備的VxLAN網關具有更好的轉發性能。另外，該方案可以同時適用于純虛擬機業務環境和虛擬機物理服務器共存的業務場景。

兩種組網方案針對不同的場景需求。建議在以虛擬機為主的業務場景采用overlay方案;在同時需要虛擬機和物理服務器的業務場景采用overlay+underlay方案，另外，根據設備支持情況和性能需求選擇虛擬交換機或硬件交換機作為VxLAN接入點。

云數據中心SDN/NFV組網架構中，NFV網元以資源池的形式存在，通過SDN業務鏈調度實現NFV(包括虛擬防火墻、虛擬負載均衡等)的能力。

2.2 云數據中心SDN NFV方案評測

為了在云數據中心引入SDN和NFV技術，提供虛擬私有云 (virtual private cloud，VPC)和業務功能鏈(service function chaining，SFC)等先進網絡服務，本文對云數據中心SDN/NFV方案進行了規模組網評測，如圖2所示。本次評測基于開源OpenStack平臺，采用KVM虛擬化操作系統，對SDN重疊網解決方案進行驗證。

本次評測針對SDN云數據中心系統、控制器、轉發設備(含SDN、NFV)的功能和性能進行全面測試，測試圍繞OpenStack系統測試、SDN控制設備測試、SDN轉發設備測試、NFV網元(包括負載均衡器、防火墻以及IPSec VPN)測試以及通用安全性測試共5個部分展開。

(1)OpenStack系統測試

OpenStack系統測試屬于SDN多層架構中協同層/虛擬化平臺測試，具體包括OpenStack平臺實現虛擬路由器、網絡、安全組功能測試，浮動IP地址、NAT功能測試，LB/FW/VPN業務自動開通功能測試以及容量并發、壓力可靠性測試。結合數據中心的實際業務，對OpenStack云平臺提出要求。

通過OpenStack云平臺自服務對虛擬路由、網絡、子網、端口、安全組進行創建、刪除、修改、查看等相關操作，SDN控制器從云平臺獲取網絡信息并下發配置到轉發設備，從而對租戶自定義網絡、創建虛擬機、創建基于安全組的子網訪問策略等功能進行驗證。

通過浮動IP地址、NAT功能測試，驗證SDN和傳統網絡的互通，任意虛擬機訪問外網能力以及轉發設備是否支持公網IP地址和私網IP地址 1∶1靜態綁定和N∶1 NAT兩種方式。兩種方式下針對IP地址的帶寬限速功能也進行同步驗證。

通過OpenStack云平臺自服務方式對虛擬防火墻/虛擬負載均衡器進行創建/刪除/修改/查看等相關操作，對IPSec VPN服務執行開通操作，驗證NFV網元自動或者手動開通功能。

通過容量并發、可靠性腳本壓力測試驗證通過云平臺可以創建的最大的網絡(子網)、虛擬路由器、安全組、虛擬機數量以及SDN系統對并發創建的處理能力。

(2)SDN控制設備測試

SDN控制設備測試對控制器性能，包括控制器流表下發速度、建立時間、支持流表總容量以及支持交換機規模上限進行性能測試;在控制設備可靠性方面，對控制器主備負載分擔能力以及發生故障時主備倒換能力和倒換時間提出要求;進一步驗證SDN控制設備的可商用性。

圖2 云數據中心SDN/NFV方案評測示意

(3)SDN轉發設備測試

SDN轉發設備由物理網元或者是虛擬交換設備實現分組轉發功能，SDN轉發設備測試內容包括轉發設備的功能、可靠性、穩定性測試以及轉發設備性能測試。

(4)NFV網元測試

NFV網元測試針對NFV網元，包括負載均衡、防火墻以及VPN的功能和性能進行驗證。通過測試，對LB/FW/VPN的功能以及在一定性能要求下單服務器上能承載的最大虛擬網元數目進行驗證。

負載均衡的功能及性能測試驗證負載均衡服務是否支持健康檢查、負載均衡算法、SSL功能、會話保持及多VIP訪問;可靠性方面驗證是否支持雙機熱備份。與此同時，在統一配置服務器承載的一定性能要求的負載均衡器最大數目也得到了測試，具有實際部署指導價值。

防火墻功能及性能測試針對基于五元組、時間段的安全策略以及是否支持安全策略順序、雙機熱備份可靠性展開，在統一配置服務器承載的一定性能要求的防火墻最大數目也得到了驗證。

通過IPSec VPN功能和性能測試驗證IPSec VPN的功能和性能，并同步測試了統一配置服務器承載軟件IPSec網關的最大數量。

(5)安全通用測試

SDN技術相比傳統網絡帶來了安全上的變化，引入了控制器安全、流表安全等新安全問題。而傳統的安全問題，比如針對服務器的DoS攻擊、弱口令等在SDN中仍然存在，而且攻擊后果會更嚴重，所以安全通用測試一并納入SDN/NFV方案評測。安全通用測試對SDN/NFV方案中控制器、NFV網元進行安全測試，包括賬號安全、授權安全、IP安全、口令功能、日志功能、安全監控等安全測試。

3 云數據中心SDN/NFV方案及測試的關鍵問題

通過方案評測，發現云數據中心SDN/NFV方案對OpenStack接口支持能力普遍較好，商用控制器和虛擬交換機性能基本可以滿足需求，基于SRIOV等技術的NFV網元在功能和性能方面也達到商用要求，SDN/NFV聯合商用方案在運營商網絡已具備商用部署條件。與此同時，本文發現云數據中心引入SDN和NFV技術還存在一些問題，如OpenStack及NFV的可靠性、測試方法的標準化、組網和部署方案經驗缺乏、虛擬化平臺支持度不夠以及接口標準化工作缺乏等，需要在云數據中心后續方案的演進和實踐過程中進行進一步的思考與討論。

(1)OpenStack可靠性需要完善

由于標準OpenStack不具備數據庫高可靠性或者集群的能力，所以存在單點故障的問題，當前數據庫的高可靠性需要安裝第三方軟件實現，自身多節點負載均衡或可靠保護還需要進一步研究。

(2)測試方法的標準化

由于當前overlay的解決方案不唯一，存在VxLAN以及MPLSoGRE兩大主流封裝技術，因此測試方案無法得到統一，橫向對比比較困難。另外控制器與轉發設備流表下發存在主動下發和被動觸發兩種模式，兩種模式下控制器流表下發速度和建立時間也難以橫向對比。

(3)組網和部署經驗缺乏

SDN/NFV技術目前還處于試商用初期，組網部署方案經驗不足，多種部署方案無明確場景對比。如，NFV網元的部署位置是旁掛在underlay核心交換機還是直接部署在虛擬交換機或網關之后需根據場景決策，NFV網元的部署位置決定了其是否受到VLAN的限制。另外，NAT存在集中式部署和分布式兩種部署方式，各有千秋，目前對于兩種部署方式應合理選擇，并無明確的場景比較。

(4)SDN對Xen和VMware虛擬化平臺的支持需加強

通過評測發現，目前SDN解決方案主要支持KVM虛擬化平臺，對VMware和Xen虛擬化平臺支持效果較差。當前主流的云操作系統OpenStack基于開源KVM平臺開發，開放程度高，并且大量公有云系統基于OpenStack提供服務，業界具有豐富的部署經驗，因此對于KVM虛擬化平臺支持度高。為了推動SDN和NFV技術的大規模商用部署，VMware和Xen平臺應進一步開放，這是提高SDN對這兩大虛擬化平臺支持度的基礎。

(5)SDN和NFV融合架構不明確，NFV接口有待進一步標準化

SDN架構按照ONF和CCSA等組織定義，分為應用層、協同層、控制層和轉發層，概念清晰達成共識。NFV按照 ETSI定義關于 MANO、VNF、NFVI、OMC、OSS 的總體架構業界也達成共識。但是當SDN和NFV共同部署在云中心，為用戶提供VPC和業務鏈服務時，NFVI資源如何整合，SDN應用和NFV orchestrator如何分工就成為了兩個架構融合的關鍵。目前架構和接口尚未達成一致，需要標準組織推動研究。

(6)OpenStack支持的北向接口不足，應在標準和開源社區推動兩方面努力

目前OpenStack在網絡方面的北向接口支持不足，如:OpenStack無法監管物理服務器，對SDN和傳統網絡融合組網存在一定的管理問題;OpenStack Neutron等模塊北向接口不完善，無法滿足所有的業務需求;FWaaS的plugin只支持單廠商，無法實現多廠商集成;針對數據中心業務鏈服務相關的API如流量重定向、業務安排等還在研發中。近期可采用App擴展RESTful API彌補OpenStack北向接口的不足，并積極推動CCSA TC1等組織完善北向接口以及業務鏈的標準化;遠期應推動OpenStack社區完善和擴展，統一北向接口。

4 云數據中心SDN/NFV技術展望

針對云計算數據中心的SDN/NFV組網方案研究和評測對推動SDN/NFV技術的商用具有重要意義，加速了SDN和NFV產業鏈成熟。通過評測，本文發現 SDN與NFV兩大技術結合具有天然的優勢，業界對未來網絡演進的思路和見解也逐步明晰。SDN/NFV聯合組網方案具備良好的互操作性，NFV形態的負載均衡器、防火墻、VPN產品在功能、性能、可靠性方面已具備在運營商網絡中商用部署條件。

同時，云數據中心SDN/NFV技術評測的結果也反映出SDN/NFV技術面臨著一些挑戰，其中SDN和NFV融合架構模糊、標準化工作缺乏以及軟件可靠性等方面的關鍵問題對SDN/NFV的發展和應用十分重要，需要進一步的研究和探討。

SDN/NFV技術的引入帶給業界的改變遠超過技術本身，產業格局、網絡架構、運維模式的改變將隨著技術的逐步落地而帶來新的挑戰，需要進行不斷的探索和實踐。

［1］NADEAU T D，GRAY K.SDN:Software Defined Networks［M］.New York:O'Reilly，2013.

［2］李晨，段曉東，陳煒，等.SDN和 NFV的思考與實踐［J］.電信科學，2014，30(8):23-27.LI C，DUAN X D，CHEN W，et al.Thoughts and practices about SDN and NFV［J］.Telecommunications Science，2014，30(8):23-27.

［3］李晨，段曉東，黃璐，等.基于SDN和NFV的云數據中心網絡服務［J］. 電信網技術，2014(6).LI C，DUAN X D，HUANG L，et al.Network service of cloud data center service based on SDN and NFV ［J］.Telecommunications Network Technology，2014(6).

Analysis on network scheme and resolution test of SDN/NFV technology co-deployed in cloud datacenter

GU Rong1，WANG Ruixue2，LI Chen1，HUANG Lu1
1.Department of Network Technology，China Mobile Research Institute，Beijing 100053，China 2.Department of Network Technology，Beijing University of Posts and Telecommunications，Beijing 100876，China

Traditional datacenters have been heavily impacted due to the development and large-scale deployment of cloud computing technology.Co-deployment of SDN and NFV technology shows its distinct advantages of vitualizing network resources in the scenario of cloud datacenter.Resolution tests aiming at co-deployment of SDN and NFV have directive significance.According to the resolution test，SDN and NFV technology were matured already for the commercial deployment in operators'network.Further research needs to be focused on the key problems found out in scheme designing and the resolution test.

SDN，NFV，cloud datacenter，resolution test

TP393

A

10.11959/j.issn.1000-0801.2016020

2015-06-23;

2015-12-07

顧戎(1988-)，女，中國移動通信有限公司研究院網絡技術研究所項目經理，主要研究方向為數據中心組網、SDN、NFV。

王瑞雪(1990-)，女，北京郵電大學碩士生，主要從事數據中心組網、SDN和NFV技術學習以及相關測試工作。

李晨(1985-)，男，中國移動通信有限公司研究院網絡技術研究所項目經理，主要從事IP網絡、數據中心組網以及SDN和NFV方面的研究，負責IP骨干網、數據中心網組網方案設計及相關標準和技術的跟蹤、研究和標準制訂;已主持完成1項中國通信行業標準、1項中國標準化協會研究課題;已發表6篇論文。

黃璐(1978-)，男，中國移動通信研究院技術經理，主要研究方向為中國移動IP網絡技術及網絡方案設計。