基于SDN的云數據中心互聯

馬驥（云南省工業和信息化委員會，昆明 650228）

基于SDN的云數據中心互聯

馬驥
（云南省工業和信息化委員會，昆明 650228）

摘 要本文首先分析了云數據中心的特點及DC間互聯的業務需求；介紹了SDN技術應用于構建DCI的優勢；對基于SDN實現多數據中心互聯的方法進行探討，對DCI流量控制進行了分析；最后對數據中心互聯的發展趨勢作了展望。

關鍵詞云數據中心；數據中心互聯；軟件定義網絡；廣域網；流量工程

1　云數據中心及數據中心互聯需求

1.1云數據中心

云數據中心是一種多租戶共享計算、存儲、網絡和安全資源，利用云計算技術，自動化地按需提供各類云計算服務的數據中心架構，是隨著云計算、物聯網、大數據以及日趨增長的互聯網應用而出現的新型數據中心。有別于傳統數據中心基礎設施和信息系統軟硬件分離的局面，云數據中心利用虛擬化技術將計算資源、存儲資源和網絡資源進行資源池化，通過統一的云計算資源管理和資源調度平臺向用戶提供實時靈活配置、按需交付、彈性可伸縮及海量數據存儲和處理的云服務。思科在其全球云計算產業分析與預測報告中指出：“到2016年全球云計算服務流量將為2011年的12倍，平均每年復合增長30%。全球近2/3的總工作負荷將在云端處理，云數據中心將成為大部分互聯網流量的源頭或終點”。未來的互聯網將是以云數據中心為核心的網絡，云數據中心已成為新一代數據中心的演進方向。網絡作為獲取云服務的通道已經成為云數據中心的核心組成，云網絡面臨以下需求和變化。

（1） 適應數據中心流量流向變化。

（2） 物理二層向邏輯二層轉變。

（3） 網絡架構扁平化需求。

（4） 適應大規模租戶部署需求。

（5） 大數據對網絡帶寬的彈性需求。

1.2數據中心互聯需求

隨著云計算、大數據的發展，互聯網用戶規模爆發式增長，帶來網絡流量的急劇膨脹。在云計算模式下，提高資源利用率、服務器高可用集群、虛擬機遷移、資源靈活調度、容災備份、就近服務體驗等新的業務需求，促進了DCI（Data Center Interconnection，數據中心互聯）向更大規模發展。此外，面對復雜的網絡結構以及數量龐大的網元設備，如何進行全局、高效、靈活的網絡資源調度和管理也成為數據中心互聯的關鍵業務指

標，其主要需求分析如圖1、2所示。

（1）IDC資源利用率不均。

（2）數據中心間的實時數據災備。

（3）跨數據中心的服務器高可用集群和虛擬機遷移。

（4）用戶訪問數據中心以及數據中心間互訪。

（5）數據中心網絡智能化、差異化需求。

圖1　多數據中心互聯需求與價值

圖2　數據中心互聯應用需求分析

2　SDN技術特點和優勢

（1） 集中高效的網絡管理和運維。

（2） 靈活組網與多路徑轉發。

（3） 智能的虛擬機部署和遷移。

（4） 海量虛擬租戶支持。

（5） 計算+存儲+網絡的IaaS服務。

基于SDN具有集中控制、網絡虛擬化和網絡開放化的特點，很好地契合了數據中心互聯的需求。集中化的全局控制，能夠滿足數據中心物理分散、邏輯集中的需求，實現統一的控制和集中的優化。網絡虛擬化的特點可以讓數據中心互聯業務獲得更多的網絡和服務的創新；網絡的開放性可以讓數據中心互聯應用創新更加便捷。因此，選擇基于SDN對數據中心互聯網絡進行流量調度和資源管理是云服務提供商或運營商邁向智能化管道的重要途徑。

3　數據中心互聯方法

互聯網流量急劇增長，單一數據中心規模膨脹，業務的過度集中使得單一數據中心的機房空間、供電等設施承擔巨大壓力，難以滿足云服務的需求。另外，對擁有多個數據中心的云服務提供商來說，各數據中心的資源利用率差異大，總體利用率不高，數據中心的分散管理和維護，導致業務部署難度大，維護效率低。隨著云計算、大數據和移動互聯網的快速發展，數據中心的布局與用戶的實際分布存在一定的差異，大量的數據通過公網傳遞，由于數據量的增大和波峰現象，網絡時延、網絡抖動及互聯互通等方面會有不同程度的影響。要滿足這些需求不僅要求在數據中心內實現大二層網絡接入，而且要求在數據中心間也實現大范圍二層網絡擴展。

DCI是把地理分散的多個獨立的云IDC通過大二

層網絡互聯起來，形成一個邏輯上虛擬化的超大型數據中心。數據中心互聯后，能夠為云服務提供商實現數據中心整合、業務統一運營、異地容災備份、虛擬數據中心（VDC）、虛擬機遷移、節能減排等各方面提供條件，通過更靠近用戶的分布式應用及業務的連續性為用戶提供端到端的感知體驗。

圖3　ONF定義的SDN架構

3.1多數據中心互聯方法

目前在技術上，實現DCI 的主要技術有兩類。一類是基于MAC/二層網絡的DCI技術，利用以太網的VPN技術或MAC in IP技術等，實現二層虛擬連接。主要代表有虛擬專用局域網業務（VPLS）/通用路由封裝（GRE）承載VPLS、以太網的虛擬專用網（E-VPN）和疊加的傳輸虛擬化（OTV）3種。另一類是基于IP/三層網絡的DCI技術，采用位置和ID分離的思想或采用邊界網關協議（BGP）擴展的思想，主要代表有位置與標識分離協議（LISP）、虛擬子網兩種。常用的大二層網絡互聯方法如下。

3.1.1 基于裸光纖或波分復用（DWDM）線路的二層互聯

裸光纖或DWDM二層互聯方案需要用戶在現網中擁有光纖或傳輸資源，對用戶要求較高，但從使用的角度來看，裸光纖或DWDM方案的性能是最優的。基于裸光纖或DWDM線路的二層互聯方案有兩種選擇：Hub-Spoke方案和RRPP環網方案。前者的優點是基于最短路徑轉發，轉發效率高；后者的優點則是環網天然的轉發路徑冗余設計，HA性能較高。

3.1.2 基于MPLS網絡的二層互聯

VPLS主要是基于MPLS技術實現，且在各站點間通過廣播來學習MAC地址，是目前最常見的二層互聯技術，由于標準化程度很高，在很多行業都已經廣泛部署。目前，制約VPLS組網方案的主要因素是其配置管理較復雜，部署及運維管理難度較大，只有大型運營商客戶擁有運維能力。而在VPLS的部署方案中，最復雜的就是CE雙歸屬的部署。

3.1.3 基于IP網絡的二層互聯

當多個數據中心間只有IP互聯網絡時，可以借助VPLS over GRE來實現二層互聯方案。VPLS技術方案本身需要在PE與對端PE間建立一條可承載多個虛鏈路（Pseudowire）的隧道，可以是MPLS或GRE隧道。VPLS over GRE（VPLSoGRE）方案在組網拓撲、二層環路避免等設計要素上，與基于MPLS隧道的VPLS的要求基本相同。

3.1.4 基于Overlay網絡的二層互聯

目前，新出現的大規模二層網絡技術TRILL/ SPB/Fabric Path等，雖然能支持二層網絡的良好擴展，但對網絡設備有特殊要求，網絡中的設備需要軟硬件升級才能支持此類新技術，帶來了部署成本的上升。因此，業界又提出了一種構建面向應用的邏輯網絡——Overlay網絡，為云業務提供支撐。Overlay網絡是指建立在物理網絡上的邏輯網絡，具有獨立的控制和轉發平面，該網絡中的結點可以看作通過虛擬或邏輯鏈路而連接起來的，對于連接在Overlay邊緣設備之外的終端系統來說，物理網絡是透明的，是一種實現數據中心大二層互聯的主要技術。IETF在Overlay技術領域提出了VXLAN、NVGRE、STT 3類技術方案。

（1）VXLAN是將以太網報文封裝成UDP報文進行隧道傳輸，UDP目的端口為已知端口，源端口可按流分配，標準5元組方式有利于在IP網絡轉發過程中

進行負載分擔，隔離標識采用24 bit來表示，未知目的、廣播、多播等網絡流量均被封裝為多播轉發。

（2）NVGRE采用的是RFC2784和RFC2890所定義的GRE隧道協議。將以太網報文封裝在GRE內進行隧道傳輸，隔離標識采用24 bit來表示，與VXLAN的主要區別在對流量的負載分擔上，因為使用了GRE隧道封裝，NVGRE使用了GRE擴展字段Flow ID進行流量負載分擔，這就要求物理網絡能夠識別GRE隧道的擴展信息。

（3）STT是無狀態傳輸協議，通過將以太網報文封裝成TCP報文進行隧道傳輸，隔離標識采用64bit來表示。與VXLAN和NVGRE的主要區別是在隧道封裝格式使用了無狀態TCP，需要對傳統TCP協議進行修改以適應NVGRE的傳輸。

就大部分數據中心內部情況看，通過在現有網絡上疊加一個軟件定義的邏輯網絡，讓原有網絡盡量不做改造，而是通過定義其上的邏輯網絡實現業務邏輯，從而解決原有數據中心的網絡問題，極大的節省傳統用戶投資。因此，以VXLAN為代表的Overlay網絡虛擬化架構已經成為目前多數廠商支持和采用的成熟方案。

3.2基于SDN的數據中心互聯架構

數據中心之間互聯網絡具有流量大、突發性強、周期性強等特點，需要網絡具備多路徑轉發與負載均衡、網絡帶寬按需提供、集中管理和全局控制的能力。DCI通常是廣域網，建網成本高，需承載多租戶、多業務，但目前的DCI受限于傳統的分布式路由計算以及匱乏的網絡整體資源，鏈路帶寬利用率較低。引入SDN技術后，可通過部署統一的DCI網絡控制器來收集各數據中心內部及數據中心之間網絡流量的需求，對網絡流量實現可視化運營。在全局集中管控下，進行統一的計算和調度、實施帶寬靈活按需分配、最大程度優化網絡、提升資源利用率。實踐證明，Google已經在其數據中心之間應用了SDN技術，將數據中心之間的鏈路利用率提升至接近100%，成效顯著。以下就基于SDN的數據中心互聯架構進行分析說明。

基于SDN的數據中心互聯架構，通常由DC內部實現VXLAN組網、DCI廣域骨干網、DC間業務協同控制平臺、云服務管理平臺4個部分組成。

（1）在DC內部：在數據中心內部要求實現高帶寬、低延時、可擴展的大二層網絡。通常是部署SDN交換機，便于虛擬資源和網絡策略的同步快速遷移，可以使網絡和計算/存儲資源更緊密的協同并能實現對全局資源的有效控制。采用虛擬交換機（vSwitch），實現基于物理網絡的二層疊加網絡技術（如VXLAN）。實現物理網絡和虛擬網絡互通的網關（以軟件實現虛擬路由器、虛擬DHCP、NAT、防火墻、虛擬負載均衡、虛擬VPN）等功能；實現東西向三層互通的分布式路由器以及東西向流量隔離的分布式防火墻；實現數據中心內部網絡配置、監控、編排、流量、自動化部署等控制。

（2）DCI廣域網骨干：數據中心間網絡可以選擇：裸光纖、租用運營商MPLS/IP網絡、城域承載網、Internet或者自建WAN等。根據選擇的網絡不同，匹配相應的互聯技術，如自建WAN或者裸光纖網絡的可擴展性和靈活性較強，互聯技術選擇廣泛，租用運營商的MPLS/IP網絡，建議同時租用運營商的VPN業務（VPLS、MPLS L3VPN、GRE VPN等）多種方式可以組合使用，如同城數據中心采用裸光纖或者自建WAN，異地采用租用運營商MPLS/IP網絡，分支機構采用Internet等。裸光纖或DWDM二層互聯方案需要用戶在現網中擁有光纖或傳輸資源，對用戶要求較高，但從使用的角度來看，裸光纖或DWDM方案的性能是最優的。在光纖資源足夠的情況下，選擇采用100Gbit/s波分復用傳輸系統進行物理層網絡互聯。對于同城兩個數據中心的點對點互聯時，由于互聯網絡比較簡單，不會引入新的互聯環路。但如果需要互聯的同城云數據中心達到3個及以上時，采用裸纖普通的互聯方式必然會引起互聯網絡的環路，在這種環境下，建議采用HUB-SPOKE星形組網模型。

（3）DCI業務協同控制器：在DCI廣域網基礎上，通過SDN控制器，將用戶的網絡策略集中在控制器端，

負責對整個DCI網絡配置進行集中管理，并對VXLAN NVE轉發器的流表轉發控制。通過控制器的集中控制，部署流量工程等應用，有效地調整全網業務端到端的路徑，從而達到網絡資源的高效利用。通過控制器進行實時的故障上報和檢測，并對業務的影響進行快速的預測和處理，簡化網絡運行管理，提高業務配置速度，實現網絡的快速升級。管控平臺以及互通節點之間采用統一的控制和同步協議，如Open Flow等南向接口，同時管控平臺北向支持Restful API接口，實現業務快速定制和自動發放，南向支持OpenFlow/Netconf/CLI等接口，控制物理和虛擬網絡。

（4）云管理平臺：SDN控制器通過北向接口提供REST API服務與云管理平臺的編排系統或是用戶自行開發的應用系統接口進行對接，SDN控制器通過Restful API向上層云管理平臺（如OpenStack、Cloud Stack）提供可編程API調用接口，向租戶提供Self-Service，實現業務的自動化部署。以OpenStack為例，Neutron是OpenStack中的“網絡即服務”子系統，它的作用在于幫助管理員創建、配置并管理軟件定義網絡體系。OpenStack通過Neutron API向用戶和其他服務公開虛擬網絡服務接口，包括網絡、子網和端口，但它并不實際執行工作，而是由Neutron插件負責與底層基礎架構交互，以便依據邏輯模型來傳送流量，插件可看作是OpenStack API的一種后端實現。主流的SDN控制器大多已實現通過北向的Neutron Rest API 與OpenStack Neutron插件對接，OpenStack對網絡層面的調度交由對接的控制器完成。

3.3跨數據中心流量管理

數據中心流量分為南北向流量和東西向流量。南北向以用戶訪問數據中心內容為主，東西向流量包括主要指數據中心內或跨數據中心同步、備份以及 CDN推送流量等。其中數據中心之間流量主要采用互聯網承載。一方面，互聯網流量突發性大的特征導致同步流量的網絡質量無法保證；另一方面，按照現有路由協議，無法做到基于鏈路負載情況進行路由。因此存在部分鏈路擁塞，整網利用率不高的問題。SDN架構的流量工程組網方案可解決上述問題，并提高帶寬利用率。SDN解決跨數據中心流量調度問題原理如圖4所示。

圖4　SDN跨數據中心流量調度

傳統網絡的路由計算要么是無帶寬保證的IP路由計算，要么是有帶寬要求的MPLS流量工程算法，這兩種方式都是網絡節點以自己為中心計算到達目的地的一條路徑，這種路由計算模式很難獲得全網最優路由，也帶來了一些問題。IP路由計算完全基于網絡拓撲，傳統網絡中有些節點可能無法擁有全網拓撲，只能進行局部最短路徑計算。另一方面，網絡拓撲的獲取和維護依賴于分布式的網絡拓撲傳播機制（如OSPF、ISIS協議拓

撲傳遞）。當網絡拓撲發生變化而新的拓撲還未傳播到整網時，網絡中必然有些節點還沒更新拓撲，重新進行路由計算，還按照過時的網絡拓撲在轉發。

采用SDN架構實現集中式流量工程（TE）管理DCI多租戶流量路徑，計算出全網最優的流量路徑部署方案。TE系統主要包括以下幾部分。

（1）OF Controller：Openflow控制模塊，TE子系統和網絡層物理轉發設備間采用Openflow協議，通過OF控制模塊向物理設備下發流表，獲取統計信息。

（2）Topology：全局性的拓撲資源數據庫，具有全網物理拓撲、物理鏈路帶寬容量等信息，是TE算法模塊的資源基礎。

（3）TE/SLA DB：維護了所有租戶的不同SLA需求，各租戶可同時向TE申請業務路徑。

（4）TE算法：從全局資源優化角度出發，為不同租戶提供靈活的業務路徑計算，并且能支持租戶不同類型的SLA需求、支持不同的優化目標。

（5）Tenant and Service Paths Management：租戶信息管理以及業務路徑管理，一方面為圖形化界面操作提供依據；另一方面也是形成設備轉發流表的基礎。

（6）Open API：通過開放可編程接口，用戶可以定義不同類型的SLA、不同的優化目標等。

TE系統還可以對租戶的實時流量，業務路徑以及全網資源使用情況進行監控和管理。

4　結束語

數據中心是支撐云計算發展的重要基礎，傳統的網絡架構已無法適應云計算模式的需要，基于SDN理念的網絡正向著更簡單、更智能化的方向發展，未來將會衍生出一系列相對于現有路由協議更加輕量級、更易于管理的協議。為適應云計算、大數據和物聯網的大規模數據增長及用戶的云服務體驗，使得DCI成為數據中心網絡領域逐步演進的一個必然方向。利用軟件定義網絡技術提供全網視圖的、感知業務的、開放的、可編程的數據中心互聯網絡，不僅能夠滿足云計算環境下的災備、兩地三中心、負載分擔、熱備雙活、業務可遷移等業務需求，同時也可以實現用戶流量在不同數據中心之間的靈活調配和優化，提高網絡業務服務質量，提升用戶的云服務體驗。

參考文獻

[1] Tbomas D N. 軟件定義網絡——SDN和OpenFlow解析[M]. 北京：人民郵電出版社，2014.

[2] 雷葆華. SDN核心技術剖析和實戰指南[M]. 北京：電子工業出版社，2014.

[3] 鄭葉采，陳世峻. 分布式數據中心的建設與管理[M]. 北京：清華大學出版社，2013.

[4] VXLAN：A Framework for Overlaying Virtualized Layer 2 Networks over Layer 3 Networks[EB/OL].[2013-11—17]，https：//tools.ietf. org/html/drafl—mahalingam—dutt—deops—vxlan一02.

Data center interconnect based on SDN

MA Ji
(Yunnan Provincial Industry and Information Technology Commission, Kunming 650228, China)

AbstractAt first, this paper analyzes the characteristics of cloud computing data center and DC interconnection between business needs, introduces the SDN technology is applied to the construction of DCI advantage, to explore the method for realizing multiple data center interconnect SDN based on, the DCI fl ow control are analyzed. Finally the development trend of Internet data center is prospected.

Keywordscloud internet data center； data center interconnect； software defi ned network； wide area network； traffi c engineering

收稿日期：2015-09-16

中圖分類號TN915

文獻標識碼A

文章編號1008-5599（2015）11-0054-06