公有云大規(guī)模資源池部署SDN的應(yīng)用

月球，劉芹，楊小樂，畢曉飛，朱師萱

?

公有云大規(guī)模資源池部署SDN的應(yīng)用

月球，劉芹，楊小樂，畢曉飛，朱師萱

（中國移動通信集團設(shè)計院有限公司，北京 100080）

基于SDN的云計算數(shù)據(jù)中心網(wǎng)絡(luò)方案是未來數(shù)據(jù)中心網(wǎng)絡(luò)發(fā)展的趨勢。對目前移動運營商網(wǎng)絡(luò)中，應(yīng)用SDN組網(wǎng)技術(shù)并且已成功上線的優(yōu)秀應(yīng)用案例進行探討，此案例同時也是全球運營商最大的SDN商用案例之一。同時結(jié)合現(xiàn)網(wǎng)運行情況總結(jié)出云數(shù)據(jù)中心大規(guī)模部署SDN時需要考慮的關(guān)鍵問題及引入步驟，可為后續(xù)SDN網(wǎng)絡(luò)架構(gòu)部署在其他云計算資源池及NFV、5G中提供一定的參考、借鑒。

云計算；公有云；SDN；案例分析

1 引言

云計算市場作為移動互聯(lián)網(wǎng)時代信息化的重要戰(zhàn)略市場，已經(jīng)成為互聯(lián)網(wǎng)、IT服務(wù)商與傳統(tǒng)電信運營商的必爭之地。

全球公有云服務(wù)市場在未來的幾年內(nèi)將保持高速發(fā)展，國內(nèi)運營商在云數(shù)據(jù)中心的建設(shè)步伐也在加快推進，如中國電信已把內(nèi)蒙古自治區(qū)和貴州省的天翼云平臺推向了31個省市，中國聯(lián)通已經(jīng)布局大型的云數(shù)據(jù)中心12個、地市數(shù)據(jù)中心335個，中國移動也宣稱將從內(nèi)環(huán)、中環(huán)、外環(huán)3個方向構(gòu)建開放生態(tài)系統(tǒng)。

隨著云計算數(shù)據(jù)中心的建設(shè)規(guī)模越來越大，客戶的個性化需求越來越強烈，現(xiàn)有的網(wǎng)絡(luò)技術(shù)如何更好地滿足業(yè)務(wù)需求，是亟待解決的重要問題。一個更加靈活、更加高效集中的網(wǎng)絡(luò)成為網(wǎng)絡(luò)技術(shù)發(fā)展的新方向。為解決新型網(wǎng)絡(luò)下新市場的需求，在數(shù)據(jù)中心中應(yīng)用SDN技術(shù)組網(wǎng)成為各國運營商普遍的解決方案[1]。

SDN是隨著業(yè)務(wù)發(fā)展需求應(yīng)運而生的新型創(chuàng)新網(wǎng)絡(luò)技術(shù)，其原理主要在于將控制面的功能從原有的一體化架構(gòu)中抽離出來，實現(xiàn)控制與數(shù)據(jù)轉(zhuǎn)發(fā)解耦，最終分為三層彼此分離的網(wǎng)絡(luò)模型：應(yīng)用層、控制層和轉(zhuǎn)發(fā)層。SDN架構(gòu)實現(xiàn)網(wǎng)絡(luò)自動化和可編程性、縮短部署時間、支持安全與策略執(zhí)行以及提高網(wǎng)絡(luò)運維人員工作效率的能力，已在多個數(shù)據(jù)中心得到了驗證。SDN能降低人工錯誤的概率，同時減少運營開支[2]。

SDN還能減少未來5G新物聯(lián)網(wǎng)項目中的棘手問題，如在部署智能設(shè)備、工業(yè)傳感器等終端時，給企業(yè)網(wǎng)絡(luò)帶來無數(shù)新的端點。人工設(shè)置與配置耗時、容易出錯，并且無法將物聯(lián)網(wǎng)設(shè)備和應(yīng)用程序集成到網(wǎng)絡(luò)中。SDN的自動化和可編程性應(yīng)在保證安全的前提下實現(xiàn)物聯(lián)網(wǎng)設(shè)備的自動配置和訪問策略的自動執(zhí)行，無需任何人工干預(yù)。最近出現(xiàn)的僵尸網(wǎng)絡(luò)攻擊表明，物聯(lián)網(wǎng)安全策略的實施存在許多問題，一旦出現(xiàn)漏洞會造成嚴重的后果[3]。

SDN市場的年復(fù)合增長率為53.9％，由于簡化了數(shù)據(jù)中心網(wǎng)絡(luò)管理流程，并加快了整個基礎(chǔ)架構(gòu)構(gòu)建，SDN在世界各地的數(shù)據(jù)中心取得成功。這種增長預(yù)計將持續(xù)到2020年，預(yù)計其市場價值近125億美元。

本文對目前移動運營商網(wǎng)絡(luò)中，云數(shù)據(jù)中心應(yīng)用SDN組網(wǎng)技術(shù)并已成功上線的優(yōu)秀應(yīng)用案例之一進行探討，并結(jié)合現(xiàn)網(wǎng)運行情況總結(jié)出云數(shù)據(jù)中心大規(guī)模部署SDN時需要考慮的關(guān)鍵問題。為后續(xù)SDN網(wǎng)絡(luò)架構(gòu)部署在其他云計算資源池及NFV、5G資源池部署提供一定的參考和借鑒。

2 現(xiàn)網(wǎng)案例

2.1 公有云大規(guī)模部署SDN情況

以某移動運營商公有云建設(shè)為例，國內(nèi)兩大基地資源池分別部署2 000臺計算服務(wù)器，以O(shè)penStack云平臺結(jié)合SDN實現(xiàn)業(yè)務(wù)的自動化發(fā)放為建設(shè)目標，完成業(yè)務(wù)上線時根據(jù)用戶在云平臺上的邏輯組網(wǎng)設(shè)計由SDN控制器自動化地打通端到端網(wǎng)絡(luò)的各個環(huán)節(jié)所需下發(fā)的配置，為公眾服務(wù)云提供彈性計算、彈性網(wǎng)絡(luò)、彈性負載均衡、彈性安全等業(yè)務(wù)服務(wù)能力。為完成并增強各資源池提供云服務(wù)能力，能夠快速對所屬資源及能力進行自動化發(fā)放。

SDN網(wǎng)絡(luò)邏輯分為4層架構(gòu)：應(yīng)用層、協(xié)同層、控制器和轉(zhuǎn)發(fā)層，如圖1所示。應(yīng)用層由業(yè)務(wù)和應(yīng)用軟件組成，通過軟件來衡量網(wǎng)絡(luò)資源，實現(xiàn)優(yōu)化和全局調(diào)度。協(xié)同層即云操作系統(tǒng)，此處為OpenStack，用于聯(lián)動計算、存儲、網(wǎng)絡(luò)資源，與控制器以及網(wǎng)絡(luò)增值設(shè)備（如負載均衡設(shè)備或防火墻設(shè)備）通過VNFM采用plugin對接。控制層包括控制器，由控制器接收上層業(yè)務(wù)請求，并轉(zhuǎn)發(fā)為轉(zhuǎn)發(fā)層的流表，配置到轉(zhuǎn)發(fā)層網(wǎng)元。轉(zhuǎn)發(fā)層指各種轉(zhuǎn)發(fā)設(shè)備，SDN轉(zhuǎn)發(fā)設(shè)備接收控制器下發(fā)的流表，實現(xiàn)租戶隔離、二三層業(yè)務(wù)轉(zhuǎn)發(fā)、負載均衡、防火墻訪問控制功能。

此場景下，網(wǎng)絡(luò)分為底層（underlay）網(wǎng)絡(luò)和SDN重疊（overlay）網(wǎng)絡(luò)。underlay網(wǎng)絡(luò)不屬于SDN集中控制范圍，它包括非SDN接入交換機和核心交換機，將服務(wù)器、SDN網(wǎng)關(guān)、增值業(yè)務(wù)網(wǎng)元IP地址連通。overlay網(wǎng)絡(luò)是SDN集中控制范圍，包括虛擬交換機、SDN網(wǎng)關(guān)、NAT、增值業(yè)務(wù)網(wǎng)元（包括防火墻、負載均衡器）等，為不同租戶提供隔離的VPC網(wǎng)絡(luò)服務(wù)。本案例中公有云資源池大規(guī)模SDN的部署基于VxLAN封裝技術(shù)的overlay架構(gòu)，即在IP網(wǎng)絡(luò)上疊加虛擬的網(wǎng)絡(luò)，實現(xiàn)網(wǎng)絡(luò)松耦合、業(yè)務(wù)自動開通，網(wǎng)絡(luò)具備規(guī)模擴展的能力。具體架構(gòu)主要包括以下兩類。

圖1 SDN軟件架構(gòu)

?SDN轉(zhuǎn)發(fā)設(shè)備：虛擬交換機、SDN硬件交換機、SDN網(wǎng)關(guān)、分布式防火墻。

??SDN控制設(shè)備：SDN控制器，按需創(chuàng)建虛擬網(wǎng)絡(luò)，完成業(yè)務(wù)實現(xiàn)和流量調(diào)度功能。

本案例中具體組網(wǎng)如圖2所示。

目前兩大基地公有云均已上線，運行穩(wěn)定，并且由于SDN技術(shù)的引入，解決了許多原有的網(wǎng)絡(luò)問題。

圖2 公有云SDN組網(wǎng)示意

2.2 解決的問題

（1）解決了原有網(wǎng)絡(luò)VLAN數(shù)量限制問題，實現(xiàn)跨越二層網(wǎng)絡(luò)[4]

基于VxLAN overlay的SDN支持overlay的靈活二三層網(wǎng)絡(luò)，實現(xiàn)云主機網(wǎng)絡(luò)的可遷移性和隔離性，在SDN配置下，云主機能夠自動遷移至新的宿主機維持原有IP地址，即基于三層方式的底層網(wǎng)絡(luò)構(gòu)建虛擬二層網(wǎng)絡(luò)。同時，由于引入VxLAN技術(shù)擴展了新的標識符，未來可以提供超過1 600萬個VxLAN網(wǎng)絡(luò)，滿足未來二層隔離的需求。

（2）解決東西向流量迂回問題，簡化流程[5]

本案例中采用overlay SDN技術(shù)，提供東西向流量扁平化和東西向流量隔離功能。

東西向的流量不需要繞行三層交換機而直接通過三層分布式路由虛擬交換機（VRS）本地路由實現(xiàn)，可通過流表直接進行二三層轉(zhuǎn)發(fā)，無論是東西向相同的主機還是東西向不同的主機，都減少了路由跳數(shù)，如圖3所示。

（3）產(chǎn)品快速上線，解決維護問題

SDN的主要組成部分是使用應(yīng)用編程接口（API）實現(xiàn)網(wǎng)絡(luò)與安全設(shè)備、基礎(chǔ)架構(gòu)和應(yīng)用程序之間的通信和集成。API還能實現(xiàn)針對業(yè)務(wù)目標的網(wǎng)絡(luò)應(yīng)用程序的本機開發(fā)，從而避免網(wǎng)絡(luò)團隊與軟件開發(fā)團隊“各自為政”的問題。API最終可以通過縮短維修時間加快創(chuàng)新速度，并且不影響安全性。

公有云未部署SDN之前，新增業(yè)務(wù)需求需要經(jīng)過新業(yè)務(wù)需求→網(wǎng)絡(luò)能力評估→網(wǎng)絡(luò)配置實施→網(wǎng)絡(luò)配置驗證→業(yè)務(wù)部署→業(yè)務(wù)上線等流程，即使中間過程絕對順利，不存在任何人工交接時延，全部過程也需要至少15天；而應(yīng)用了SDN后，所有操作自動化實現(xiàn)，避免了人工操作可能存在失誤的情況，實現(xiàn)業(yè)務(wù)開通端到端的網(wǎng)絡(luò)自動化打通，業(yè)務(wù)上線可在一天內(nèi)實現(xiàn)。

（4）云網(wǎng)互聯(lián)，使得公有云具備未來擴展為混合云的能力

通過SDN技術(shù)，未來可通過專線及多種VPN技術(shù)，打通與私有云、傳統(tǒng)數(shù)據(jù)中心的互聯(lián)及組網(wǎng)，形成混合云網(wǎng)絡(luò)解決方案，如圖4所示。

3 公有云資源池中大規(guī)模部署SDN時需要考慮的關(guān)鍵問題

3.1 SDN的應(yīng)用場景

對于網(wǎng)絡(luò)中是否需要引入SDN技術(shù)，需要分別分析。本案例中，除了在全虛擬化的云數(shù)據(jù)中心部署SDN外，其他適合SDN引入的場景主要有如下幾種。

（1）半虛擬化數(shù)據(jù)中心的SDN部署

此場景下，可通過在未虛擬化環(huán)境邊緣部署SDN虛擬業(yè)務(wù)網(wǎng)關(guān)，完成非虛擬化環(huán)境的SDN擴展，以突破人工網(wǎng)絡(luò)配置瓶頸、提升IT人員網(wǎng)絡(luò)配置效率；實現(xiàn)網(wǎng)絡(luò)的多租戶化；解決IP地址復(fù)雜性及東西向流量問題；并提供基于運營商模式的統(tǒng)一運維管理功能。半虛擬化數(shù)據(jù)中心的SDN部署如圖5所示。

圖3 引入SDN組網(wǎng)前后的流量變化

圖4 SDN可實現(xiàn)未來混合組網(wǎng)[6]

圖5 半虛擬化數(shù)據(jù)中心的SDN部署

（2）跨數(shù)據(jù)中心的SDN部署：可連接不同虛擬化平臺的異構(gòu)網(wǎng)絡(luò)

SDN技術(shù)可實現(xiàn)大二層數(shù)據(jù)遷移，因此可應(yīng)用在需要數(shù)據(jù)中心互聯(lián)的場景下。適用于不同平臺數(shù)據(jù)中心的SDN整合，可屏蔽底層網(wǎng)絡(luò)，不對現(xiàn)網(wǎng)組網(wǎng)模式、現(xiàn)有設(shè)備進行大量調(diào)整，并充分保護現(xiàn)有設(shè)備資源投資，同時在虛擬機遷移時自動實現(xiàn)網(wǎng)絡(luò)的適配。跨數(shù)據(jù)中心的SDN部署如圖6所示。

（3）非云化數(shù)據(jù)中心中的部署[7]

非云化數(shù)據(jù)中心存在機架碎片問題，即機架利用率在70%，機架出租利用率低。此時可通過SDN架構(gòu)對系統(tǒng)進行改造，實現(xiàn)多數(shù)據(jù)中心互聯(lián)，盤活數(shù)據(jù)中心的機架“碎片”。多數(shù)據(jù)中心采用統(tǒng)一的出口網(wǎng)關(guān)進行流量計費和QoS控制。對于租戶的調(diào)整（退場、進場、IP地址規(guī)劃、網(wǎng)絡(luò)規(guī)劃的調(diào)整），簡化原來逐個配置交換機的形式，改為通過統(tǒng)一界面下發(fā)策略來實現(xiàn)，避免大量的IDC內(nèi)部交換機、路由器的數(shù)據(jù)調(diào)整。SDN解決非云化數(shù)據(jù)中心的碎片問題示意如圖7所示。

3.2 SDN引入時關(guān)注的問題

當根據(jù)不同數(shù)據(jù)中心場景決定引入SDN后，部署SDN需要首先考慮的是，選擇overlay還是underlay架構(gòu)。

underlay架構(gòu)需要沿途每一跳支持硬件SDN架構(gòu)，即用SDN交換機替換現(xiàn)有的所有交換機和路由器，適合規(guī)模較小（僅支持幾百臺設(shè)備）數(shù)據(jù)中心，由硬件交換機需要負責所有虛擬機的通信。目前支持的廠商有Cisco（思科）、華為和新華三等硬件交換機廠商。

overlay架構(gòu)即軟件疊加架構(gòu)需兩端的交換機軟件支持虛擬化，新增實現(xiàn)東西向三層互通的分布式路由器/交換機，通過隧道透傳中間流量。可保留現(xiàn)網(wǎng)已有的交換機、路由器，支持規(guī)模較大的數(shù)據(jù)中心。目前支持的廠商有上海貝爾、VMware等。

圖6 跨數(shù)據(jù)中心的SDN部署

圖7 SDN解決非云化數(shù)據(jù)中心的碎片問題示意

由于overlay架構(gòu)基于軟件疊加可保護現(xiàn)有投資、性能也可滿足目前及后續(xù)發(fā)展需要，是業(yè)界主流SDN架構(gòu)。

此外，在引入SDN時，需根據(jù)不同需求考慮SDN控制器的工作方式及設(shè)備管理能力，并充分驗證SDN解決方案與虛擬化平臺、負載均衡、防火墻等的兼容性，統(tǒng)籌考慮引入合適的SDN解決方案。主流SDN廠商SDN控制器見表1，主流SDN廠商SDN解決方案見表2。

目前SDN軟件方案需部署vSwitch在計算節(jié)點服務(wù)器內(nèi)，故SDN需要與虛擬化平臺兼容。

SDN對不同虛擬化平臺支持的成熟度不同，其中KVM和VMware平臺具備商用條件，XEN平臺成熟度低。SDN與虛擬化平臺兼容性見表3，其中阿爾卡特朗訊簡稱阿朗。

在部署SDN方案時，還需要考慮SDN控制器和防火墻/負載均衡器的兼容性。

公有云中租戶多，且每個租戶對LB/FW的性能要求不高，可以考慮部署vLB/vFW，有利于不同租戶的業(yè)務(wù)隔離。SDN與防火墻負載均衡的兼容性見表4。

3.3 部署SDN時的云安全問題

在構(gòu)建云時，除了計算、網(wǎng)絡(luò)和存儲，安全也是極其重要的問題。

如果云資源池被外網(wǎng)攻擊通常不會成為嚴重問題，因為完全可以通過加防護來應(yīng)對；而對于內(nèi)網(wǎng)存在共攻擊計算服務(wù)器中了病毒，則病毒可當作跳板攻擊別的機器，這個問題就比較嚴重了。因此內(nèi)網(wǎng)安全事件的嚴重性遠高于外網(wǎng)安全事件。

現(xiàn)在安全產(chǎn)品部署的模式為：大量的安全產(chǎn)品都部署在南北向，即在數(shù)據(jù)中心或者云的出口及入口處，這樣的部署模式相對簡單，串聯(lián)就好了。而東西向大流量數(shù)據(jù)中遭遇的小攻擊是極難防護的。東西向流量很大，一般很難發(fā)現(xiàn)，也很難把內(nèi)網(wǎng)流量引出去，這樣就會把一些非常嚴重的安全事件忽略掉；云資源池中不同租戶業(yè)務(wù)的重要性不同，然而資源池里虛擬化層面的許多資源是共享的，因此網(wǎng)絡(luò)攻擊有可能相互影響。

因此云數(shù)據(jù)中心若要高級別地提高安全性，需要對流量進行處理：一是對南北向流量監(jiān)控；二是對接近租戶的業(yè)務(wù)和虛擬機的東西向流量進行監(jiān)控；三是在虛擬化層面把流量引入監(jiān)控網(wǎng)絡(luò)。

可見，在部署SDN時，要充分利用SDN的靈活性，實現(xiàn)更靈活的引流，就要實現(xiàn)軟件定義探針。它最終解決的問題就是用SDN的手段對流量監(jiān)控以及OpenFlow中流量的采集、過濾和流量的控制，再把云平臺的信息關(guān)聯(lián)起來，實現(xiàn)安全分析監(jiān)控。

表1 主流SDN廠商SDN控制器

表2 主流SDN廠商SDN解決方案

表3 SDN與虛擬化平臺兼容性

表4 SDN與防火墻負載均衡的兼容性

4 結(jié)束語

根據(jù)IDC的數(shù)據(jù)顯示，預(yù)計到2020年，全球數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模將增長10倍，基于SDN及虛擬化的智能數(shù)據(jù)中心將會解決未來大部分智能業(yè)務(wù)的部署問題。在公有云中部署SDN架構(gòu)能很好地契合數(shù)據(jù)中心網(wǎng)絡(luò)的集中網(wǎng)絡(luò)管理、靈活組網(wǎng)多路徑轉(zhuǎn)發(fā)、虛擬機部署和智能遷移、虛擬多租戶、IaaS等方面的需求，非常適合在數(shù)據(jù)中心網(wǎng)絡(luò)中應(yīng)用。

本文跟蹤的公有云大規(guī)模部署SDN案例，為目前全球運營商最大的SDN、NFV商用案例之一。根據(jù)公有云SDN引入后網(wǎng)絡(luò)性能的優(yōu)化，深入分析總結(jié)出SDN部署時需要注意的問題，為后續(xù)NFV、5G時代，SDN架構(gòu)如何部署在其他云計算資源池中提供詳細的應(yīng)用參考。

[1] SIMEONIDOU D E, NEJABATI R,CHANNEGOWDA M. Software-defined optical networks technology and infrastructure: enabling software-defined optical network operations[J]. IEEE/OSA Journal of Optical Communications & Networking, 2013, 5(10).

[2] JARSCHEL M, ZINNER T, HOSSFELD T, et al. Interfaces, attributes, and use cases: a compass for SDN[J]. IEEE Communications Magazine, 2014, 52(6): 210-217.

[3] BOURAS C,KOLLIA A, PAPAZOIS A. SDN & NFV in 5G: advancements and challenges[C]//2017 20th Conference on Innovations in Clouds, Internet & Networks, March 7-9, 2017, Paris, France. Piscataway: IEEE Press, 2017.

[4] 肖子玉. SDN技術(shù)優(yōu)化的最新研究綜述[J]. 電信科學, 2015, 31(Z1): 132-139.

XIAO Z Y. A review of the latest research on SDN technology optimization[J]. Telecommunications Science, 2015, 31(Z1): 132-139.

[5] KARAKUS M, DURRESI A. A survey: control plane scalability issues and approaches in software-defined networking (SDN)[J]. Computer Networks, 2017(112): 279-293.

[6] 趙慧玲, 史凡. SDN/NFV的發(fā)展與挑戰(zhàn)[J]. 電信科學, 2014, 30(8): 13-18.

ZHAO H L, SHI F. Development and challenge of SDN/NFV[J]. Telecommunications Science, 2014, 30(8): 13-18.

[7] SADASIVARAO A, SYED S, PAN P, et al. Bursting data between data centers: case for transport SDN[C]//2013 IEEE 21st Annual Symposium on High-Performance Interconnects, August 21-23, 2013, San Jose, CA, USA. Piscataway: IEEE Press, 2013: 87-90.

Application of SDN deployment in large-scale public cloud across different resource pools

YUE Qiu, LIU Qin, YANG Xiaole, BI Xiaofei, ZHU Shixuan

China Mobile Group Design Institute Co.,Ltd, Beijing 100080, China

The SDN-based network solution for cloud computing data center is the trend of future data center network development. For the current mobile operator network, the outstanding application case where SDN network technology has been applied and successfully launched was discussed. The case was also one of the largest SDN commercial cases among global operators. The key issues and introduction steps for the large-scale deployment of SDN in cloud data centers were summarized based on the current network operating conditions, which could provide the reference for SDN architectures deployment in other cloud computing resource pools such as the NFV and 5G network.

cloud computing, public cloud, SDN, case analysis

TN915

A

10.11959/j.issn.1000?0801.2018197

月球（1985?），女，中國移動通信集團設(shè)計院有限公司咨詢設(shè)計專家，主要研究方向為移動通信核心網(wǎng)、5G、云計算、NFV。

劉芹（1977?），女，中國移動通信集團設(shè)計院有限公司咨詢設(shè)計總監(jiān)，主要研究方向為數(shù)據(jù)業(yè)務(wù)平臺、IT支撐系統(tǒng)、云計算等。

楊小樂（1986?），男，中國移動通信集團設(shè)計院有限公司咨詢設(shè)計專家，主要研究方向為3G/4G/5G核心網(wǎng)技術(shù)、數(shù)據(jù)業(yè)務(wù)平臺等。

畢曉飛（1985?），男，中國移動通信集團設(shè)計院有限公司咨詢設(shè)計師，主要研究方向為云計算資源池系統(tǒng)方案與建設(shè)。

朱師萱（1987?），女，中國移動通信集團設(shè)計院有限公司咨詢設(shè)計師，主要研究方向為云計算、NFV、SDN。

2018?04?23；

2018?05?30