一種基于三層結構模型的SDN負載均衡方案

劉必果 束永安

(安徽大學計算機科學與技術學院 安徽 合肥 230601)

?

一種基于三層結構模型的SDN負載均衡方案

劉必果 束永安

(安徽大學計算機科學與技術學院 安徽 合肥 230601)

交換機與控制器之間的靜態映射關系會導致SDN控制平面負載不均衡。針對這一問題，提出一種基于三層結構模型的負載均衡方案SMLB。SMLB采用控制器管理層-控制器集群-數據層結構模式，通過遷移交換機來改變交換機與控制器之間的靜態映射關系，從而均衡控制平面負載。同時，SMLB在選擇需要遷移的交換機和空閑控制器時，綜合考慮負載因素和距離因素。實驗結果表明，SMLB可以有效均衡控制平面負載，降低網絡延遲，提高控制平面可拓展性。

軟件定義網絡 負載均衡 交換機遷移

0 引 言

軟件定義網絡SDN[1-3]是一種控制平面與數據平面分離，軟件可編程的新型網絡體系結構。控制平面對數據平面上的網絡設備進行集中式控制，并提供靈活的可編程能力；數據平面的網絡設備專注于高速轉發數據分組。隨著網絡規模的擴大，單個控制器的服務能力極有可能成為網絡性能的瓶頸，并且帶來控制平面難以拓展等問題。因此實現一個邏輯上集中、物理上分布的控制器結構成為解決SDN控制平面可拓展性的良好解決方案。

近年來，關于分布式控制器已經有了一系列研究成果，研究發現限制分布式控制器系統性能的一個關鍵因素是交換機與控制器之間的靜態映射關系。這一靜態映射關系會造成控制平面的負載不均衡[4-5]。針對這一問題，本文提出了基于三層結構模型的負載均衡方案SMLB，改變交換機與控制器之間的靜態映射關系，均衡控制平面負載。SMLB在控制器集群上部署控制器管理層，集群內控制器周期性地向控制器管理層提交其負載信息。控制器管理層站在全局角度同一時間只選擇一個過載控制器進行交換機遷移。同時，SMLB在選擇需要遷移的交換機和空閑控制器方面做出了合理有效地改進，綜合考慮了負載因素和距離因素。SMLB基于三層結構模型實現SDN控制平面負載均衡，有效地降低了網絡延遲，提高了系統的穩定性。

1 研究背景

目前國內外關于SDN控制平面負載均衡研究主要有靜態負載均衡和動態負載均衡兩方面。

靜態負載均衡提供一個負載均衡器，由負載均衡器采用特定的負載均衡策略，將請求提前分配給各個控制器[6-7]。由于網絡流量是動態的、實時的，隨著網絡規模的日益擴大，靜態負載均衡不能滿足網絡數據轉發的要求，還會造成網絡阻塞，轉發延遲，丟包等問題。同時靜態負載均衡并沒有改變交換機與控制器之間的靜態映射關系。

動態負載均衡通過實時獲取控制平面負載信息，對控制平面和數據平面作出及時調整,有效均衡控制平面負載。2012年，BalanceFlow[8]結構提出流量重定向概念，在過載控制器管理下的交換機上安裝特定流表項。該流表項指導流請求應該轉發至哪個控制器，即把流請求重定向給其他的控制器處理，從而均衡控制平面負載。但BalanceFlow結構并沒有改變交換機與控制器之間的靜態映射關系。為了解決交換機與控制器之間的靜態映射問題，Dixit[9]等提出交換機遷移方案，該方案使交換機可以從一個控制器遷移到另一個控制器，從而改變交換機與控制器之間的靜態映射關系。然而關于如何選擇需要遷移的交換機和空閑控制器還沒有詳細的解決方案。Zhou[10]等提出的負載均衡算法DALB對此進行了研究。DALB允許過載控制器收集其他控制器的負載，并根據集群內所有控制器負載來判斷是否需要進行負載均衡。同時，DALB遷移過載控制器下負載最大的交換機至負載最小的控制器。但DALB存在以下三點不足：(1) DALB在多個控制器同時過載的情況下，每個過載控制器都會收集其他控制器負載，控制器之間通信過于頻繁，會造成網絡堵塞、丟包、消息不同步等問題。(2) DALB利用控制器監控網絡負載，收集負載信息，并作出相應決策，會導致控制器負載過大從而嚴重影響控制器性能。(3) DALB沒有考慮距離因素對選擇需要遷移的交換機和空閑控制器的影響。

本文提出的基于三層結構模型的負載均衡方案SMLB是在改變交換機與控制器靜態映射關系的基礎上，針對DALB的三點不足加以改進。實驗證明SMLB可以有效均衡控制平面負載，降低網絡延遲，提高控制平面的可拓展性。

2 SMLB方案

本文利用ONOS[11]實現控制器集群，并在控制器集群上部署一個控制器管理層。控制器管理層負責監控網絡負載和均衡網絡負載。集群中所有控制器地位相等，在負載均衡過程中，控制器不需要收集其他控制器負載，減輕了控制器之間的通信開銷。

2.1 SMLB結構框架

OpenFlow[12]協議將控制器分為三種:Equal控制器、Slave控制器和Master控制器。Equal控制器對交換機具有所有權限，不僅能夠接受交換機發來的異步消息(例如PACKET_IN、FLOW-REMOVED消息等)，還可以發送控制器-交換機消息以修改交換機的狀態。Slave控制器不接受任何交換機異步消息，但可以處理Slave控制器的角色請求消息。Master控制器與Equal控制器對交換機所具有的權限類似，但每個交換機只能有一個Master控制器，可以擁有多個Equal控制器或Slave控制器。如果Master控制器發生故障無法使用，Equal控制器可以轉變為Master控制器。利用這三種控制器的特性，設計了如圖1所示的SMLB結構框架。該框架包括控制器管理層、控制器集群和數據層。控制器管理層負責監控控制器負載，并根據負載信息作出相應決策和動作。控制器集群中，每個控制器管理一個交換機集合，控制器之間彼此通信。數據層包括OpenFlow交換機和數據鏈路等基礎設施。圖1中用實線表示該控制器是交換機的Master控制器，用虛線表示該控制器是交換機的Slave控制器。

圖1 SMLB結構框架

2.2 SMLB算法

SMLB算法流程主要由以下兩個步驟組成。首先每隔一個周期時間，集群內各控制器將負載信息上傳給控制器管理層；其次由控制器管理層統一規劃各個控制器相應的動作。SMLB控制器管理層主要由三個模塊構成:(1) 負載監控模塊，負責監控集群內負載信息并判斷是否需要遷移交換機；(2) 決策模塊，選擇需要遷移的交換機以及空閑控制器；(3) 動作模塊，完成交換機遷移至空閑控制器過程，并修改交換機與控制器之間的從屬關系。進一步的研究之前，為方便理解公式內容，表1列出了本文可能會用到的一些基本術語和相關符號。

2.2.1 控制器負載評估

SDN控制器的負載主要由以下四個因素決定：(1) 處理PACKET_IN事件；(2) 維護本控制器管理的網絡視圖；(3) 與其他控制器之間的通信；(4) 安裝流表項。在不同的網絡環境中，處理PACKET_IN事件對負載影響最大，因此把周期內交換機發給控制器的PACKET_IN事件數目作為周期內該控制器上的負載[13-14]。

在SDN中，一個控制器可以控制多個交換機，每個交換機產生的PACKET_IN事件都將發送到控制器端，并排隊等待控制器處理。以單位時間內到達控制器端的PACKET_IN事件數目作為該控制器的負載值，如式(1)所示：

(1)

其中，LCj代表控制器的負載值，Pij代表周期T內交換機Sij發送到控制器Cj的PACKET_IN事件數目。

2.2.2 負載監控模塊

負載監控模塊接收到控制器上傳的負載值LCj和負載閾值LTj后更新負載信息表，如表2所示。當LCj小于等于LTj時控制器狀態為0，表示控制器不過載；當LCj大于LTj時控制器狀態為1，表示控制器過載。負載信息更新完成后根據各控制器負載值，以及控制器集群負載分布情況判斷是否需要遷移交換機。在DALB方案中，當控制器發生過載時，過載控制器收集其他所有控制器負載來獲取全局負載信息，增加了控制器之間通信開銷。而本文提出的SMLB利用控制器管理層收集控制器負載信息，并且當負載監控模塊發現某個控制器過載時計算控制器集群內的負載標準差，判斷是否需要遷移交換機。這種策略減少了控制器之間的通信開銷，降低了網絡延遲，更符合實際應用。

為了判斷是否需要遷移交換機，我們根據各個控制器的負載計算控制器集群內的負載標準差，如式(2)所示：

(2)

本文在實驗中通過測試控制器性能發現λ=0.4時系統性能最優。

2.2.3 決策模塊

決策模塊主要實現以下兩個目標：(1) 選擇需要遷移的交換機；(2) 選擇空閑控制器。

(1) 確定需要遷移的交換機

SMLB優先考慮遷移負載較大的交換機，即LSix越大該交換機被遷移的概率越大。其次SMLB傾向于遷移距離過載控制器較近的交換機，這樣可以減少交換機與過載控制器之間的通信開銷，即Hix越小該交換機被遷移的可能性越大。定義交換機Six被遷移的概率為Pix，如式(3)所示：

(3)

其中，LSix表示交換機Six的負載值，Hix表示過載控制器Cx與交換機Six之間的距離。在本文中，遷移Pix值最大的交換機。

(2) 確定空閑控制器

通常選擇距離過載控制器較近的控制器作為空閑控制器。但是這樣的做法可能會造成過載控制器周圍的控制器負載相對較大，而距離過載控制器較遠的控制器負載相對較小，造成負載分布不均勻。為了使得控制器負載有更好的分布性，本文在確定空閑控制器階段，選擇負載較小且距離過載交換機距離較遠的控制器作為空閑控制器。

類似于確定需要遷移的交換機的方式，我們以控制器負載值以及到過載控制器的距離構建概率模型，如式(4)所示：

(4)

其中，hxy為過載控制器Cx到控制器Cy的距離，LCy表示控制器Cy的負載值。Qy表示選中控制器Cy的概率。即LCy越小且hxy越大控制器Cy被選作空閑控制器的可能性越大。

2.2.4 動作模塊

圖2表示遷移前拓撲圖。圖2中控制器CA發生過載，控制器管理層決定遷移交換機S2A至控制器CB。圖3表示交換機S2A遷移后拓撲圖。

圖3 交換機遷移后

根據OpenFlow協議，交換機同時與多個控制器連接，其中一個為Master控制器，其他為Equal或Slave控制器。交換機遷移過程如下，共分為五個步驟：(1) 控制器管理層根據決策模塊發送“遷移S2A”消息給控制器集群內過載控制器CA和目標控制器CB；(2) 控制器CB接收到“遷移S2A”消息后向控制器CA發送“請求遷移”；(3) 控制器CA接收到“遷移S2A”和“請求遷移”后同意遷移，向控制器發CB發送“開始遷移”消息；(4) 控制器CA發送“更改角色”消息給交換機S2A，請求將控制器CB的角色先從Slave過渡到Equal，最終更改為Master；(5) 交換機S2A接收到消息后將控制器CB角色改成Equal，同時與控制器CA進行事務交接之后將控制器CA角色更改為Slave，接著更改控制器CB角色為Master，最后回復控制器CB“更改成功”消息。至此交換機遷移成功，控制器CB為交換機S2A的Master控制器，控制器CA為交換機S2A的Slave控制器。

3 仿真實驗結果分析

3.1 仿真場景描述

本文利用三個ONOS控制器A、B、C建立控制器集群，在控制器集群上部署控制器管理層。控制器管理層集成負載監控模塊、決策模塊和動作模塊。利用mininet[15]完成網絡拓撲，實驗環境為32位12.04版本Ubuntu虛擬機。在集群上部署一個包含13個交換機節點的網絡，每個交換機連接一個主機，依次給控制器A、B、C分配6個、5個、2個交換機設備。通過安裝Iperf[16]模擬交換機發包來測試系統是如何進行負載均衡的。實驗結果表明，SMLB中所采用的控制器管理層-控制器集群-數據層結構模式有效地緩解了網絡壓力，減少了網絡延遲，提高了系統的穩定性。同時SMLB對控制器性能的影響較小。

3.2 實驗結果分析

3.2.1 控制器A、B、C負載情況

在0s時，每個交換機發送報文到該交換機的Master控制器，之后等待10s后再次發送新的報文。可以看出控制器A、B、C的負載比大致等于6∶5∶2，此時負載是很均衡的。40s后突然增加控制器A管理下的交換機發送報文量，所以A的負載增大。40s到85s這段時間里，管理層檢測到負載不均衡，觸發負載均衡機制并進行交換機遷移。85s之后控制平面負載達到了一個新的平衡，A、B、C的負載比值大約為5∶5∶3。100s后突然增加控制器B管理下的交換機發送報文量，所以B的負載增大。100s到145s這段時間里，管理層檢測到負載仍然是均衡的。實驗結果如圖4所示。

圖4 控制器A、B、C負載變化情況

3.2.2 網絡連接時延比較

分別在10、30、50、70、90、110、130s時用ping命令測量網絡連接時延。同樣的實驗環境中，在控制器集群上運行DALB算法，并在10、30、50、70、90、110、130s時測量網絡連接時延。SMLB與DALB在時延上的對比試驗結果如圖5所示。SMLB和DALB在交換機遷移之后總時延都有所減少，但SMLB在交換機遷移之后時延減少幅度比較大。實驗結果說明SMLB算法能夠有效均衡控制平面負載。

圖5 網絡連接時延比較

3.2.3 控制器集群性能比較

在DALB中，控制器不僅需要負責轉發交換機發送的流請求，同時要隨時監控自身負載情況，判斷是否需要進行交換機遷移以及完成交換機遷移。這種策略會導致控制器的性能受到一定程度的影響。本實驗我們在同樣的負載壓力下，利用Cbench測試控制器性能，設置工作模式為Latency，模擬交換機連接到控制器，發送PACKET_IN消息給控制器，并等待控制器下發FLOW-MODS消息，由FLOW-MODS值計算延遲值，同時改變交換機發包速率進行多次實驗。實驗結果如圖6所示，本次實驗只記錄averagelatency數據，通過對比可知SMLB控制器性能略優于DALB控制器性能。

圖6 控制器性能比較

3.2.4 真實帶寬比較

在現實網絡環境中，多個控制器同時過載是普遍存在的現象。在多個控制器同時過載的情況下，DALB控制器之間通信過于頻繁。而SMLB是基于全局的角度調控控制器集群負載分布的，控制器把負載信息都交給控制器管理層處理，有效地較少了網絡傳輸帶寬。本實驗同時設置控制器A和控制器B過載，然后利用Iperf產生UDP流量負載10M到100M,記錄SMLB和DALB的真實傳輸帶寬。網絡的真實帶寬可以在mininet服務器端獲取。如圖7所示。在流量負載較小時，DALB和SMLB的真實帶寬并無明顯差別。當流量負載逐漸較大，SMLB真實帶寬開始大于DALB真實帶寬，并且隨著流量負載的增大，DALB和SMLB之間的差距也在逐漸變大。實驗結果說明SMLB算法中所采用的控制器管理層-控制器集群-數據層結構模式更合理。

圖7 真實帶寬比較

4 結 語

針對交換機與控制器之間靜態映射關系導致的負載均衡問題，本文提出基于三層結構模型的負載均衡方案SMLB。SMLB在控制器集群上部署控制器管理層，集群內控制器周期性地向控制器管理層提交其負載信息。控制器管理層站在全局的角度調控控制器集群負載分布。SMLB在選擇需要遷移的交換機和空閑控制器方面作出了一定的改進，綜合考慮了負載因素和距離因素對交換機遷移的影響。在此基礎上實現控制平面負載均衡，有效地降低了網絡延遲，提高了系統的穩定性。后續研究主要考慮在集群內控制器負載普遍較大的情況下如何把控制平面負載下放到數據平面，同時保證控制平面負載下放到數據平面之后不會造成數據平面的過載等相關問題。

[1]McKeownN，AndersonT，BalakrishnanH，etal.OpenFlow:enablinginnovationincampusnetworks[J].ACMSIGCOMMComputerCommunicationReview,2008,38(2):69-74.

[2]XiaW，WenY，FohCH，etal.Asurveyonsoftware-definednetworking[J].IEEECommunicationsSurveys&Tutorials，2015, 17(1):27-51.

[3] 黃韜，劉江，魏亮，等.軟件定義網絡核心原理與應用實踐[M]. 人民郵電出版社，2014.

[4]YaoG，BiJ，GuoL.Onthecascadingfailuresofmulti-controllersinSoftwareDefinedNetworks[C]//NetworkProtocols(ICNP)，2013 21stIEEEInternationalConferenceon.IEEE，2013:1-2.

[5] 黃小曼.SDN網絡控制器負載均衡技術研究與實現[D]. 南京郵電大學，2015.

[6] 林萍萍，畢軍，胡虹雨，等. 一種面向SDN域內控制平面可擴展性的機制[J].小型微型計算機系統，2013，34(9):1969-1974.

[7]ZhangH，GuoX.SDN-basedloadbalancingstrategyforservercluster[C]//2014IEEE3rdInternationalConferenceonCloudComputingandIntelligenceSystems.IEEE，2014:662-667.

[8]HuY，WangW，GongX，etal.Balanceflow:controllerloadbalancingforopenflownetworks[C]//2012IEEE2ndInternationalConferenceonCloudComputingandIntelligenceSystems.IEEE， 2012，2:780-785.

[9]DixitAA，HaoF，MukherjeeS，etal.Elasticon:anelasticdistributedsdncontroller[C]//ProceedingsofthetenthACM/IEEEsymposiumonArchitecturesfornetworkingandcommunicationssystems.ACM，2014:17-28.

[10]ZhouY，ZhuM，XiaoL，etal.ALoadBalancingStrategyofSDNControllerBasedonDistributedDecision[C]//Trust，SecurityandPrivacyinComputingandCommunications，2014IEEE13thInternationalConferenceon.IEEE，2014:851-856.

[11]BerdeP，GerolaM，HartJ，etal.ONOS:towardsanopen，distributedSDNOS[C]//ProceedingsofthethirdworkshoponHottopicsinsoftwaredefinednetworking.ACM，2014:1-6.

[12]RenT，XuY.AnalysisoftheNewFeaturesofOpenFlow1.4[C]// 2ndInternationalConferenceonInformation,ElectronicsandComputer(ICIEAC2014).2014.

[13]ChengG，ChenH，HuH，etal.DynamicswitchmigrationtowardsascalableSDNcontrolplane[J].InternationalJournalofCommunicationSystems，2016，29(9):1482-1499.

[14]YaoG，BiJ，LiY，etal.Onthecapacitatedcontrollerplacementprobleminsoftwaredefinednetworks[J].IEEECommunicationsLetters，2014，18(8):1339-1342.

[15] De Oliveira R L S, Shinoda A A, Schweitzer C M, et al. Using Mininet for emulation and prototyping Software-Defined Networks[C]// IEEE Colombian Conference on Communications and Computing. IEEE, 2014:1-6.

[16] Tirumala A，Qin F，Dugan J，et al. Iperf:The TCP/UDP bandwidth measurement tool[OL].2005. http://dast. nlanr. net/Projects.

A LOAD BALANCING SCHEME OF SDN BASED ON THREE-TIER ARCHITECTURE

Liu Biguo Shu Yongan

(CollegeofComputerScienceandTechnology,AnhuiUniversity,Hefei230601,Anhui,China)

The static mapping relationship between the switch and the controller causes the load of SDN control plane to be unbalanced. To solve this problem, this paper proposes a load balancing scheme SMLB based on three-tier architecture. SMLB uses the controller management layer, the controller cluster, the data layer pattern. To balance the control plane load, SMLB changes the static mapping between the switch and the controller of migrating switch based on three-tier structure model. Simultaneously, SMLB overall considers the load factor and the distance factor in selecting migration switch to be migrated and idle controller. The experimental results show that SMLB can effectively control the plane load and reduce the network delay, so as to improve the control plane scalability.

Software defined network Load balancing Switch migration

2016-09-20。安徽省自然科學基金項目(1408085MF125)。劉必果，碩士，主研領域：軟件定義網絡控制平面負載均衡。束永安，教授。

TP393

A

10.3969/j.issn.1000-386x.2017.07.017