多系統(tǒng)協(xié)同的網(wǎng)絡(luò)負載均衡方法研究

吳家順，高 靜

（南京理工大學信息化建設(shè)與管理處，江蘇南京210094）

多系統(tǒng)協(xié)同的網(wǎng)絡(luò)負載均衡方法研究

吳家順，高 靜

（南京理工大學信息化建設(shè)與管理處，江蘇南京210094）

校園網(wǎng)有多個出口時，均衡使用各出口帶寬是高校網(wǎng)絡(luò)信息部門關(guān)注的問題，而由于網(wǎng)絡(luò)的互聯(lián)互通，高校在采用均衡線路方法的同時往往會降低用戶上網(wǎng)體驗。針對這種情況，作者提出多系統(tǒng)協(xié)同的網(wǎng)絡(luò)負載均衡方法，通過分析校園網(wǎng)體系結(jié)構(gòu)、用戶群體分布以及網(wǎng)絡(luò)流量構(gòu)成，調(diào)整核心設(shè)備配置、規(guī)劃策略路由實現(xiàn)目的地址選址和應(yīng)用選址相結(jié)合的鏈路負載均衡，并設(shè)計基于用戶行為的DNS資源調(diào)度算法引導(dǎo)HTTP流量，解決負載均衡下帶來的網(wǎng)絡(luò)抖動問題，通過具體高校校園網(wǎng)環(huán)境測試，實驗結(jié)果表明，原流量低的出口線路得到了有效提升，整體線路得到均衡，并擁有良好的用戶體驗。

網(wǎng)絡(luò)負載均衡；應(yīng)用協(xié)議識別；用戶行為分析；流量控制；DNS

隨著無線校園網(wǎng)的迅速普及，師生員工對網(wǎng)絡(luò)的依賴性越來越高，對高速、穩(wěn)定的網(wǎng)絡(luò)需求越發(fā)迫切，為了解決校內(nèi)外帶寬瓶頸問題，高校也逐漸將校園網(wǎng)主干線路升級到萬兆，并接入不同運營商的線路來實現(xiàn)網(wǎng)絡(luò)出口的擴容。

在實際應(yīng)用中，多網(wǎng)絡(luò)出口高校的各條線路流量并不能達到預(yù)期中的效果，往往流量集中于一條線路，造成過載，而其余線路處于空閑狀態(tài)，使用網(wǎng)絡(luò)負載均衡設(shè)備雖然可以解決過載與空閑的問題［1-7］，讓線路看上去均衡，但很容易失去多出口線路帶來的最大優(yōu)勢，發(fā)往歸屬于某運營商的數(shù)據(jù)包受負載均衡影響，需要從其他運營商的線路出去，經(jīng)過繞行，才能到達目的地，用戶的上網(wǎng)體驗感會明顯下降。

本文提出了一種基于多系統(tǒng)協(xié)同的網(wǎng)絡(luò)負載均衡方法，在解決線路負載均衡的同時，保障網(wǎng)絡(luò)質(zhì)量不受影響。

一、問題描述與分析

多出口是高校普遍采用的網(wǎng)絡(luò)策略，此策略具備優(yōu)點的同時，集中性的問題也較多，在絕大多數(shù)高校校園網(wǎng)中比較普遍。現(xiàn)以某高校為例進行典型性分析。某高校目前校園網(wǎng)有電信（1G）、聯(lián)通（100M+200M）、教育網(wǎng)（1G）、移動（1G）以及長城寬帶（1G，只提供視頻鏡像服務(wù)）出口，總可用帶寬為4.3G，校園網(wǎng)采用扁平化三層架構(gòu)部署［8-9］，有線用戶使用PPPOE撥號認證，無線用戶使用802.1x準入認證和Portal準出認證。

這是一個典型且復(fù)雜的多出口網(wǎng)絡(luò)，涵蓋了大多數(shù)的高校出口模型。從網(wǎng)管系統(tǒng)中獲取到各線路的負載情況，如表 1所示，優(yōu)質(zhì)帶寬的快速消耗導(dǎo)致校園網(wǎng)不僅在晚高峰期近乎無法使用，白天工作時間也不斷出現(xiàn)網(wǎng)頁打開緩慢的問題。

表1 線路負載表

顯而易見，電信、聯(lián)通線路已經(jīng)滿負載在運行，而其他線路，在不同的時間段，流量都較小且變化小，做出的貢獻值也偏低。

為了緩解校園網(wǎng)目前所遇到的問題，高校會采用智能流控設(shè)備對流量進行控制，保障Web應(yīng)用流量，限制單用戶并發(fā)數(shù)和帶寬，策略實施后，線路負載如表 2所示。

從數(shù)據(jù)上看，電信、聯(lián)通線路負載得到了明顯的降低，其他線路未見明顯變化，雖然在一定程度改善了網(wǎng)絡(luò)擁堵情況，在高峰期能保障網(wǎng)頁的正常瀏覽，但仍有大量線路資源處于空閑狀態(tài)。

對于校園網(wǎng)用戶，體驗網(wǎng)絡(luò)的質(zhì)量可以從兩個角度分析：①上網(wǎng)、游戲、視頻流暢不卡，即帶寬有保障，鏈路穩(wěn)定；②下載速度快，即能充分享受帶寬，當這兩個需求疊加在一起時，對帶寬有限的校園網(wǎng)而言，形成矛盾關(guān)系。分析并總結(jié)各個運營商提供的線路以及目前狀態(tài)，如表3所示。

表2 應(yīng)用流控策略后線路負載表

表3 網(wǎng)絡(luò)出口分析表

從表3中可見，大量的帶寬并沒有被有效利用起來，進一步檢查校內(nèi)權(quán)威DNS的配置信息，當前校內(nèi)DNS配置為向教育網(wǎng)遞歸，這是高校一般的配置，而教育網(wǎng)返回的域名對應(yīng)的地址以屬于聯(lián)通、電信居多，從而也得出降低擁塞線路需要解決DNS遞歸解析問題［11-13］。

表4 應(yīng)用流量排名表

從流控設(shè)備中取得應(yīng)用排名信息，如表 4所示，可以發(fā)現(xiàn)P2P流量在網(wǎng)絡(luò)流量中占比最大，結(jié)合表1數(shù)據(jù)，正是這部分流量消耗了優(yōu)質(zhì)線路的寶貴帶寬，造成用戶不僅上網(wǎng)不穩(wěn)定，而且下載緩慢，互相爭搶有限的優(yōu)質(zhì)帶寬，惡性循環(huán)越發(fā)嚴重。

表 4也表明，穩(wěn)妥的處理好P2P下載流量，才能恢復(fù)網(wǎng)絡(luò)的暢通，是負載均衡實現(xiàn)的先要條件，基于以上分析，本文提出了基于多系統(tǒng)協(xié)同的負載均衡方法。

二、多系統(tǒng)協(xié)同的負載均衡方法

通過上述分析研究，并考慮到現(xiàn)有核心架構(gòu)，通過三種途徑共同作用來實現(xiàn)網(wǎng)絡(luò)負載均衡，并解決負載均衡中遇到的網(wǎng)絡(luò)抖動問題。

1.校園網(wǎng)核心重新部署

核心鏈路升級改造是為了給負載均衡的實現(xiàn)提供必要的硬件支撐。

改造后的核心拓撲如圖1所示，部署方案如下：

（1）部署2臺萬兆防火墻并作為出口路由設(shè)備，防火墻以主備模式部署，在最前端配置一臺交換機，劃分VLAN，將各出口線路一分為二，分別接到防火墻，解決網(wǎng)絡(luò)出口穩(wěn)定性問題。

（2）核心設(shè)備之間的鏈路由千兆捆綁升級到萬兆互聯(lián)，解決物理層次的瓶頸以及因捆綁而造成的設(shè)備部分功能受限問題。

圖1 網(wǎng)絡(luò)核心拓撲圖

2.系統(tǒng)協(xié)同配置方法

在負載均衡方法上，整體思路為實時應(yīng)用采用目的地址路由，數(shù)據(jù)包不跨運營商線路；p2p下載、p2p影音采用應(yīng)用協(xié)議路由，指定具體出口線路；DNS劃分不同轉(zhuǎn)發(fā)區(qū)，引導(dǎo)網(wǎng)絡(luò)流量，并解決網(wǎng)絡(luò)抖動問題。具體配置方法如下所述:

（1）在出口防火墻上面寫入靜態(tài)路由，根據(jù)IP目的地址選擇合適的運營商線路；依據(jù)應(yīng)用識別的結(jié)果，制定策略路由，將P2P下載、P2P影音的數(shù)據(jù)包按線路負載引流到教育網(wǎng)出口和移動出口。

策略路由配置命令如下：

配置命令生效后，查詢配置結(jié)果如圖2高亮行所示。

圖2 策略路由配置圖

（2）校內(nèi)DNS服務(wù)器的遞歸請求默認通過移動線路發(fā)送到移動的DNS服務(wù)器進行解析；定義多個DNS轉(zhuǎn)發(fā)區(qū)，教育網(wǎng)域名以通配符識別方式發(fā)送到教育網(wǎng)DNS解析；視頻站點域名發(fā)送到長城寬帶DNS服務(wù)器解析；因DNS默認遞歸由教育網(wǎng)變更為移動造成網(wǎng)絡(luò)抖動的域名地址發(fā)送到電信DNS解析，出口線路選擇由防火墻配置的靜態(tài)路由進行支持，對應(yīng)關(guān)系如表5所示。

表5 DNS轉(zhuǎn)發(fā)列表

（3）修改緩存設(shè)備配置參數(shù)，改進主動和被動緩存觸發(fā)因子，優(yōu)化資源淘汰調(diào)度算法以及服務(wù)對象，并進行集群部署。

（4）流控設(shè)備透明接入到防火墻和核心設(shè)備之間，配置限制單用戶會話數(shù)總量和新建速率，預(yù)防DDOS攻擊等可能對網(wǎng)絡(luò)設(shè)備造成的性能影響，并根據(jù)需求在設(shè)備上做臨時性的保障限制策略。

3.DNS資源調(diào)度優(yōu)化算法

當DNS返回的IP地址在移動地址段中，由于線路質(zhì)量問題，訪問部分站點會不穩(wěn)定，即上文所述的網(wǎng)絡(luò)抖動，可以通過用戶反饋手工搜集這些站點，寫入到電信轉(zhuǎn)發(fā)區(qū)，但工作量不僅大而且用戶評價不好。本文提出了基于用戶行為的DNS資源優(yōu)化調(diào)度算法來解決這個問題。結(jié)合站點請求解析次數(shù)、在Alexa網(wǎng)站中的排名以及是否擁有運營商鏡像等因子進行分析計算，將滿足要求需要保障的域名解析寫入到電信轉(zhuǎn)發(fā)區(qū)中。

算法描述：

定義網(wǎng)站域名集合D，移動地址段M，被解析站點域名d，d∈D，域名被請求解析次數(shù)m，在移動DNS中解析出來的地址p。

當p∈M，則統(tǒng)計校園網(wǎng)到地址p的時延數(shù)據(jù)，并計算平均時延t。

定義Δ，表示每一個域名在當前線路需要被調(diào)整的系數(shù)，由網(wǎng)絡(luò)穩(wěn)定性、時延性以及由歸一化后的請求次數(shù)α計算所得，Δ值越大，表明越需要進行調(diào)整，其中

在p∈M的條件下，將域名d發(fā)送到電信DNS進行解析，并計算Δ'，得到電信線路的調(diào)整系數(shù)。

定義λ=Δ-Δ'，λ為二者距離，定義調(diào)整闕值β，β＞0，當λ＞β時，參考Δ初始值并結(jié)合實際訪問感受，將對應(yīng)域名遷移到電信保障轉(zhuǎn)發(fā)域中。

三、實驗分析

選取了某個時刻的域名請求排行，收集時延信息，并分別予以計算Δ和Δ'，如表6所示。

表6 站點訪問時延分析表

由實驗數(shù)據(jù)結(jié)合實際訪問網(wǎng)站感受進行分類，經(jīng)驗數(shù)據(jù)表明，當網(wǎng)頁打開速度有明顯變化時，即可考慮將該域名解析進行遷移。

通過多系統(tǒng)間的協(xié)同調(diào)整，在沒有限速的情況下，目前各出口線路使用狀況與調(diào)整之前對比如圖3所示，各線路都在較高負荷中運行，視頻服務(wù)出口線路因提供有限服務(wù)，從而流量不會很高。通過對百度貼吧、學校BBS論壇等信息的觀測，校園網(wǎng)用戶普遍反應(yīng)目前使用校園網(wǎng)進行頁面瀏覽、游戲的質(zhì)量以及下載速度得到了很大的提升，達到了預(yù)期的網(wǎng)絡(luò)負載均衡效果。

圖3 線路負載圖

經(jīng)過調(diào)整后，校園網(wǎng)下行帶寬利用率得到了明顯提升，如圖 4所示，非高峰期流量已經(jīng)突破調(diào)整前的晚高峰流量。

圖4 調(diào)整前后校園網(wǎng)下行流量對比圖

在出口防火墻上面觀察，P2P應(yīng)用已經(jīng)從教育網(wǎng)、移動線路上分流；電信、聯(lián)通線路上以Http應(yīng)用和其他TCP協(xié)議為主，如表7所示。

為了驗證每個用戶在電信、聯(lián)通線路中帶寬占用情況，在流控設(shè)備上進行單用戶帶寬限制測試，當非P2P應(yīng)用的帶寬限制依次設(shè)置為10Mbps、6Mbps、4Mbps時，發(fā)現(xiàn)電信、聯(lián)通線路下行流量變化不明顯，即單個用戶在優(yōu)質(zhì)線路上的帶寬占用率不顯著，而3萬多校園網(wǎng)用戶決定此線路會在高負荷下運行。

表7 應(yīng)用流量分布

在負載均衡方法中，將緩存設(shè)備也作為一個重要的因素予以考慮，策略調(diào)整后緩存設(shè)備也發(fā)揮了明顯的作用。在緩存磁盤全部格式化清空后，設(shè)備用了約7天左右的時間進行高速緩存，如圖 5所示；穩(wěn)定后，為校園網(wǎng)用戶提供約300Mbps的流量服務(wù)，進一步降低了出口壓力，如圖6所示。圖5和圖6中實心區(qū)域為回源流量，線條為服務(wù)流量。

圖5 穩(wěn)定工作期間回源/服務(wù)流量圖

圖6 設(shè)備緩存期間服務(wù)/回源流量圖

實現(xiàn)高校多出口網(wǎng)絡(luò)的負載均衡，首先需要知道各學校網(wǎng)絡(luò)的流量構(gòu)成，比如總體而言，文科院校視頻流量會相對較高，而理工科院校點對點下載的流量會很高，一般負載均衡設(shè)備從線路的角度出發(fā)，前提也基于線路質(zhì)量是等價，在高校特殊的網(wǎng)絡(luò)中直接應(yīng)用可能帶來相反的效果。本文針對特定的網(wǎng)絡(luò)場景，不但平衡了線路流量，還提升了線路利用率，并提出一種解決網(wǎng)絡(luò)抖動的方法，經(jīng)實驗驗證，達到了預(yù)期的效果。

［1］張煥杰，夏玉良.用戶自主選擇的校園網(wǎng)出口策略路由實現(xiàn)［J］.通信學報，2013（S2）：14-22.

［2］郭秉禮，黃善國，羅沛等.基于負載均衡的聯(lián)合路由策略［J］.北京郵電大學學報，2009，32（4）：1-5.

［3］王云嵐，李增智，薛軍等.基于DNS的負載均衡算法研究［J］.計算機工程與應(yīng)用，2002（4）：11-13.

［4］吳璇，隋紅建.負載均衡技術(shù)在防火墻系統(tǒng)中的應(yīng)用［J］.計算機應(yīng)用，2003，23（S2）：22-24.

［5］常潘，沈富可.使用域名負載均衡技術(shù)實現(xiàn)校園網(wǎng)對外服務(wù)器的高速訪問［J］.計算機應(yīng)用，2007，27（7）：1585-1586.

［6］申健.校園網(wǎng)路由策略分析及應(yīng)用［J］.實驗技術(shù)與管理，2013，30（11）：122-125.

［7］Su Bing，Yu Haiyang，Lu Jieru.Traffic optim izationon the dynamic sw itching of ABR for OSPF networks ［C］.2009 International Conference on Information Technology and Computer Science，2009：429-432.

［8］謝勝軍.有線無線一體化的扁平校園網(wǎng)設(shè)計［J］.通信學報，2013，34（Z2）：79-83.

［9］張志成，鄒仁明，張曉.基于冗余架構(gòu)的校園網(wǎng)多出口系統(tǒng)的設(shè)計與實現(xiàn)［J］.計算機科學，2012，39（10）：219-222.

［10］彭雋，勞鳳丹，鄒仁明.萬兆全冗余校園網(wǎng)出口升級改造方案［J］.武漢大學學報（理學版），2012，58（S1）：120-124.

［11］杜躍進，張兆心，王克等.基于用戶感知的DNS解析網(wǎng)絡(luò)性能測量技術(shù)［J］.南京航空航天大學學報，2013，45（1）：110-115.

［12］王艷歌.一種基于智能DNS解析及靜態(tài)地址映射的快速訪問策略［J］.科技通報，2012，28（12）：146-148.

［13］秦臻，周帆，李樂民.DNS對CDN流媒體服務(wù)質(zhì)量的影響［J］.電子科技大學學報，2013，42（4）：577-580.

（編輯：魯利瑞）

TP393.1

A

1673-8454（2016）04-0085-05