負載均衡技術(shù)在統(tǒng)一采集平臺中的應(yīng)用研究與實現(xiàn)

張 淵 ，郭濤峰 ，張攀翔 ，高建軍 ，臧佳艷

（1.中國移動通信集團廣東有限公司 廣州 510623；2.億陽信通股份有限公司 北京 100093）

1 引言

隨著移動通信和高性能網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，3G網(wǎng)絡(luò)、智能網(wǎng)以及LTE的不斷推廣和普及，在用戶數(shù)量增加的同時開通的業(yè)務(wù)也呈多樣化發(fā)展，數(shù)據(jù)業(yè)務(wù)量逐漸呈現(xiàn)上升趨勢。而隨著業(yè)務(wù)量的提高、訪問量和數(shù)據(jù)流量的快速增長，其處理能力和計算強度也相應(yīng)增大，數(shù)據(jù)采集的負荷越來越高，使得單一采集設(shè)備根本無法承擔。網(wǎng)管相關(guān)部分為了應(yīng)對采集機高負荷的狀況，頻頻增加價格昂貴的小型機，用來解決采集效率降低、采集機高負荷下頻頻宕機的問題，以期提升采集層的穩(wěn)定性，保障支撐業(yè)務(wù)能夠順利運行。然而，這種單純增加采集機硬件的方式，卻很難成為一種高性價比、適應(yīng)長遠發(fā)展的解決方案。

傳統(tǒng)的數(shù)據(jù)采集模式，各專業(yè)間的采集都是單獨建設(shè)，呈離散分布，由于各專業(yè)網(wǎng)業(yè)務(wù)需求不一樣，采集的數(shù)據(jù)量也存在差異，這勢必造成專業(yè)間資源不能充分利用，不能互補。為了解決這種問題，統(tǒng)一采集平臺在移動規(guī)劃OSS 2.0中首次被提出，從架構(gòu)上突破了傳統(tǒng)網(wǎng)管數(shù)據(jù)采集的建設(shè)模式，將各專業(yè)網(wǎng)中的NE/OMC/EMS作為一個大的設(shè)備源池，采集的數(shù)據(jù)統(tǒng)一由統(tǒng)一采集平臺提供，從而避免多應(yīng)用系統(tǒng)重復(fù)采集、數(shù)據(jù)“孤島”等情況存在。

統(tǒng)一采集平臺如何實現(xiàn)各專業(yè)間數(shù)據(jù)采集硬件資源的充分利用、負荷均勻分配，是達到OSS 2.0規(guī)劃中采集層“統(tǒng)一”的關(guān)鍵，而負載均衡技術(shù)為解決這些問題提供了一個技術(shù)支撐點。負載均衡建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，提供了一種廉價、有效、透明的方法擴展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性。

2 研究現(xiàn)狀

2.1 負載均衡技術(shù)現(xiàn)狀

近年來隨著云技術(shù)的快速發(fā)展，基于云平臺的集群計算逐步成為一種高性價比的并行/分布式計算資源。負載均衡是集群系統(tǒng)中的重要技術(shù)，而動態(tài)負載均衡技術(shù)的應(yīng)用更符合實際環(huán)境的需要，通過動態(tài)平衡各個節(jié)點間的負載提高集群系統(tǒng)的性能。

目前，負載均衡技術(shù)主要應(yīng)用在以下幾個方面:DNS負載均衡、代理服務(wù)器負載均衡、地址轉(zhuǎn)換網(wǎng)關(guān)負載均衡、協(xié)議內(nèi)部支持負載均衡、NAT負載均衡、反向代理負載均衡、混合型負載均衡等。其中，混合型負載均衡常用于大型網(wǎng)絡(luò)，由于多個服務(wù)器群內(nèi)的硬件設(shè)備、各自的規(guī)模、提供的服務(wù)等存在差異，考慮對每個服務(wù)器群采用最合適的負載均衡方式，然后在多個服務(wù)器群間再一次負載均衡或群集起來以一個整體向外界提供服務(wù)（即把多個服務(wù)器群當作一個新的服務(wù)器群），從而達到最佳的性能。統(tǒng)一采集平臺的軟硬件環(huán)境、提供的服務(wù)等與混合型負載均衡基本一致，因此本研究基于該負載均衡應(yīng)用開展。

2.2 原有采集層狀況

傳統(tǒng)的網(wǎng)管采集系統(tǒng)依賴于網(wǎng)管系統(tǒng)，采取“煙囪”式的模式獨立建設(shè)。業(yè)務(wù)平臺上的應(yīng)用眾多，而每個應(yīng)用的建設(shè)在不同階段由不同的廠商來實施，采用不同的架構(gòu)，基本上都是以“煙囪”式進行運維管理，每個應(yīng)用獨占物理服務(wù)器、存儲和網(wǎng)絡(luò)等資源。每個應(yīng)用為了保證服務(wù)質(zhì)量，在擴容時一般都按照峰值時的需求，造成正常情況下一大部分資源被浪費，沒有被充分利用；而部分發(fā)展緩慢的業(yè)務(wù)資源難以及時回收，也造成資源浪費；專業(yè)網(wǎng)內(nèi)及網(wǎng)間的采集機資源也無法得到合理利用。

這種模式下，即使硬件資源投資逐年提升，仍無法得到良好的應(yīng)用效果，系統(tǒng)的穩(wěn)定性得不到保證。采集機運行負荷不均、資源孤立等因素，導(dǎo)致個別采集機經(jīng)常性宕機的情況時有發(fā)生。

而突破網(wǎng)間及網(wǎng)內(nèi)資源的獨立限制，將離散的采集機有效地控制起來，并且合理利用和分配硬件資源的技術(shù)，成為采集層急迫解決的難題。

2.3 解決思路

為解決以上諸多現(xiàn)狀問題，統(tǒng)一采集平臺引入了采集節(jié)點任務(wù)動態(tài)負載均衡技術(shù)。本文從動態(tài)負載均衡原理、任務(wù)調(diào)度算法、資源池搭建和部署、不同場景下的負載均衡處理和設(shè)計機制、核心控制切換機制以及權(quán)重因子和負荷監(jiān)控等方面著手研究，使負載均衡技術(shù)能夠真正運用到統(tǒng)一采集平臺中。

3 應(yīng)用研究

3.1 原理闡述

負載均衡建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，提供了一種廉價有效的方法擴展服務(wù)器帶寬和增加吞吐量，加強網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。大量的并發(fā)訪問或數(shù)據(jù)流量分擔到多臺節(jié)點設(shè)備上分別處理，減少用戶等待響應(yīng)的時間。網(wǎng)絡(luò)負載均衡則將工作負載在這些主機間進行分配。對于其他服務(wù)，只有一臺主機處理工作負載，針對這些服務(wù)，網(wǎng)絡(luò)負載均衡允許網(wǎng)絡(luò)通信量流到一個主機上，并在該主機發(fā)生故障時將通信量移至其他主機。

負載均衡技術(shù)能夠解決網(wǎng)絡(luò)擁塞問題，就近提供服務(wù)，實現(xiàn)地理位置無關(guān)性，能夠為用戶提供更好的訪問質(zhì)量，提高服務(wù)器的響應(yīng)速度，提高服務(wù)器及其他資源的利用效率，并且能夠避免網(wǎng)絡(luò)關(guān)鍵部位出現(xiàn)單點失效。

3.2 任務(wù)調(diào)度算法研究

一個負載均衡算法通常包含以下3個組成部分。

·信息策略:制定任務(wù)放置策略的制定者使用的負載和任務(wù)量以及信息分配方式。

·傳送策略:基于任務(wù)和計算機負載，判斷是否要把一個任務(wù)傳送到其他計算機上處理。

·放置策略:對于適合傳送到其他計算機處理的任務(wù)，選擇任務(wù)將被傳送到目的計算機。

負載均衡的3個組成部分之間以不同的方式相互作用。放置策略利用信息策略提供的負載信息，僅當任務(wù)被傳送策略判斷為適于傳送之后才行動。

目前，關(guān)于負載均衡任務(wù)調(diào)度的算法有:輪詢（round robin）、加權(quán)輪詢 （weighted round robin）、最少連接（least connections）、加權(quán)最少連接（weighted least connections）、隨機 （random）、加權(quán)隨機 （weighted random）、源地址散列（source hashing）、源地址端口散列（source&port hashing）、目的地址散列（destination hashing)，但后兩種算法的實現(xiàn)相對比較復(fù)雜，應(yīng)用并不廣泛。

（1）輪詢算法

新的連接被依次輪詢分發(fā)到各個實服務(wù)器上，如第1個連接分發(fā)到第1臺服務(wù)器，第2個連接分配到第2臺服務(wù)器，依次輪詢。輪詢算法適合于服務(wù)器組中所有服務(wù)器都有相同的軟硬件配置并且平均服務(wù)請求相對均衡的情況。

（2）加權(quán)輪詢算法

根據(jù)服務(wù)器的不同處理能力，為每個服務(wù)器分配不同的權(quán)值，使其能夠接受相應(yīng)權(quán)值數(shù)的服務(wù)請求。根據(jù)實際服務(wù)器的配置情況和處理能力，給每臺實際服務(wù)器制定一個整數(shù)類型的權(quán)值，此整數(shù)值用來標識服務(wù)器處理用戶請求的能力。在加權(quán)循環(huán)輪轉(zhuǎn)分配用戶請求時，優(yōu)先請求分配權(quán)值大的服務(wù)器，權(quán)值大的服務(wù)器將被賦予更多的請求，一段時間后，各服務(wù)器處理請求數(shù)趨于各自權(quán)值的比例。加權(quán)輪詢算法能確保高性能的服務(wù)器得到更多的使用率，避免低性能的服務(wù)器負載過重。

（3）最少連接算法

最少連接算法對內(nèi)部需負載的每一臺服務(wù)器都有一個數(shù)據(jù)記錄，記錄當前服務(wù)器正在處理的連接數(shù)量，當有新的服務(wù)連接請求時，把當前請求分配給連接數(shù)最少的服務(wù)器，使均衡更加符合實際情況，負載更加均衡。最少連接算法適合長時處理的請求服務(wù)，如FTP。

（4）加權(quán)最少連接算法

將加權(quán)與最少連接算法配合，根據(jù)連接數(shù)與加權(quán)比例計算當前新連接應(yīng)該發(fā)往哪個服務(wù)器。

（5）隨機算法

將新連接隨機分發(fā)給具體的實服務(wù)器。

（6）加權(quán)隨機算法

使加權(quán)與隨機算法配合，根據(jù)隨機數(shù)與加權(quán)比例計算當前新連接應(yīng)該發(fā)往哪個服務(wù)器。

（7）源地址散列算法

根據(jù)新連接的源IP地址進行散列的結(jié)果決定將該新連接發(fā)往哪個實服務(wù)器。一般來說，來自相同客戶端的新連接會被散列到相同的實服務(wù)器。

統(tǒng)一采集平臺的負載均衡部署在管理服務(wù)器上，其任務(wù)調(diào)度采用一種類似加權(quán)輪詢采集機的方式，這種算法對負荷影響因素的分析相對全面，得出的均衡結(jié)論更加準確，應(yīng)用也相對更廣泛。在統(tǒng)一采集平臺中，負載權(quán)重因子包括任務(wù)權(quán)重因子、采集機硬件負荷因子。其中，采集機負荷因子涵蓋CPU占用率、硬盤總量、內(nèi)存占用率、線程總數(shù)、采集機采集能力、最大負荷值、CPU上下文切換率；任務(wù)權(quán)重因子包括采集機支持最大任務(wù)數(shù)、運行隊列中的任務(wù)數(shù)等。通過對兩大類權(quán)重因子的復(fù)雜運算和分析，確保高性能的服務(wù)器得到更多的使用率、服務(wù)器運行的各種任務(wù)得到動態(tài)均衡分配和監(jiān)控，從而避免低性能的服務(wù)器負載過重，同時提升任務(wù)執(zhí)行的及時性和采集平臺自身的穩(wěn)定性。在加權(quán)輪詢算法的實現(xiàn)上，統(tǒng)一采集平臺要經(jīng)過4個策略處理步驟，分別為傳送策略、選擇策略、放置策略、信息策略，具體介紹如下。

·傳送策略用來決定一個采集節(jié)點是否適合參與一次任務(wù)的遷移，在本次遷移中，采集節(jié)點可以作為發(fā)送節(jié)點，也可以作為接收節(jié)點。傳送策略使用閾值策略，當一個采集機節(jié)點產(chǎn)生一個新的任務(wù)時，傳送策略判斷該節(jié)點的負載超過上限閾值TH，它成為發(fā)送節(jié)點遷移任務(wù)；當一個節(jié)點的負荷降到下限閾值TL，傳送策略決定該節(jié)點為可用采集機節(jié)點，具備分擔采集任務(wù)負載。其中，TH與TL值可以在統(tǒng)一采集平臺的UI界面中設(shè)置。

·選擇策略在傳送策略之后啟動，負責將任務(wù)向采集機任務(wù)開銷較小的服務(wù)器上轉(zhuǎn)移。統(tǒng)一采集平臺對策略的選擇考慮了兩種因素:其一，轉(zhuǎn)移的額外開銷經(jīng)計算比較后代價最小；其二，如果被選中的采集任務(wù)可以運行足夠長的時間，那么可以認為采集節(jié)點為可接受選擇策略。

·放置策略確定進程遷移目的節(jié)點，將任務(wù)遷移到系統(tǒng)中負載最輕的節(jié)點。統(tǒng)一采集平臺的放置策略采取“輪詢”方式，一個采集節(jié)點向另外的節(jié)點詢問對方是否適合作為傳送目標節(jié)點。詢問節(jié)點的選擇基于上一次的輪詢信息，通過發(fā)送詢問的廣播分組尋找任意一個負載均衡的可用節(jié)點。

·信息策略的選取是采集服務(wù)器負載均衡算法的核心，它的選擇直接影響到負載均衡的性能，一個好的策略可以使得系統(tǒng)的性能得到很大提高。集群系統(tǒng)的信息策略決定系統(tǒng)節(jié)點的信息何時被收集、從何處收集這些信息、具體要收集哪些信息以及收集到的信息的管理方式和處理效率。統(tǒng)一采集平臺的負載均衡算法采取周期性收集策略和時間驅(qū)動策略；收集到的信息的管理可以采用集中式，也可以采用分散式。

負載均衡的實現(xiàn)過程如圖1所示，具體介紹如下。

·管理控制分發(fā)任務(wù)線程接收到待發(fā)任務(wù)；

·判斷是否為定向任務(wù)；

·如果是定向任務(wù)，找到定向采集機，直接下發(fā)，如果不是定向任務(wù)，找到所有適合該任務(wù)的采集機；

·計算所有采集機的權(quán)重和；

·取當前所有未完成的任務(wù)數(shù)＋子任務(wù)數(shù) （以前未完成的任務(wù)數(shù)+本次待發(fā)的任務(wù)數(shù)）；

·循環(huán)所有采集機，找出最優(yōu)采集機，下發(fā)任務(wù)；

·如果沒有找到采集機，進入重新下發(fā)任務(wù)隊列；

·在所有未完成的任務(wù)緩存中緩存該任務(wù)；

·在該采集機未完成的任務(wù)緩存中緩存該任務(wù)；

·任務(wù)完成后，回收緩存的任務(wù)。

循環(huán)采集機的流程介紹如下。

·取一個采集機。

·判斷CPU和內(nèi)存中使用率最大的數(shù)是否超過設(shè)置上限。心跳中的CPU和內(nèi)存的使用率與采集機的DAL_MD_INFO表采集機最大負荷值字段值比較，如果大于DAL_MD_INFO表中采集機的最大負荷值，則不給該采集機分配任務(wù)。

·計算采集機的應(yīng)分任務(wù)，應(yīng)分任務(wù)=采集機權(quán)重/所有采集機權(quán)重和×（所有未完成的任務(wù)數(shù)＋子任務(wù)數(shù)）；采集機權(quán)重值來自DAL_MD_INFO表中的MD_POWER字段；所有未完成的任務(wù)數(shù)來自于Task Status Manager類中原緩存變量的長度。

·計算與該采集實際未完成的任務(wù)數(shù)的差值，稱任務(wù)空閑值，任務(wù)空閑值=應(yīng)分任務(wù)-實際未完成任務(wù)。

·比較各采集機的任務(wù)空閑值，保存任務(wù)空閑值最大的采集機名稱。

·循環(huán)完畢后，返回采集機名稱。

3.3 云資源池搭建與硬件部署

經(jīng)過研究和實踐得出，云平臺資源池建設(shè)過程中，當遵循以下幾個原則時，效率最高、方案最可行。

圖1 負載均衡流程

·不同CPU指令集的服務(wù)器資源池之間無法共享資源，需獨立建池；

·結(jié)合機房分布，分散設(shè)置各資源池；存儲設(shè)備需與關(guān)聯(lián)服務(wù)器設(shè)置在同一機房；

·數(shù)據(jù)實時交互的兩大系統(tǒng)需設(shè)置相同或相近的機房；

·充分考慮對現(xiàn)有設(shè)備的利舊；

·能夠通過內(nèi)網(wǎng)不同安全域?qū)崿F(xiàn)相同資源池的共享；

·建立與云計算相適應(yīng)的IT管理工具和IT運維管理體系。

為了兼顧采集效率和經(jīng)濟投入效率，統(tǒng)一采集平臺需要支持兩種模式下的云資源池搭建方式:完全基于x86構(gòu)建資源池；考慮硬件利舊，支持x86與小型機（原有）混搭構(gòu)建資源池。

對應(yīng)于分布式采集方案，集中采集是將采集機放在網(wǎng)管服務(wù)器側(cè)（如圖2(a)所示），在網(wǎng)絡(luò)向萬兆比特發(fā)展的大趨勢下，原則上盡量采用集中采集方式。

圖2 集中式采集和分散式采集示意

對于采集數(shù)據(jù)量特別大的情況，如信令監(jiān)測，可考慮采取分散采集方式（如圖2(b)所示）。對于多省集中且采用網(wǎng)元直聯(lián)采集方式的采集平臺，首先在屬地省進行采集收斂和數(shù)據(jù)壓縮，然后再接入采集平臺。

不管是分布式采集還是集中式采集，采集管控均采用集中部署方式，集中進行采集任務(wù)調(diào)度和采集監(jiān)控。

（1）計算資源

針對集中采集方案，考慮到云計算的發(fā)展趨勢，宜考慮統(tǒng)一采用x86主機資源池進行建設(shè)。

·部署在云資源池的內(nèi)聯(lián)或外聯(lián)DMZ；

·除考慮利舊小型機外，新增采集機均采用x86主機；

·可按省份、專業(yè)、網(wǎng)元劃分采集機，根據(jù)需要使用虛擬化技術(shù)，提高采集節(jié)點的利用率，實現(xiàn)采集機N+1高可用方案。

（2）存儲資源

·采集共享數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，采用數(shù)據(jù)庫存儲；

·采集原始數(shù)據(jù)文件、日志文件，采用文件存儲；

·數(shù)據(jù)量巨大時，考慮采用分布式數(shù)據(jù)庫和分布式文件系統(tǒng)。

硬件部署如圖3所示。

統(tǒng)一采集平臺具備系統(tǒng)穩(wěn)定性、高可用性、可擴展性，在硬件部署上支持采集機集群、管理服務(wù)器集群方式。基于云資源池實現(xiàn)采集機集群、動態(tài)負載均衡。管理服務(wù)器資源池層，支持多臺管理服務(wù)器互備份的功能。

3.4 負載均衡不同場景的設(shè)計機制

3.4.1 常態(tài)下的負載均衡實現(xiàn)機制

采集機負載均衡要求將無定向采集機的采集任務(wù)，根據(jù)采集機負載情況動態(tài)分配給負載較低的采集機，主要通過以下方式保障:

·所有采集廠商適配器包在管理監(jiān)控平臺注冊并同步到所有采集機上，新增采集機自動獲取全部廠商包，以保證非定向采集任務(wù)可以被分配到任何一臺采集機上；

·采集機定時反饋自身狀態(tài)信息，包括正在執(zhí)行的線程數(shù)、內(nèi)存占用、CPU負荷信息，供管理平臺計算負載、下發(fā)任務(wù)；

·管理監(jiān)控平臺的狀態(tài)監(jiān)控管理模塊，通過接收采集機定時反饋的自身信息判斷是否有采集機宕機，如果宕機，則將該采集機所有非定向任務(wù)負載分擔給正常的采集機，并發(fā)出相關(guān)告警。

任務(wù)分發(fā)模塊根據(jù)采集機的負載情況，將可以負載均衡的任務(wù)分發(fā)到負載較低的采集機上進行采集，將定向任務(wù)發(fā)到指定或初次采集的采集機上進行采集。

其內(nèi)部處理結(jié)構(gòu)如圖4所示。

任務(wù)類型判斷模塊:合并后的任務(wù)提交到分發(fā)通道，任務(wù)類型判斷模塊從通道中讀取任務(wù)，并根據(jù)任務(wù)類型、采集機狀態(tài)和負載均衡算法選擇采集機，將采集機信息存入任務(wù)對象。

消息發(fā)送模塊:將任務(wù)消息發(fā)送到任務(wù)采集機隊列中，采集機獲取后進行相關(guān)采集工作。如果是特殊任務(wù)，直接從任務(wù)中取出采集機信息下發(fā)到采集機。

負載均衡算法可以參考的維度包括:CPU占用率、內(nèi)存占用率、采集機采集能力、采集機未完成的任務(wù)數(shù)、任務(wù)負載權(quán)重等。

3.4.2 采集機出現(xiàn)故障時的負載均衡實現(xiàn)機制

圖3 硬件部署

圖4 任務(wù)分發(fā)內(nèi)部處理結(jié)構(gòu)

采集節(jié)點實時上報心跳信息給管理服務(wù)器，心跳信息中包含系統(tǒng)資源占用情況，包括CPU、內(nèi)存占用情況，管理服務(wù)器通過心跳信息及時掌握各采集節(jié)點的狀態(tài)，管理服務(wù)器在3個心跳周期沒有收到心跳就置該采集節(jié)點為不可用狀態(tài)，不會再給該采集節(jié)點下發(fā)任務(wù)，而原有分配到該采集機的任務(wù)會自動分配到其他采集機上，不會影響數(shù)據(jù)的正常采集，當采集機恢復(fù)后將繼續(xù)向其分配采集任務(wù)。

同時，在采集機節(jié)點發(fā)生故障時，系統(tǒng)具備可配置節(jié)點故障發(fā)送機制，能夠第一時間以消息（告警）的形式通知運維人員，對采集機故障進行及時干預(yù)，避免由于采集任務(wù)分擔到其他采集機后造成負荷過高而產(chǎn)生更大的故障損失。

出現(xiàn)故障時的處理過程如圖5所示。

3.4.3 新增采集機時的負載均衡實現(xiàn)機制

統(tǒng)一采集平臺提供了一種采集機自動加載機制，通過可視化界面對新增的采集機進行配置，配置完成后即可直接用于采集數(shù)據(jù)，過程中不需要重新啟動系統(tǒng)和程序。管理監(jiān)控平臺的狀態(tài)監(jiān)控管理模塊經(jīng)過輪詢方式主動發(fā)現(xiàn)新增采集機，建立心跳連接，探測該采集機的自身健康狀況，經(jīng)過負載權(quán)衡因子計算后，判斷為可用采集機。任務(wù)分發(fā)模塊，將可以采集任務(wù)自動分發(fā)到新的采集節(jié)點上，新增采集機根據(jù)任務(wù)進行采集。

3.4.4 網(wǎng)絡(luò)限制，采集機分組機制

由于網(wǎng)絡(luò)路由限制，允許對采集節(jié)點進行分組，在采集節(jié)點組內(nèi)部進行負載均衡，支持將某個采集源的采集定向到某一個采集節(jié)點，如對數(shù)據(jù)網(wǎng)中業(yè)務(wù)系統(tǒng)的采集，采集機必須部署在專業(yè)域內(nèi)部，部署在網(wǎng)管中心的采集機不能訪問，這樣就可以把部署在專業(yè)域內(nèi)部的幾臺采集機分為一個組，采集任務(wù)可以在這幾臺機器之間進行負載均衡。

圖5 采集機出現(xiàn)故障時的負載均衡示意

實踐證明，采集機對設(shè)備訪問時有網(wǎng)絡(luò)限制等場景下，用采集機分組方式解決動態(tài)負載均衡面臨的問題，效率最好，見表1。

3.5 負載均衡核心控制切換機制

統(tǒng)一采集平臺提供一種保障負載均衡穩(wěn)定性機制，即核心控制能夠自動切換。目前，負載均衡控制器程序部署在統(tǒng)一采集平臺的“主—備”管理服務(wù)器中。

（1）儲備切換機制

備用服務(wù)器定期（可設(shè)置）從主用服務(wù)器同步數(shù)據(jù)，外部自身監(jiān)控模塊實時監(jiān)控主用服務(wù)器的進程狀態(tài)和心跳信息。當主用服務(wù)器出現(xiàn)異常后，核心管理控制器自動切換到備用管理服務(wù)器，同時自身監(jiān)控模塊會發(fā)送告警給監(jiān)控類系統(tǒng)，并以短信方式發(fā)送給維護人員。此時，可以查看當前時間段數(shù)據(jù)是否正常，必要時進行數(shù)據(jù)補采操作。

（2）主備核心控制器間的信息同步

核心控制服務(wù)器上部署內(nèi)存數(shù)據(jù)庫 （HSQLDB）等程序，在備用系統(tǒng)上配置每10 min會把主用核心控制服務(wù)器上的HSQLDB、核心服務(wù)同步一次。HSQLDB中保存有設(shè)備的訪問信息和任務(wù)信息，核心服務(wù)保存有適配器。

表1 刀片機分組模式與不分組模式不同場景下對比

主備切換時，主用核心控制器上已經(jīng)下發(fā)給采集機的任務(wù)會在采集機上正常運行，剛生成還沒有下發(fā)的任務(wù)會緩存在HSQLDB中，備用核心控制器啟動后會重新下發(fā)這些任務(wù)，然后按時生成后續(xù)的任務(wù)。整個過程理論上不會存在任務(wù)丟失的情況。

（3）主備核心控制異常監(jiān)控

主用核心控制器每30 s會輸出心跳，外部自身監(jiān)控模塊實時監(jiān)控該心跳信息，當超過1.5 min沒有心跳時就發(fā)送告警信息到綜合監(jiān)控系統(tǒng)，同時每5 min掃描1次進程狀態(tài)，當發(fā)現(xiàn)進程缺失時也會發(fā)送告警信息到綜合監(jiān)控系統(tǒng)。

3.6 負載均衡權(quán)重因子設(shè)置及負荷監(jiān)控

（1）負載均衡權(quán)值因子設(shè)置

統(tǒng)一采集平臺的動態(tài)負載均衡權(quán)重因子能夠靈活配置。系統(tǒng)提供可視化權(quán)重配置界面，用戶可以根據(jù)采集機以及任務(wù)負荷的實際情況修改權(quán)重值，能夠修改的權(quán)值因子包括CPU占用率、硬盤總量、內(nèi)存占用率、線程總數(shù)、采集機采集能力、最大負荷值、CPU上下文切換率、采集機支持最大任務(wù)數(shù)、運行隊列中的任務(wù)數(shù)。

（2）負載均衡運行狀況監(jiān)控

采集任務(wù)監(jiān)控:通過監(jiān)控采集節(jié)點狀態(tài)，判斷任務(wù)分發(fā)路由，實現(xiàn)負載均衡。采集狀態(tài)監(jiān)控包括負載均衡狀態(tài)監(jiān)控、采集任務(wù)監(jiān)控、采集機負荷監(jiān)控。各監(jiān)控功能除實現(xiàn)后臺監(jiān)控外，還提供前臺查看界面。采集任務(wù)的啟停除通過調(diào)度程序后臺自動控制外，還可通過前臺界面監(jiān)控任務(wù)執(zhí)行過程，更新任務(wù)執(zhí)行狀態(tài)，并可以手動干預(yù)任務(wù)的啟停。

負載均衡狀態(tài)監(jiān)控:任務(wù)負載均衡查詢功能監(jiān)控任務(wù)負載均衡狀態(tài)，包括查詢各個采集機的總?cè)蝿?wù)個數(shù)、采集機任務(wù)數(shù)、采集機組任務(wù)數(shù)等。系統(tǒng)可定期更新狀態(tài)信息，支持按照監(jiān)控列進行升序、降序排序，支持監(jiān)控列的自由設(shè)定操作，用戶可通過選擇需要顯示的列，去除不關(guān)心的系統(tǒng)狀態(tài)參數(shù)，以保證只監(jiān)控關(guān)心的、重點的運行狀態(tài)。

采集任務(wù)監(jiān)控:能夠監(jiān)控采集機當前任務(wù)正在執(zhí)行的狀態(tài)，可選擇任務(wù)狀態(tài)、采集機、采集源、任務(wù)開始時間、任務(wù)結(jié)束時間作為查詢條件過濾采集任務(wù)，任務(wù)狀態(tài)包括新任務(wù)、正在執(zhí)行、成功、失敗、全部，可通過圖形界面查看任務(wù)流程，并可以呈現(xiàn)每個任務(wù)執(zhí)行到的具體步驟以及每個步驟的執(zhí)行情況和詳細信息。

運行負荷監(jiān)控:可監(jiān)控到采集機運行時對硬件資源（CPU、內(nèi)存、磁盤）的占用情況，超過閾值后發(fā)送告警。采集機定期發(fā)送狀態(tài)信息用于采集機負荷監(jiān)控，負荷監(jiān)控的內(nèi)容包括采集機別名、采集主機IP地址、CPU利用率、CPU總量（G×N）、內(nèi)存占用（MB）、虛擬機內(nèi)存總量（MB）、磁盤利用率、磁盤總量（GB）、心跳閾值（s）、心跳時間、采集機主機名稱等。

4 應(yīng)用效果

目前，本文所提及的動態(tài)負載技術(shù)和研究成果，已在中國移動通信集團廣東有限公司（以下簡稱廣東移動）統(tǒng)一采集平臺項目中得到了驗證和實施。

從實施規(guī)模和應(yīng)用效果看，采集機的數(shù)據(jù)采集能力得到了一定的提升。目前，統(tǒng)計數(shù)據(jù)得出:平臺日處理原始文件145 GB，每小時KPI任務(wù)量超過700個，每小時KPI表數(shù)據(jù)量超過1100條，每小時counter任務(wù)量超過5000個，每小時counter表數(shù)據(jù)量超過8000萬條，任務(wù)平均執(zhí)行時間≤48 s。從數(shù)據(jù)及時性對比結(jié)果看，現(xiàn)網(wǎng)運行的愛立信設(shè)備數(shù)據(jù)采集到KPI的生成時間平均提升26 min，華為設(shè)備平均提升28 min，TD設(shè)備平均提升20 min，參與測試的OMC平均提升 50 min。基于統(tǒng)一采集平臺的采集性能提升離不開動態(tài)均衡技術(shù)的有效應(yīng)用。

廣東移動統(tǒng)一采集平臺動態(tài)負載均衡技術(shù)現(xiàn)網(wǎng)運行的實際情況介紹如下。

（1）運行負荷監(jiān)控

通過運行負荷監(jiān)控功能，系統(tǒng)可以監(jiān)控到采集機運行時對硬件資源（CPU、內(nèi)存、磁盤）的占用情況，采集機定期發(fā)送狀態(tài)信息給平臺，也可通過“手動刷新數(shù)據(jù)”按鈕實時刷新狀態(tài)信息，如圖6所示。

（2）負載均衡權(quán)重因子設(shè)置界面

負載均衡權(quán)重因子可對采集機的硬件資源情況（如CPU總量、硬盤總量、內(nèi)存總量、線程總數(shù)、采集能力、最大負荷數(shù)等）進行設(shè)置，如圖7所示。

（3）運行負荷閾值查看界面

統(tǒng)一采集平臺提供了運行負荷閾值查看功能，可查看的內(nèi)容包括監(jiān)控內(nèi)容、下限值、上限值、系統(tǒng)配置、告警級別名稱、告警級別、采集機ID。同時，系統(tǒng)提供自由設(shè)定監(jiān)控列的操作，通過選擇需要顯示的列，去除不關(guān)心的系統(tǒng)狀態(tài)參數(shù)以保證只監(jiān)控關(guān)心的重點的運行狀態(tài)，如圖8所示。

可以查看單臺采集機的運行負荷閾值，如圖9所示。

圖6 運行負荷監(jiān)控運行

圖7 采集機硬件資源情況設(shè)置界面

圖8 運行負荷閾值設(shè)置

5 結(jié)束語

圖9 單臺采集機的運行負荷閾值設(shè)置

從任務(wù)調(diào)研算法、云資源池搭建與硬件部署、負載均衡不同場景（常態(tài)、采集機出現(xiàn)故障、新增采集節(jié)點、網(wǎng)絡(luò)限制）的設(shè)計機制、負載均衡核心控制切換機制、負載均衡權(quán)重因子配置和負荷監(jiān)控等角度，全面深入地對統(tǒng)一采集平臺的動態(tài)負載均衡技術(shù)進行了分析和研究。動態(tài)負載均衡技術(shù)是統(tǒng)一采集平臺的核心技術(shù)，為實現(xiàn)統(tǒng)一采集平臺的高效采集、穩(wěn)定運行、硬件資源合理利用，均衡分配、采集機節(jié)點動態(tài)加載、靈活配置等方面的需求提供了有力的技術(shù)支撐。這些技術(shù)成果在實際的環(huán)境下得到了良好的應(yīng)用效果和技術(shù)驗證，使統(tǒng)一采集平臺突破了傳統(tǒng)采集模式采集機利用率不合理、“冰山”式投入的困境。雖然取得了一定的應(yīng)用效果，但仍有提升的空間，未來動態(tài)負載均衡技術(shù)在大數(shù)據(jù)采集領(lǐng)域的研究以及優(yōu)化均衡權(quán)重因子算法，仍是統(tǒng)一采集平臺的重點研究方向。

1 Qualcomm.DO Advanced Smart Networks Overview,2011

2 郭輝,王智廣,周敬利.異構(gòu)分布式系統(tǒng)中基于負載均衡的容錯調(diào)度算法.計算機學報,2005(11)

3 鄧華鋒,劉云生,肖迎元.分布式數(shù)據(jù)流處理系統(tǒng)的動態(tài)負載均衡技術(shù).計算機科學,2007,34(7)

4 李坤,王百杰.服務(wù)器集群負載均衡技術(shù)研究及算法比較.計算機與現(xiàn)代化,2009(8)