基于作業(yè)運行特征的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化研究

肖堅

【摘要】隨著信息技術(shù)的發(fā)展，大數(shù)據(jù)處理系統(tǒng)得到了較快的發(fā)展，其逐漸拓展為交互式查詢、流計算及復(fù)雜迭代計算等實時性的計算場景，提升了數(shù)據(jù)的處理效率和質(zhì)量。本文從分布式硬件計算平臺資源動態(tài)性、分布式圖數(shù)據(jù)劃分與通信開銷、負(fù)載均衡程度的關(guān)系特征等方面對基于作業(yè)運行特征的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化作出全面系統(tǒng)的分析闡述。

【關(guān)鍵詞】作業(yè)運行特征? 大數(shù)據(jù)處理系統(tǒng)? 性能優(yōu)化

當(dāng)前的分布式計算硬件計算資源分散、高度動態(tài)化，針對計算平臺的任務(wù)調(diào)度機制往往無法實現(xiàn)作業(yè)執(zhí)行時的資源利用率;軟件處理引擎方面，當(dāng)前的大數(shù)據(jù)處理系統(tǒng)所引進(jìn)的抽象隔離、自動內(nèi)存管理一定程度上增加了開銷，不利于系統(tǒng)長期穩(wěn)定發(fā)展;應(yīng)用支撐方面，當(dāng)前大數(shù)據(jù)應(yīng)用因為稀疏特性導(dǎo)致數(shù)據(jù)處理效率不高，已經(jīng)無法滿足現(xiàn)代化數(shù)據(jù)處理需求。因此，開展基于作業(yè)運行特征的大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化十分必要和急迫。

一、分布式硬件計算平臺資源動態(tài)性

分布式硬件計算平臺資源動態(tài)性的研究主要目的在于構(gòu)建大數(shù)據(jù)處理任務(wù)調(diào)度機制。目前來看，可以提供海量與可擴展的計算資源主要有兩種，一種是通過網(wǎng)絡(luò)連接至個人電腦所組成的桌面網(wǎng)格計算系統(tǒng)，另一種由云計算運行商所提供的廉價瞬時計算資源。桌面網(wǎng)格計算系統(tǒng)能夠通過互聯(lián)網(wǎng)，構(gòu)建一種集成化和無縫隙的計算環(huán)境，在這種環(huán)境下計算資源和信息資源均可以全面共享。廉價瞬時計算資源屬于瞬時虛擬服務(wù)器，多分布于云平臺的地理分布數(shù)據(jù)中心，其弊端在于如果市場價格高出用戶能承受、能接受的范圍，則該計算資源會被平臺所收回。

在大數(shù)據(jù)處理任務(wù)調(diào)度機制設(shè)計中，本文基于BitDew中間件實現(xiàn)計算框架，所應(yīng)用的BitDew-MapReduce計算框架與傳統(tǒng)桌面設(shè)計不同，所遵循的方法是數(shù)據(jù)為中心，經(jīng)典的主從式分布計算架構(gòu)可以確保計算節(jié)點有效從主控節(jié)點上獲取計算任務(wù)，另外，還可以實現(xiàn)數(shù)據(jù)的調(diào)度與分發(fā)。BitDew系統(tǒng)包括包含主/從管理進(jìn)程的運行時系統(tǒng)、MapReduce編程模型實現(xiàn)機WordCount應(yīng)用程序（用于基準(zhǔn)測試）。為了避免計算應(yīng)用程序處理相同的數(shù)據(jù)導(dǎo)致重復(fù)數(shù)據(jù)傳輸這種情況的出現(xiàn)，本文所設(shè)計的BitDew-MapReduce特別定義了新的數(shù)據(jù)屬性類型，即MUTAFF、DISTRIB。其中的MUTAFF作用在于定義數(shù)據(jù)的相互依賴關(guān)系，可以將其看作為AFFINITY的雙向版本;DISTRIB是數(shù)據(jù)集屬性，借助調(diào)度器可以保證同一個數(shù)據(jù)集在每一個計算節(jié)點的數(shù)據(jù)不超過用戶設(shè)置量。設(shè)計工作完成后，要想實現(xiàn)良好的運行時系統(tǒng)，特別對主控節(jié)點和計算節(jié)點作了調(diào)整優(yōu)化，BitDew-MapReduce不依賴計算節(jié)點上緩存多副本來保證數(shù)據(jù)的可用性，只需要輸入DataCollection中的所有數(shù)據(jù)屬性便可以實現(xiàn)作業(yè)啟動操作，作業(yè)執(zhí)行到末端后，調(diào)度服務(wù)器可以根據(jù)map任務(wù)令牌上的屬性值顯示剩余工作量，并將其調(diào)度到Worker上。計算節(jié)點使用ActiveData API周期性從數(shù)據(jù)調(diào)度服務(wù)獲取數(shù)據(jù)，而后依據(jù)數(shù)據(jù)類型決定將要執(zhí)行的任務(wù)。

二、分布式圖數(shù)據(jù)劃分與通信開銷、負(fù)載均衡程度的關(guān)系特征

分布式圖數(shù)據(jù)劃分與通信開銷、負(fù)載均衡程度的關(guān)系特征重點解決的問題是兩級分布式圖劃分機制。大數(shù)據(jù)處理系統(tǒng)的性能指標(biāo)之一是可擴展性，這一性能尤其是在大規(guī)模數(shù)據(jù)中心環(huán)境的數(shù)據(jù)處理應(yīng)用中尤為常見。一般來說，大數(shù)據(jù)可擴展性的分布式框架您必須具備兩大特性，第一是必須可以根據(jù)節(jié)點硬件性能，對各個節(jié)點的計算負(fù)載加以動態(tài)平衡;第二是可以在合理時間對已經(jīng)失效的作業(yè)執(zhí)行進(jìn)度加以恢復(fù)。本文所提出的動態(tài)負(fù)載均衡和容錯機制基于兩級圖劃分方法，更為重要的是借助開源系統(tǒng)PowerGraph可以實現(xiàn)高擴展的分布式圖并行處理系統(tǒng)X-Graph。動態(tài)負(fù)載均衡機制的作用在于可以通過決定任務(wù)的重調(diào)度目標(biāo)，而最終實現(xiàn)降低遷移后的消息傳送開銷。差異性復(fù)制容錯機制最大的優(yōu)勢在于可以對已經(jīng)丟失的數(shù)據(jù)分片進(jìn)行重新計算，能夠最大限度縮短因節(jié)點失效后的作業(yè)進(jìn)度恢復(fù)時間，這大大提升了整個計算工作的效率與質(zhì)量。

分多用戶共享計算平臺特征集中體現(xiàn)于硬件異構(gòu)性、多用戶資源調(diào)度機制、節(jié)點失效和資料搶占這三方面，對于多用戶資源調(diào)度機制來說，當(dāng)前最常用的數(shù)據(jù)中心資源調(diào)度器有Mesos、Borg、YARN，相同的一點是這幾類數(shù)據(jù)中心資源調(diào)度器均可以對批處理計算任務(wù)和在線服務(wù)進(jìn)程等進(jìn)行統(tǒng)一的管理。對于節(jié)點失效和資料搶占來說，所借助的數(shù)據(jù)管理機制可以有效提升數(shù)據(jù)管理質(zhì)量，即便數(shù)據(jù)丟失一個碎片，所有的計算節(jié)點仍然可以返回至上一次的檢查點狀態(tài)進(jìn)行重新計算，這對于失效數(shù)據(jù)恢復(fù)十分有利，不過所開展的檢查點創(chuàng)建一定程度上會拖慢數(shù)據(jù)處理效率，這一點仍需要后期分析研究，最終克服。

兩級圖劃分機制設(shè)計上，本文創(chuàng)新性的提出一種元算法框架，可以直接采用PowerCraph已有的啟發(fā)式頂點分割圖劃分算法，其整體流程為：計算節(jié)點讀取原始數(shù)據(jù)分片→預(yù)定義單級圖劃分算法劃分所讀取數(shù)據(jù)的頂點和邊→n個計算節(jié)點開始執(zhí)行二級劃分階段→每個計算節(jié)點將本地分區(qū)的內(nèi)部頂點分配至子分片。

三、結(jié)語

就現(xiàn)階段研究成果來看，大數(shù)據(jù)處理系統(tǒng)主要包括三個層面的核心組件，即數(shù)據(jù)處理軟件引擎、分布式硬件計算資源及應(yīng)用支撐環(huán)境，我國現(xiàn)階段對大數(shù)據(jù)處理系統(tǒng)性能優(yōu)化也很大程度上圍繞這三個層面展開。但均有不同程度的絕局限性，實際操作性不強。因此，在后期的相關(guān)研究與實踐中，一方面要基于這三方面，另一方面要加大創(chuàng)新力度，對基于作業(yè)運行特征的大數(shù)據(jù)處理系統(tǒng)性能作更好的優(yōu)化。

參考文獻(xiàn)：

[1]田萍.大數(shù)據(jù)視域下計算機信息處理系統(tǒng)的優(yōu)化設(shè)計[J].電子測試，2019（20）.

[2]杜珺.計算機信息處理對大數(shù)據(jù)的實際應(yīng)用[J].通訊世界，2015（12）.

[3] 陳玉霞.提高計算機信息處理能力和信息安全能力的措施[J].電子制作，2017（18）.

基金項目：本文系湖南省教育廳資助科研項目（19C1234）的階段性研究成果。