面向非結(jié)構(gòu)化的分布式存儲(chǔ)系統(tǒng)的性能分析系統(tǒng)研究

關(guān)兆雄

(廣東電網(wǎng)有限責(zé)任公司，佛山供電局，佛山 528000)

隨著現(xiàn)代海量數(shù)據(jù)的增加，分布式存儲(chǔ)技術(shù)成為研究的重點(diǎn)，并受到社會(huì)和學(xué)界的廣泛關(guān)注。所謂的分布式存儲(chǔ)是在傳統(tǒng)PC服務(wù)器存儲(chǔ)的基礎(chǔ)上，通過(guò)Internet 互聯(lián)的方式，從而作為一個(gè)整體提供相關(guān)的存儲(chǔ)服務(wù)[1]。通過(guò)這種分布式存儲(chǔ)的方式，不僅具有高可用性，同時(shí)還易于橫向彈性擴(kuò)展。同時(shí)，隨著每天信息量的增加，開始以PB(1015字節(jié))級(jí)單位增加，而在這PB級(jí)的數(shù)據(jù)增加中，包含著大量的非關(guān)系性的數(shù)據(jù)表格。這就給傳統(tǒng)的關(guān)系型數(shù)據(jù)存儲(chǔ)提出了挑戰(zhàn)，如在海量訪問(wèn)背景下，每秒鐘要達(dá)到上萬(wàn)次的讀寫訪問(wèn)，在這種高性能的讀寫請(qǐng)求背后，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)則不能滿足要求，出現(xiàn)超負(fù)載等問(wèn)題[2]。通常為解決這個(gè)問(wèn)題，人們通常會(huì)購(gòu)買更大的服務(wù)器，以此滿足不斷增長(zhǎng)的負(fù)載要求，但需要耗費(fèi)大量的成本。而通過(guò)對(duì)分布式存儲(chǔ)技術(shù)的應(yīng)用，由于其管理者較多的應(yīng)用服務(wù)器，從而可以處理大量的海量數(shù)據(jù)。如谷歌的Bigtable和MapReduce的結(jié)合，可以同時(shí)處理每天高達(dá)20 PB的數(shù)量訪問(wèn)量。但是在海量數(shù)據(jù)訪問(wèn)應(yīng)用中，如何對(duì)非結(jié)構(gòu)化的分布式存儲(chǔ)系統(tǒng)的性能進(jìn)行分析和測(cè)評(píng)，從而更好的為分布式存儲(chǔ)系統(tǒng)的優(yōu)化提供參考，成為當(dāng)前研究的熱點(diǎn)[3]。而結(jié)合上述的需求，構(gòu)架一個(gè)對(duì)分布式存儲(chǔ)系統(tǒng)性能分析的系統(tǒng)，則顯得尤為必要。對(duì)此，本文結(jié)合當(dāng)前的技術(shù)難點(diǎn)，提出一種輕量級(jí)的性能分析系統(tǒng)，并對(duì)其進(jìn)行了詳細(xì)的分析與闡述。

1 HBase分布式體系結(jié)構(gòu)

在對(duì)當(dāng)前分布式系統(tǒng)性能分析前，需要對(duì)分布式體系架構(gòu)進(jìn)行充分的了解。對(duì)此，本文則以HBase分布式體系為例，對(duì)該體系結(jié)構(gòu)進(jìn)行詳細(xì)的分析。HBase屬于一款輕量級(jí)分布架構(gòu)，主要由主服務(wù)器(Master)和區(qū)域(Region)服務(wù)器集群兩個(gè)部分構(gòu)成。在實(shí)際的讀寫訪問(wèn)中，客戶端直接與Region服務(wù)器進(jìn)行交互，而不需要通過(guò)主服務(wù)器對(duì)服務(wù)器的分配，進(jìn)而對(duì)不同服務(wù)器進(jìn)行訪問(wèn)[4]。同時(shí)，HBase是建立在HDFS(Hadoop分布式文件系統(tǒng))之上，具體結(jié)構(gòu)，如圖1所示。

圖1 HBase分布式體系架構(gòu)示意圖

通過(guò)圖1的示意圖看出，Client發(fā)起一個(gè)訪問(wèn)請(qǐng)求，并直接發(fā)送給HRegionServer，當(dāng)HRegionServer在接收到訪問(wèn)請(qǐng)求后，可直接分配給不同的RegionServer。同時(shí)在該分布式架構(gòu)體系中，采用Zookeeper(保持程序)對(duì)其中的分布式應(yīng)用程序進(jìn)行協(xié)調(diào)和監(jiān)控，如監(jiān)控HBase系統(tǒng)的運(yùn)行狀態(tài)。在Zookeeper中存儲(chǔ)了master地址和root(根)表地址，并負(fù)責(zé)選取主服務(wù)器。在這種機(jī)制下，可避免出現(xiàn)主服務(wù)器單點(diǎn)的問(wèn)題。而RegionServer將Zookeeper作為通信的服務(wù)端，采用臨時(shí)會(huì)話的方式注冊(cè)到Zookeeper中，進(jìn)而可以實(shí)時(shí)感知RegionServer的服務(wù)狀態(tài)。

2 性能分析方法概述

2.1 主要方法

目前，針對(duì)分布式存儲(chǔ)系統(tǒng)的分析中，通常采用兩種方式，一種是通過(guò)客戶端的角度對(duì)運(yùn)行狀態(tài)進(jìn)行監(jiān)控。這部分類似于傳統(tǒng)程序測(cè)試中的黑盒測(cè)試，通過(guò)這種測(cè)試完成對(duì)程序性能的分析[5]。最為典型的則是雅虎公司開發(fā)的YCSB系統(tǒng)，該系統(tǒng)通過(guò)分析分布式存儲(chǔ)系統(tǒng)的基本性能，包括整體的讀寫是否平衡等，進(jìn)而幫助廣大的開發(fā)人員選擇不同的非結(jié)構(gòu)化存儲(chǔ)系統(tǒng)[6]。具體的結(jié)構(gòu)，如圖2所示。

圖2 YCSB客戶端結(jié)構(gòu)示意圖

在圖2的示意圖中，通過(guò)發(fā)出訪問(wèn)請(qǐng)求然后傳遞給workload Executor(負(fù)荷執(zhí)行程序)，通過(guò)其中的Client Threads(客戶端)線程調(diào)用不同的數(shù)據(jù)訪問(wèn)接口，最終完成對(duì)數(shù)據(jù)訪問(wèn)的請(qǐng)求。在訪問(wèn)中，會(huì)實(shí)時(shí)數(shù)據(jù)訪問(wèn)的監(jiān)控情況發(fā)送給統(tǒng)計(jì)模塊，并最終生成監(jiān)控報(bào)告。而通過(guò)這種監(jiān)控，實(shí)時(shí)掌握客戶端與云存儲(chǔ)分布系統(tǒng)之間的數(shù)據(jù)交流情況。

除上述的基于客戶端角度對(duì)性能進(jìn)行監(jiān)控以外，還可以從服務(wù)器端的角度對(duì)分布式系統(tǒng)的運(yùn)行進(jìn)行監(jiān)控，并且大致可以將其分為以下幾類方法：一類是對(duì)分布式程序運(yùn)行進(jìn)行跟蹤，如Java工具。這類監(jiān)控需要將元數(shù)據(jù)和請(qǐng)求關(guān)聯(lián)起來(lái)，從而獲取大量的系統(tǒng)請(qǐng)求的路徑[7]。這類方法存在一個(gè)典型的缺陷，那就是必須對(duì)程序的源代碼進(jìn)行修改；第二類是對(duì)服務(wù)器集群進(jìn)行全面的監(jiān)控，具體監(jiān)控的內(nèi)容包括計(jì)算機(jī)的I/O、CPU負(fù)載等；第三類則是采用數(shù)據(jù)挖掘的方式，對(duì)其日志進(jìn)行分析，從而了解分布式系統(tǒng)的性能[8]。

2.2 當(dāng)前方法存在的問(wèn)題

上述的性能分析方法中，無(wú)論是從客戶端的角度，還是從服務(wù)器端的角度，都存在一定的局限性。以HBase分布式系統(tǒng)為例，采用上述的YCSB系統(tǒng)對(duì)運(yùn)行的線程進(jìn)行監(jiān)控[9]，并分別觀察HBase系統(tǒng)在1G(109字節(jié))內(nèi)存和3GB內(nèi)存下的線程數(shù)，從而可以得到在不同的內(nèi)存大小下，其線程運(yùn)行的趨勢(shì)基本一致。在產(chǎn)生該問(wèn)題后，需要考慮是否還存在其他的因素對(duì)HBase性能還有一定的影響。因此，如果單從客戶端的角度對(duì)HBase系統(tǒng)的性能進(jìn)行分析，還存在一定的片面性。還需要從多個(gè)不同的角度去分析。

同樣，如單從服務(wù)器端對(duì)HBase系統(tǒng)的運(yùn)行情況進(jìn)行監(jiān)測(cè)，可監(jiān)測(cè)大量關(guān)于HBase系統(tǒng)的活動(dòng)情況，但是這種檢測(cè)通常具有很大的盲目性，并且無(wú)法找到潛在的制約HBase系統(tǒng)因素。

3 非結(jié)構(gòu)化的分布式存儲(chǔ)性能分析系統(tǒng)設(shè)計(jì)

針對(duì)上述的問(wèn)題，如何在對(duì)HBase系統(tǒng)進(jìn)行優(yōu)監(jiān)測(cè)中找到潛在的需要優(yōu)化的部分，而不是將優(yōu)化停留在傳統(tǒng)的一些層面，而是根據(jù)不同的非結(jié)構(gòu)化數(shù)據(jù)類型等進(jìn)行特定的優(yōu)化。對(duì)此，結(jié)合客戶端、服務(wù)器和服務(wù)器集群中的監(jiān)測(cè)器，提出在客戶端和服務(wù)器端以外，單獨(dú)設(shè)置一個(gè)性能數(shù)據(jù)分析服務(wù)器，從而將客戶端和服務(wù)器端的數(shù)據(jù)關(guān)聯(lián)起來(lái)進(jìn)行統(tǒng)一的分析，以此通過(guò)這種關(guān)聯(lián)，找到更多的制約HBase系統(tǒng)性能的因素[10]。因此，本文將該系統(tǒng)的功能模塊分為3個(gè)模塊，具體見如圖3所示。

圖3 性能分析系統(tǒng)模塊

通過(guò)圖3看出，本文結(jié)合傳統(tǒng)性能分析系統(tǒng)的劣勢(shì)，對(duì)客戶端模塊和服務(wù)器端模塊進(jìn)行同時(shí)監(jiān)測(cè)，并通過(guò)單獨(dú)設(shè)立性能分析系統(tǒng)服務(wù)器的方式，對(duì)采集到的性能數(shù)據(jù)進(jìn)行統(tǒng)一分析和處理，以此提高數(shù)據(jù)分析的有效性，及時(shí)發(fā)現(xiàn)潛在的問(wèn)題。同時(shí)，通過(guò)這種方式，還可以將客戶端與服務(wù)器端的數(shù)據(jù)在同一個(gè)時(shí)間軸上關(guān)聯(lián)起來(lái)，即客戶端運(yùn)行過(guò)程中服務(wù)器端的運(yùn)行的狀態(tài)相關(guān)聯(lián)，通過(guò)這種實(shí)時(shí)關(guān)聯(lián)，可以更好的對(duì)潛在的點(diǎn)進(jìn)行優(yōu)化[11]。

4 系統(tǒng)實(shí)現(xiàn)的技術(shù)難點(diǎn)

要完成上述的設(shè)計(jì)目標(biāo)，需要解決兩個(gè)問(wèn)題，一是如何將客戶端和服務(wù)器端的活動(dòng)放在同一個(gè)時(shí)間軸上；另一個(gè)則是如何對(duì)采樣到的性能數(shù)據(jù)進(jìn)行分析，進(jìn)而更好的展現(xiàn)分布式存儲(chǔ)過(guò)程中的活動(dòng)。對(duì)此，提出了輕量級(jí)的時(shí)間同步方法，同時(shí)采用數(shù)據(jù)流的方式實(shí)現(xiàn)對(duì)數(shù)據(jù)性能的分析。

4.1 基于輕量級(jí)的客戶端與服務(wù)端時(shí)間同步

要將客戶端和服務(wù)器端的活動(dòng)放在同一個(gè)時(shí)間軸上，進(jìn)而觀測(cè)兩端的活動(dòng)，首先要對(duì)客戶端和服務(wù)器端的活動(dòng)進(jìn)行同時(shí)監(jiān)測(cè)。而要解決這個(gè)問(wèn)題，本文提出以客戶端上的計(jì)算機(jī)時(shí)間作為參考時(shí)間。服務(wù)集群中的監(jiān)測(cè)器在對(duì)數(shù)據(jù)進(jìn)行采集前，首先與參考的客戶端計(jì)算機(jī)通信，然后以該參考時(shí)間作為監(jiān)測(cè)起點(diǎn)，對(duì)非結(jié)構(gòu)化的分布式存儲(chǔ)系統(tǒng)運(yùn)行進(jìn)行監(jiān)控[12]。同時(shí)，針對(duì)不同監(jiān)測(cè)器與服務(wù)點(diǎn)之間的通信時(shí)間差，采用校正的方式進(jìn)行修正。具體過(guò)程，如圖4所示。

圖4 時(shí)間同步處理機(jī)制

4.2 數(shù)據(jù)分析處理

為更好的加強(qiáng)對(duì)數(shù)據(jù)的分析，找到制約HBase非結(jié)構(gòu)化分布式存儲(chǔ)系統(tǒng)的因素，關(guān)鍵還是要如何對(duì)數(shù)據(jù)進(jìn)行分析處理。對(duì)此，本文提出一種基于數(shù)據(jù)流的數(shù)據(jù)分析處理方式。具體的思路則是在對(duì)數(shù)據(jù)進(jìn)行分析過(guò)程中，利用時(shí)間戳對(duì)監(jiān)測(cè)數(shù)據(jù)采集進(jìn)行調(diào)整，然后從數(shù)據(jù)流的角度[13]，對(duì)服務(wù)器線程執(zhí)行、任務(wù)執(zhí)行和資源利用等情況進(jìn)行分析[14]。具體處理流程，見圖5所示。

5 實(shí)驗(yàn)測(cè)試

對(duì)此，為驗(yàn)證上述實(shí)驗(yàn)方案的可行性，本文搭建測(cè)試環(huán)境系統(tǒng)，其中選擇10臺(tái)計(jì)算機(jī)，其中9臺(tái)為服務(wù)器集群，1臺(tái)用于YCSB系統(tǒng)客戶端。HBase系統(tǒng)版本采用0.90.4版本[15]。通過(guò)測(cè)試，可以得到HBase系統(tǒng)性能測(cè)評(píng)結(jié)果，如圖6所示。

圖5 數(shù)據(jù)分析處理流程

圖6 HBase系統(tǒng)性能測(cè)評(píng)結(jié)果

通過(guò)上述對(duì)HBase性能測(cè)評(píng)看出，與標(biāo)準(zhǔn)的運(yùn)行相比，在平均運(yùn)行時(shí)間方面，要比參照的高0.21%和0.06%，同時(shí)吞吐量要低0.11%和0.02%。由此說(shuō)明增加該系統(tǒng)后，對(duì)HBase系統(tǒng)的影響很小，同時(shí)可更好的反映HBase系統(tǒng)的運(yùn)行情況。

6 總結(jié)

總之，對(duì)于分布式存儲(chǔ)技術(shù)來(lái)講，加強(qiáng)對(duì)其性能的分析，對(duì)提高HBase性能優(yōu)化具有非常重要的作用，本文結(jié)合性能分析需求，以HBase系統(tǒng)為例，通過(guò)構(gòu)建一個(gè)輕量級(jí)的系統(tǒng)，并以某計(jì)算機(jī)的時(shí)間作為參照時(shí)間，通過(guò)數(shù)據(jù)流分析方法，對(duì)客戶端和服務(wù)器端的數(shù)據(jù)進(jìn)行同時(shí)分析，進(jìn)而更好的展示了HBase在運(yùn)行過(guò)程中的情況，為其優(yōu)化奠定了更好的基礎(chǔ)。

[1] 王康. 基于NoSQL的分布式存儲(chǔ)系統(tǒng)相關(guān)算法改進(jìn)與性能優(yōu)化[D].上海:上海師范大學(xué),2016.

[2] 潘洪志. 高性能NoSQL存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D].吉林：吉林大學(xué),2014.

[3] 王玨,胡長(zhǎng)軍,張紀(jì)林,等. 面向分布式存儲(chǔ)系統(tǒng)結(jié)構(gòu)的OpenMP編譯系統(tǒng)[J]. 中國(guó)科學(xué):信息科學(xué),2010(5):678-691.

[4] 周江,王偉平,孟丹,等. 面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 計(jì)算機(jī)研究與發(fā)展,2014(2):382-394.

[5] 杜曉東. 大數(shù)據(jù)環(huán)境下基于Hbase的分布式查詢優(yōu)化研究[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用,2014(8):22-24.

[6] 胡小春,李陶深,王樂(lè),等. 基于NoSQL的大數(shù)據(jù)應(yīng)用設(shè)計(jì)與性能保障方案研究[J]. 廣西大學(xué)學(xué)報(bào)(自然科學(xué)版),2014(3):633-640.

[7] 詹劍鋒,高婉鈴,王磊,李經(jīng)偉,魏凱,羅純杰,韓銳,田昕暉,姜春宇. BigDataBench:開源的大數(shù)據(jù)系統(tǒng)評(píng)測(cè)基準(zhǔn)[J]. 計(jì)算機(jī)學(xué)報(bào),2016(1):196-211.

[8] 舒繼武,陸游游,張佳程,等. 基于非易失性存儲(chǔ)器的存儲(chǔ)系統(tǒng)技術(shù)研究進(jìn)展[J]. 科技導(dǎo)報(bào),2016(14):86-94.

[9] 楊俊杰,廖卓凡,馮超超. 大數(shù)據(jù)存儲(chǔ)架構(gòu)和算法研究綜述[J]. 計(jì)算機(jī)應(yīng)用,2016(9):2465-2471.

[10] 吳飛,李宏發(fā),王秋琳,等. 一種非結(jié)構(gòu)化元數(shù)據(jù)的分級(jí)存儲(chǔ)設(shè)計(jì)[J]. 信息技術(shù),2017(6):44-47.

[11] 申德榮,于戈,王習(xí)特,等. 支持大數(shù)據(jù)管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學(xué)報(bào),2013(8):1786-1803.

[12] 黃山,王波濤,王國(guó)仁,等. MapReduce優(yōu)化技術(shù)綜述[J]. 計(jì)算機(jī)科學(xué)與探索,2013(10):885-905.

[13] 董新華,李瑞軒,周灣灣,等. Hadoop系統(tǒng)性能優(yōu)化與功能增強(qiáng)綜述[J]. 計(jì)算機(jī)研究與發(fā)展,2013,S2:1-15.

[14] 陸婷,房俊,喬彥克. 基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用,2015(1):103-107.

[15] 王林彬,黎建輝,沈志宏. 基于NoSQL的RDF數(shù)據(jù)存儲(chǔ)與查詢技術(shù)綜述[J]. 計(jì)算機(jī)應(yīng)用研究,2015(5):1281-1286.