云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺設(shè)計

聶晶+石中堅

摘 要： 針對當前云平臺調(diào)度中存在的問題，設(shè)計云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺，其由海量數(shù)據(jù)采集模塊、云平臺模塊和可視化調(diào)度模塊組成。海量數(shù)據(jù)采集模塊中的天線開始對海量數(shù)據(jù)進行采集和調(diào)頻，并傳遞給數(shù)字信號處理器進行處理，其處理結(jié)果將傳遞給云平臺模塊。云平臺模塊利用Hadoop分布式計算技術(shù)，對海量數(shù)據(jù)采集模塊的處理結(jié)果進行分析和計算，給出調(diào)度方案。調(diào)度方案將傳遞給可視化調(diào)度模塊進行調(diào)度方案的可視化，以及調(diào)度工作的具體實施。平臺軟件對云平臺模塊中調(diào)度方案的產(chǎn)生流程進行設(shè)計。實驗結(jié)果表明，所設(shè)計的平臺擁有較好的計算性能和調(diào)度性能。

關(guān)鍵詞： 云平臺； 海量數(shù)據(jù)； 可視化調(diào)度平臺； Hadoop

中圖分類號： TN911?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）08?0107?03

Design of visualization scheduling platform for mass data impact under cloud platform

NIE Jing1， SHI Zhongjian2

（1. Nanning College for Vocational Technology， Nanning 530008， China； 2. Hanshan Normal University， Chaozhou 521000， China）

Abstract： Aiming at the problems existing in the current cloud platform scheduling， a visualization scheduling platform for mass data impact under cloud platform was designed， which is composed of the mass data acquisition module， cloud platform module and visualization scheduling module. The antenna in mass data acquisition module carries out the acquisition and frequency modulation of mass data， and transmits the data to the digital signal processor for processing. The processing result is transmitted to the cloud platform module. The Hadoop distributed computing technology is used in the cloud platform module to analyze and calculate the processing result of the mass data acquisition module. The cloud platform module gives out a scheduling scheme. The scheduling scheme is transmitted to the visualization scheduling module to realize the scheduling scheme visualization and specific implementation of the dispatching work. The platform software is used to design the generation process of the scheduling scheme in the cloud platform module. The experimental result shows that the designed platform has perfect computational performance and scheduling performance.

Keywords： cloud platform； mass data； visualization scheduling platform； Hadoop

調(diào)度是一種能夠給出合理運行決策的技術(shù)，其能夠有效提升各領(lǐng)域的工作效率和工作精度，縮減人工作業(yè)量?？梢暬窃?0世紀80年代開始興起的計算機圖像顯示技術(shù)，人眼視覺是可視化的基礎(chǔ)[1?3]。將可視化與調(diào)度結(jié)合起來，能夠使原本較為抽象的運行決策更加便于理解，可視化調(diào)度平臺應(yīng)景而生。然而，當今社會各領(lǐng)域的信息量巨大，在海量數(shù)據(jù)沖擊中，可視化調(diào)度平臺已逐漸落后，云平臺的產(chǎn)生使這一現(xiàn)象得到有效緩解[4?6]。

1 海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺設(shè)計

1.1 海量數(shù)據(jù)采集模塊設(shè)計

在云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺中，由于海量數(shù)據(jù)采集模塊掌控著調(diào)度對象中海量數(shù)據(jù)的采集工作，是整個平臺性能的基礎(chǔ)保證。為此，需要在保證采集精度的前提下，賦予該模塊足夠的穩(wěn)定性和工作效率，加強模塊對調(diào)度對象的控制能力。圖1是海量數(shù)據(jù)采集模塊組成圖。由圖1可知，海量數(shù)據(jù)采集模塊主要由天線、數(shù)據(jù)接收器、數(shù)字信號處理器、看門狗計時器和通信接口組成。在云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺中，海量數(shù)據(jù)采集模塊的天線是最先經(jīng)受海量數(shù)據(jù)沖擊的。在沖擊開始后，天線隨即對海量數(shù)據(jù)進行采集和調(diào)頻。這樣設(shè)計能夠保證天線免受非調(diào)度對象數(shù)據(jù)的影響，提高模塊采集精度。

1.2 云平臺模塊設(shè)計

云平臺模塊接收到海量數(shù)據(jù)采集模塊傳遞來的處理結(jié)果后，將對其進行計算，給出調(diào)度方案。云平臺模塊對海量數(shù)據(jù)處理結(jié)果進行Hadoop分布式計算。Hadoop分布式計算是云平臺中較為常用的處理技術(shù)，這種技術(shù)能夠為云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺提供高效、透明的調(diào)度方案，其對調(diào)度人員的技術(shù)要求不高，可節(jié)約平臺的運行成本。圖2是Hadoop分布式計算的結(jié)構(gòu)圖。

由圖2可知，Hadoop分布式計算的子項目有四種，分別是映射?歸約模型、分布式關(guān)系數(shù)據(jù)庫、分布式文件系統(tǒng)以及分布式應(yīng)用程序協(xié)調(diào)服務(wù)。

1.3 可視化調(diào)度模塊

可視化調(diào)度模塊是云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺對調(diào)度對象實施具體調(diào)度工作的模塊，也是用戶可直接使用的模塊?？梢暬{(diào)度模塊能夠?qū)⒄{(diào)度方案以可視化的形式呈現(xiàn)給用戶，這一工作要求用戶與可視化調(diào)度模塊間應(yīng)具有較強的人機交互能力，為此，設(shè)計出如圖3所示的可視化調(diào)度模塊結(jié)構(gòu)圖。

由圖3可知，可視化調(diào)度模塊能夠?qū)崿F(xiàn)調(diào)度方案的特征可視化和密度可視化。特征可視化包括調(diào)度對象中海量數(shù)據(jù)的沖擊形式、海量數(shù)據(jù)類型和調(diào)度形式；密度可視化是指對方案中每條調(diào)度流程相對應(yīng)的海量數(shù)據(jù)密度進行可視化。調(diào)度管理對調(diào)度方案進行調(diào)用，通過網(wǎng)絡(luò)服務(wù)器將調(diào)度流程分配至其相應(yīng)的調(diào)度對象網(wǎng)絡(luò)節(jié)點上，分配完成后，網(wǎng)絡(luò)服務(wù)器將調(diào)度對象網(wǎng)絡(luò)節(jié)點數(shù)據(jù)反饋給調(diào)度管理。在云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺中，用戶通過用戶瀏覽器查看平臺的可視化內(nèi)容和平臺調(diào)度工作的實施情況。

2 可視化調(diào)度平臺軟件設(shè)計

云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺的云平臺模塊，利用Hadoop分布式計算技術(shù)對海量數(shù)據(jù)采集模塊的處理結(jié)果進行分析和計算，最終實現(xiàn)調(diào)度方案的給出。調(diào)度方案產(chǎn)生流程如圖4所示。

由圖4可知，云平臺模塊先對海量數(shù)據(jù)采集模塊處理過的海量數(shù)據(jù)進行調(diào)用，把其中具有特殊特征的數(shù)據(jù)構(gòu)建成優(yōu)先處理集合（特殊特征是根據(jù)以往調(diào)度工作里經(jīng)常需要進行調(diào)度的數(shù)據(jù)中提取出來的，用戶也可對其進行預(yù)定義），再利用分布式關(guān)系數(shù)據(jù)庫對優(yōu)先處理集合中的數(shù)據(jù)進行檢驗，確定其是否需要進行調(diào)度。如果不需要，則更新優(yōu)先處理集合。

3 實驗驗證

3.1 平臺計算性能驗證

在海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺的計算性能驗證實驗中，以某大型電網(wǎng)作為實驗對象進行30天實驗。實驗電網(wǎng)產(chǎn)生的數(shù)據(jù)量為11 GB/天，用本文平臺、Brook平臺和Skepu平臺對實驗電網(wǎng)中的海量數(shù)據(jù)同時進行計算，并輸出三個平臺的計算用時和計算準確率見圖5、圖6。由圖5、圖6可知， Brook平臺的計算用時高于本文平臺、低于Skepu平臺，30天內(nèi)的計算用時波動不明顯；但該平臺的計算準確率不高，最大值僅為91.2%，整體計算性能較為平庸。Skepu平臺的計算用時隨著實驗天數(shù)的增長而增長，其計算準確率曲線波動也較大，造成這些現(xiàn)象的原因可能是該平臺的存儲性能不好，導(dǎo)致平臺的計算性能不高。對比來看，本文平臺的計算用時較短、計算準確率較高，實驗輸出曲線波動不大，擁有較好的計算性能。

3.2 平臺調(diào)度性能驗證

用本文平臺、Brook平臺和Skepu平臺對實驗電網(wǎng)產(chǎn)生的海量數(shù)據(jù)進行可視化調(diào)度，圖7為三個平臺調(diào)度實施時間對比圖，圖8為用戶對調(diào)度方案的滿意度對比圖。

由圖7可知， Brook平臺的調(diào)度實施時間過長，不能在海量數(shù)據(jù)類型較為復(fù)雜的領(lǐng)域中使用；Skepu平臺的調(diào)度實施時間較短，但曲線整體呈現(xiàn)上升趨勢；本文平臺的調(diào)度實施時間要低于Brook平臺和Skepu平臺。由圖8可知，用戶對三個平臺給出的調(diào)度方案的滿意度均很高，除了Skepu平臺的用戶滿意度曲線在實驗中期有一定的下降，本文平臺和Brook平臺的用戶滿意度曲線均較為平穩(wěn)，且用戶對本文平臺給出的調(diào)度方案的滿意度始終維持在96.5%以上。

綜上所述，本文平臺具有較好的調(diào)度性能。

4 結(jié) 論

本文設(shè)計云平臺下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺，其擁有三個重要模塊，分別是海量數(shù)據(jù)采集模塊、云平臺模塊和可視化調(diào)度模塊，這些模塊分別負責(zé)對調(diào)度對象中海量數(shù)據(jù)的采集、計算和調(diào)度方案的可視化與實施等工作。實驗通過對比本文平臺、Brook平臺和Skepu平臺的計算性能和調(diào)度性能，驗證了本文平臺在海量數(shù)據(jù)沖擊中，具有較好的計算性能和調(diào)度性能。

參考文獻

[1] 朱俊，聶龍生，徐云，等.航天三維可視化系統(tǒng)中語音控制技術(shù)的研究與應(yīng)用[J].現(xiàn)代電子技術(shù)，2015，38（8）：151?153.

[2] 王靜怡，王昕.調(diào)度數(shù)據(jù)網(wǎng)通道故障的診斷及處理技術(shù)[J].現(xiàn)代電子技術(shù)，2016，39（8）：168?170.

[3] 黃國兵，金勇，賈榮興，等.某電能量遠方終端雙平面網(wǎng)絡(luò)接口設(shè)計[J].西安工程大學(xué)學(xué)報，2016，30（1）：102?106.

[4] 王鼎，錢科軍，高一丹，等.云計算平臺技術(shù)及其在電網(wǎng)調(diào)度中的應(yīng)用[J].電網(wǎng)與清潔能源，2015，31（4）：72?78.

[5] 王小輝，李圣普.改進遺傳算法在云輔助教學(xué)平臺中的應(yīng)用研究[J].計算機與數(shù)字工程，2014，42（5）：883?886.

[6] 陳麗平，郭鑫.最小能耗優(yōu)化云模型中的動態(tài)圖挖掘方法[J].計算機工程，2015，41（8）：23?31.