大數(shù)據(jù)可視化預(yù)測(cè)分析引擎在煤礦水害監(jiān)測(cè)預(yù)警中的應(yīng)用研究

趙延超，李 鵬，吳 濤，段江飛

（1.中煤地華盛水文地質(zhì)勘察有限公司，河北 邯鄲 056004；2.中國(guó)煤炭地質(zhì)總局 水文地質(zhì)工程地質(zhì)環(huán)境地質(zhì)勘查院，河北 邯鄲 056000）

1 概況

隨著信息技術(shù)的高速發(fā)展，大量的數(shù)字產(chǎn)品也產(chǎn)生了大量的數(shù)字用戶，而這些數(shù)字用戶在產(chǎn)品使用過(guò)程中一定會(huì)產(chǎn)生大量數(shù)據(jù)，尤其是巨頭互聯(lián)網(wǎng)公司。例如騰訊控股旗下的微信支付產(chǎn)品就存儲(chǔ)著海量的交易數(shù)據(jù)，并以此作為數(shù)據(jù)基礎(chǔ)提供征信服務(wù)；字節(jié)跳動(dòng)公司的數(shù)據(jù)存儲(chǔ)中也存有眾多的新聞信息、短視頻信息、商品信息等內(nèi)容。所有使用大數(shù)據(jù)技術(shù)都不可避免會(huì)在這個(gè)過(guò)程中遇到數(shù)據(jù)的采集，處理和分析問(wèn)題。與此同時(shí)，大數(shù)據(jù)產(chǎn)品也相應(yīng)出現(xiàn)了變化，慢慢的從以軟件為核心轉(zhuǎn)換到以為數(shù)據(jù)為核心。大數(shù)據(jù)時(shí)代要求我們?cè)谛碌臄?shù)據(jù)平臺(tái)去開發(fā)新的系統(tǒng)?？v觀整個(gè)大數(shù)據(jù)產(chǎn)品市場(chǎng)，大數(shù)據(jù)可視化工具產(chǎn)品可以說(shuō)是百花齊放，不同背景的廠商在這個(gè)概念下提供著自己的產(chǎn)品和服務(wù)。據(jù)調(diào)查研究，大數(shù)據(jù)可視化工具的公司大致分為商業(yè)智能可視化工具的軟件服務(wù)商和互聯(lián)網(wǎng)巨頭公司這兩類[1-2]。

盡管很多行業(yè)做了大量數(shù)據(jù)可視化的嘗試，但其發(fā)展仍然面臨著關(guān)注度不高、對(duì)大數(shù)據(jù)數(shù)據(jù)源支持有限、價(jià)格昂貴等問(wèn)題，但數(shù)字可視化產(chǎn)品依舊是未來(lái)大數(shù)據(jù)發(fā)展的方向和趨勢(shì)。為了更好對(duì)大數(shù)據(jù)挖可視化挖掘，本課題通過(guò)使用web 前后端開發(fā)技術(shù)研究自定義可視化分析引擎關(guān)鍵技術(shù)，并完成系統(tǒng)模塊的開發(fā)。通過(guò)本課題開發(fā)設(shè)計(jì)的引擎及系統(tǒng)可以賦予大數(shù)據(jù)可視化模塊自定義的能力，使煤礦水害管理人員直觀的看到數(shù)據(jù)來(lái)源及顯示樣式，更好的貼合管理人員的需求，對(duì)系統(tǒng)數(shù)據(jù)做到良好的展現(xiàn)[3-5]。

2 自定義可視化分析引擎概要設(shè)計(jì)

2.1 系統(tǒng)軟件層次架構(gòu)設(shè)計(jì)

大數(shù)據(jù)可視化預(yù)測(cè)分析引擎系統(tǒng)軟件層次架構(gòu)設(shè)計(jì)如圖1 所示。

圖1 系統(tǒng)軟件層次架構(gòu)Fig.1 System software architecture

2.2 系統(tǒng)功能模塊設(shè)計(jì)

根據(jù)不同功能的界限和實(shí)際業(yè)務(wù)需求，將基于大數(shù)據(jù)的自定義可視化分析引擎共劃分為數(shù)據(jù)管理模塊、數(shù)據(jù)分析模塊和數(shù)據(jù)顯示模塊，如圖2 所示。這3 個(gè)模塊既各司其職負(fù)責(zé)本模塊的業(yè)務(wù)和計(jì)算，同時(shí)也相互共享和傳遞數(shù)據(jù)。

圖2 基于大數(shù)據(jù)的自定義可視化分析引擎功能模塊Fig.2 Function module of custom visual analysis engine based on big data

2.2.1 數(shù)據(jù)管理模塊

數(shù)據(jù)管理模塊是數(shù)據(jù)分析的重要成分，數(shù)據(jù)管理模塊的工作是將管理人員所需要的數(shù)據(jù)從不同數(shù)據(jù)源集中到系統(tǒng)中，去解決數(shù)據(jù)分散、類型不同等問(wèn)題形成數(shù)據(jù)集。簡(jiǎn)化了數(shù)據(jù)獲取流程，節(jié)省了整合、清洗數(shù)據(jù)所花費(fèi)的大量時(shí)間，使用戶方便的進(jìn)行數(shù)據(jù)存儲(chǔ)與管理和數(shù)據(jù)分析。數(shù)據(jù)管理模塊主要包括創(chuàng)建數(shù)據(jù)源，創(chuàng)建數(shù)據(jù)集，管理數(shù)據(jù)源和管理數(shù)據(jù)集4 個(gè)功能[6]。

2.2.2 數(shù)據(jù)分析模塊

數(shù)據(jù)分析模塊屬于構(gòu)建煤礦水害監(jiān)測(cè)預(yù)警可視化應(yīng)用的核心模塊。此次研究采用了XGboost、FP-growth 算法的數(shù)據(jù)預(yù)測(cè)分析，能夠挖掘出監(jiān)測(cè)數(shù)據(jù)指標(biāo)與預(yù)警閾值的關(guān)系，并提前分析將來(lái)一段時(shí)間數(shù)據(jù)的走向，以達(dá)到預(yù)警的效果，得到兩者的相關(guān)性以及數(shù)據(jù)的變化規(guī)律[7]。

2.2.3 數(shù)據(jù)顯示模塊

數(shù)據(jù)顯示模塊能夠?qū)崿F(xiàn)預(yù)測(cè)數(shù)據(jù)趨勢(shì)、維度等直觀顯示的需求，同時(shí)實(shí)現(xiàn)了監(jiān)測(cè)檢測(cè)數(shù)據(jù)的多角度、多視圖、多維度的展示和交互，直觀展示了數(shù)據(jù)隱含的有用信息[8]。

2.3 系統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)

2.3.1 E- R 圖設(shè)計(jì)

數(shù)據(jù)庫(kù)設(shè)計(jì)是基于開展需求分析獲取的用戶需求，進(jìn)行抽象化處理以獲取概念模型及信息結(jié)構(gòu)。為了對(duì)數(shù)據(jù)庫(kù)結(jié)構(gòu)予以描述，此處以E-R 圖為工具對(duì)數(shù)據(jù)庫(kù)的實(shí)體關(guān)系進(jìn)行描述。通過(guò)對(duì)不同模塊的數(shù)據(jù)需求進(jìn)行提煉，對(duì)系統(tǒng)E-R 圖進(jìn)行設(shè)計(jì)，如圖3 所示（由于實(shí)體屬性較多，在E-R 圖中不體現(xiàn)屬性）。

圖3 基于大數(shù)據(jù)的自定義可視化分析引擎數(shù)據(jù)庫(kù)E- R圖Fig.3 E-R diagram of custom visual analysis engine database based on big data

E-R 圖主要包含的信息數(shù)據(jù)有用戶信息、數(shù)據(jù)集信息和監(jiān)測(cè)數(shù)據(jù)應(yīng)用信息。其中一個(gè)管理人員可能選擇多個(gè)數(shù)據(jù)源或者創(chuàng)建多個(gè)數(shù)據(jù)卡片。一個(gè)數(shù)據(jù)應(yīng)用一般包含多個(gè)數(shù)據(jù)卡片。另外一個(gè)數(shù)據(jù)集的數(shù)據(jù)可能提供給多個(gè)數(shù)據(jù)卡片，因此與這兩者之間是一對(duì)多的關(guān)系[9]。

2.3.2 數(shù)據(jù)庫(kù)表設(shè)計(jì)

數(shù)據(jù)實(shí)體及實(shí)體間的關(guān)系描述了數(shù)據(jù)庫(kù)的邏輯結(jié)構(gòu)，根據(jù)數(shù)據(jù)實(shí)體及實(shí)體屬性對(duì)數(shù)據(jù)庫(kù)物理結(jié)構(gòu)進(jìn)行設(shè)計(jì)即數(shù)據(jù)庫(kù)表。數(shù)據(jù)源表主要用于存儲(chǔ)系統(tǒng)系統(tǒng)數(shù)據(jù)源的信息，主鍵是數(shù)據(jù)庫(kù)名稱，還有表名稱，數(shù)據(jù)源描述等字段，具體見表1。

表1 文件存儲(chǔ)表Table 1 File storage table

自動(dòng)監(jiān)測(cè)數(shù)據(jù)主要用于存儲(chǔ)數(shù)據(jù)集信息，包括數(shù)據(jù)集編號(hào)、各項(xiàng)字段等屬性，具體見表2。

表2 自動(dòng)監(jiān)測(cè)數(shù)據(jù)Table 2 Automatic monitoring data

2.4 前后端通信接口設(shè)計(jì)

基于大數(shù)據(jù)的自定義可視化分析引擎使用前后端分離設(shè)計(jì)，通過(guò)接口使用RESTFUL 進(jìn)行對(duì)接，設(shè)計(jì)接口完成數(shù)據(jù)傳輸。因?yàn)閿?shù)據(jù)是研究的核心，所以如何設(shè)計(jì)數(shù)據(jù)接口非常重要。接口傳輸過(guò)程以Spring 提供的RestController 類為基礎(chǔ)，使用RequestMapping 對(duì)輸入?yún)?shù)進(jìn)行定義，使用CommonResults 對(duì)象進(jìn)行封裝。

3 自定義可視化分析引擎測(cè)試與應(yīng)用

首先配備服務(wù)器和瀏覽器客戶端作為測(cè)試環(huán)境，然后對(duì)自定義可視化分析引擎的代碼單元和功能性進(jìn)行測(cè)試，確保系統(tǒng)正確運(yùn)行。然后展示系統(tǒng)應(yīng)用效果，這里以水土保持監(jiān)控平臺(tái)做實(shí)際例子來(lái)逐步展示整個(gè)引擎使用過(guò)程[10]。

3.1 系統(tǒng)測(cè)試環(huán)境

系統(tǒng)測(cè)試環(huán)境包括軟件配置和硬件配置，具體配置內(nèi)容需根據(jù)軟件系統(tǒng)的運(yùn)行需要而定。大數(shù)據(jù)自定義可視化分析引擎基于前后端分離進(jìn)行設(shè)計(jì)，需部署的硬件設(shè)備包括各類服務(wù)器和客戶端。具體配置如下：

3.1.1 服務(wù)器測(cè)試環(huán)境配置

Web 服務(wù)器：戴爾服務(wù)器（4 個(gè)i78700kCPU、128 GB 內(nèi)存、12 T 硬盤Ubuntu18.04 系統(tǒng)），配置Java8 開發(fā)環(huán)境和Nginx1.8web 服務(wù)器、MySQL5.8數(shù)據(jù)庫(kù)。

3.1.2 客戶端測(cè)試環(huán)境配置

客戶端設(shè)備型號(hào)選擇Apple 公司于2018 年6月生產(chǎn)的配備2.3GHz 四核Intel Corei5 處理器、8GB RAM 和512GB 固態(tài)硬盤的MacBook Pro。使用Google 公司開發(fā)的Chrome 瀏覽器進(jìn)行測(cè)試。

3.2 系統(tǒng)單元測(cè)試

完善的單元測(cè)試可以幫助開發(fā)者更好的維護(hù)復(fù)雜的基礎(chǔ)代碼，可以提供描述組件行為的文檔，節(jié)省手動(dòng)測(cè)試的時(shí)間，減少研發(fā)新特性時(shí)產(chǎn)生的bug，改進(jìn)設(shè)計(jì)，促進(jìn)重構(gòu)。通過(guò)編寫細(xì)致且有意義的單元測(cè)試，能夠在構(gòu)建新特性或重構(gòu)已有代碼的同時(shí)，保持應(yīng)用的功能穩(wěn)定。本課題的Vue.js 單元測(cè)試需要使用Jest 框架。Jest 是一個(gè)JavaScript測(cè)試框架，專注于簡(jiǎn)潔明快，可以并行運(yùn)行測(cè)試。前端Vue.js 代碼部分的測(cè)試步驟。首先添加Jest 測(cè)試框，執(zhí)行vue add unit-jest 命令，執(zhí)行完后項(xiàng)目根目錄會(huì)多出一個(gè)tests 文件夾，在這里存放所有單元測(cè)試代碼，文件后綴為.spec.js。當(dāng)運(yùn)行npm runtest：unit 之后這些文件就會(huì)被執(zhí)行。環(huán)境搭建好后，做Vue.js 代碼單元測(cè)試，測(cè)試方面有data數(shù)據(jù)類型、添加數(shù)據(jù)、刪除數(shù)據(jù)、查詢數(shù)據(jù)。在test/unit 下創(chuàng)建一個(gè)tstspec.js 文件用來(lái)寫測(cè)試用例的代碼，在研究中可以直接對(duì)操作進(jìn)行測(cè)試，因?yàn)槟艽_保該接口有數(shù)據(jù)：若不能確定接口是否有數(shù)據(jù)時(shí)，可以直接對(duì)接口進(jìn)行驗(yàn)證，如果驗(yàn)證成功就證明查詢成功。

最后通過(guò)配置jest.config.json 腳本來(lái)生成測(cè)試覆蓋率報(bào)告，生成報(bào)告會(huì)降低單測(cè)的速度，配置中默認(rèn)是關(guān)閉的，需要手動(dòng)開啟。生成的報(bào)告在根目錄的coverage 文件夾下，可以通過(guò)package.json 配置命令行打開測(cè)試報(bào)告或者在控制臺(tái)查看。通過(guò)測(cè)試報(bào)告得知，該系統(tǒng)單元測(cè)試結(jié)果全部通過(guò)，語(yǔ)句覆蓋率(statementcoverage)58.32%，分支覆蓋率(branch coverage)50%，函數(shù)覆蓋率(functioncoverage)50%，行覆蓋率(line coverage)59.5%。

3.3 系統(tǒng)功能測(cè)試

功能測(cè)試的主要內(nèi)容是對(duì)所有模塊各功能進(jìn)行用例定義使用并記錄結(jié)果。但是由于該系統(tǒng)功能數(shù)量較大，僅對(duì)重要的功能用例給出測(cè)試說(shuō)明。

3.3.1 數(shù)據(jù)管理模塊測(cè)試

（1） 創(chuàng)建數(shù)據(jù)集測(cè)試用例，測(cè)試用例編碼CREATEDATALIST-TEST。

（2） 測(cè)試流程。管理人員點(diǎn)擊系統(tǒng)菜單中數(shù)據(jù)管理，進(jìn)入數(shù)據(jù)管理界面；管理人員選擇某項(xiàng)數(shù)據(jù)源的創(chuàng)建數(shù)據(jù)集按鈕，進(jìn)入創(chuàng)建數(shù)據(jù)集頁(yè)面；管理人員進(jìn)行數(shù)據(jù)源選擇，并選擇所需字段；管理人員進(jìn)一步處理數(shù)據(jù)，選擇篩選字段，限制數(shù)據(jù)量，排序方式；將英文字段定義中文名稱；連接成功，提示管理人員并提供數(shù)據(jù)預(yù)覽功能。

（3） 輸入數(shù)據(jù)。數(shù)據(jù)集編號(hào)，所屬數(shù)據(jù)源ID，字段信息，篩選項(xiàng)，數(shù)據(jù)量限制，創(chuàng)建時(shí)間。

（4） 預(yù)期測(cè)試結(jié)果。系統(tǒng)根據(jù)用戶新建進(jìn)行數(shù)據(jù)添加，并提示添加成功。

（5） 實(shí)際測(cè)試結(jié)果?？梢哉_的添加數(shù)據(jù),并正確的提示添加成功。

3.3.2 應(yīng)用管理模塊測(cè)試

（1） 應(yīng)用發(fā)布測(cè)試用例，測(cè)試用例編碼DAS HBOARDPUBLISH_TEST。

（2） 測(cè)試流程。管理人員點(diǎn)擊駕駛艙構(gòu)建頁(yè)面中新建圖表，打開卡片管理界面；管理人員選擇數(shù)據(jù)，樣式，圖表類型和篩選項(xiàng)等選項(xiàng)，點(diǎn)擊新增；新建成功，提示管理人員并在列表中變更狀態(tài)。

（3） 輸入數(shù)據(jù)。用戶ID，應(yīng)用編號(hào)。

（4） 預(yù)期測(cè)試結(jié)果。系統(tǒng)根據(jù)用戶所選擇進(jìn)行發(fā)布，并提示發(fā)布成功，變更對(duì)應(yīng)狀態(tài)。

（5） 實(shí)際測(cè)試結(jié)果。系統(tǒng)根據(jù)用戶所選擇進(jìn)行發(fā)布，正確提示發(fā)布成功，變更對(duì)應(yīng)狀態(tài)。

3.3.3 構(gòu)建模塊測(cè)試

（1） 卡片管理測(cè)試用例，測(cè)試用例編碼CARDMANAGEMENT_TEST。

（2） 測(cè)試流程。管理人員點(diǎn)擊構(gòu)建頁(yè)面中新建圖表，打開卡片管理界面；管理人員選擇數(shù)據(jù)、樣式、圖表類型和篩選項(xiàng)等選項(xiàng)，點(diǎn)擊新增；新建成功，提示管理人員并在布局中正確顯示卡片。

（3） 輸入數(shù)據(jù)。數(shù)據(jù)卡片編號(hào)，依賴數(shù)據(jù)集編號(hào)，所屬應(yīng)用編號(hào)，卡片X 坐標(biāo)，卡片Y 坐標(biāo)，卡片寬度，卡片高度，卡片名稱，卡片標(biāo)示，卡片顏色，篩選類型，篩選值，圖表類型，圖表維度，圖表數(shù)值1，圖表數(shù)值2，創(chuàng)建時(shí)間。

（4） 預(yù)期測(cè)試結(jié)果。系統(tǒng)根據(jù)用戶所填寫數(shù)據(jù)對(duì)卡片進(jìn)行操作并給予反饋，布局渲染出新的設(shè)計(jì)。

（5） 實(shí)際測(cè)試結(jié)果。系統(tǒng)能夠根據(jù)用戶所填寫數(shù)據(jù)對(duì)卡片進(jìn)行操作，并正確給予反饋，布局正確渲染出新的設(shè)計(jì)。

3.4 系統(tǒng)應(yīng)用

首先進(jìn)行數(shù)據(jù)連接，打開數(shù)據(jù)管理模塊，點(diǎn)擊“添加數(shù)據(jù)源”進(jìn)入到數(shù)據(jù)源列表頁(yè)，進(jìn)行連接配置，填入與外部數(shù)據(jù)連接所必要的信息。mysql 數(shù)據(jù)源需要的配置項(xiàng)主要有服務(wù)器、端口號(hào)、用戶名、密碼和數(shù)據(jù)庫(kù)名，并提供進(jìn)度展示。配置好的監(jiān)測(cè)系統(tǒng)登錄界面如圖4 所示。

圖4 監(jiān)測(cè)系統(tǒng)登錄界面Fig.4 Monitoring system login interface

然后系統(tǒng)連接到庫(kù)后，自動(dòng)讀入各項(xiàng)內(nèi)容。如果是實(shí)時(shí)型數(shù)據(jù)庫(kù)，系統(tǒng)會(huì)連接對(duì)應(yīng)表來(lái)獲取表內(nèi)的數(shù)據(jù)，做數(shù)據(jù)預(yù)覽，如圖5 所示。

圖5 監(jiān)測(cè)界面預(yù)覽Fig.5 Monitoring interface preview

數(shù)據(jù)源管理系統(tǒng)中還可以對(duì)創(chuàng)建的數(shù)據(jù)集進(jìn)行管理。管理人員進(jìn)入頁(yè)面后會(huì)看到數(shù)據(jù)集列表、展示數(shù)據(jù)集名稱、所屬數(shù)據(jù)源、創(chuàng)建時(shí)間等信息，如圖6 所示。

圖6 數(shù)據(jù)管理界面Fig.6 Data management interface

管理功能的結(jié)構(gòu)通過(guò)文件夾構(gòu)成了各個(gè)業(yè)務(wù)的分析框架。管理人員可以在此進(jìn)行新增、編輯、復(fù)制、移動(dòng)、刪除等操作，如圖7 所示。

圖7 數(shù)據(jù)文件夾Fig.7 Data folder

4 結(jié)論

（1） 根據(jù)自定義可視化分析引擎功能的分析和實(shí)際業(yè)務(wù)情況，利用軟件開發(fā)技術(shù)，對(duì)自定義可視化分析引擎的網(wǎng)絡(luò)架構(gòu)、技術(shù)架構(gòu)、功能模塊、數(shù)據(jù)庫(kù)以及終端與軟件系統(tǒng)的接口進(jìn)行設(shè)計(jì)，使其能夠滿足實(shí)際業(yè)務(wù)的需求。

（2） 設(shè)計(jì)了Web 端的框架和接口，包括前端請(qǐng)求接口和數(shù)據(jù)流訪問(wèn)接口，前端頁(yè)面結(jié)構(gòu)以及服務(wù)器的使用和項(xiàng)目部署。

（3） 對(duì)本系統(tǒng)進(jìn)行了前端測(cè)試和后端測(cè)試。前端測(cè)試主要通過(guò)不同測(cè)試方式考察了前端頁(yè)面渲染的性能、響應(yīng)時(shí)間和易用性，后端測(cè)試了服務(wù)程序代碼的運(yùn)行狀態(tài)，包括穩(wěn)定性、運(yùn)行時(shí)間和內(nèi)存使用情況。測(cè)試結(jié)果表明系統(tǒng)的各個(gè)模塊耦合良好，系統(tǒng)運(yùn)行正常。