一種基于環(huán)保大數(shù)據(jù)的存儲模式及數(shù)據(jù)導(dǎo)入設(shè)計(jì)與實(shí)現(xiàn)

高 銳 宋佳音 王振海

(臨沂大學(xué)信息學(xué)院 山東 臨沂 276005)

一種基于環(huán)保大數(shù)據(jù)的存儲模式及數(shù)據(jù)導(dǎo)入設(shè)計(jì)與實(shí)現(xiàn)

高 銳 宋佳音 王振海

(臨沂大學(xué)信息學(xué)院 山東 臨沂 276005)

為實(shí)現(xiàn)生態(tài)環(huán)境綜合決策科學(xué)化，利用大數(shù)據(jù)技術(shù)及傳統(tǒng)數(shù)據(jù)庫的結(jié)合，設(shè)計(jì)一種混合存儲結(jié)構(gòu)。既利用Hbase在大規(guī)模環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的高可拓展性、高可靠性的數(shù)據(jù)存儲能力，又利用關(guān)系型數(shù)據(jù)庫MySQL提供的強(qiáng)大SQL查詢語言以及數(shù)據(jù)多維分析能力，實(shí)時統(tǒng)計(jì)分析與多維展示最近一段時間內(nèi)環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，所用方法與傳統(tǒng)的手工記錄查詢方式及單一數(shù)據(jù)庫查詢方式相比，有效提高了數(shù)據(jù)存儲規(guī)模及數(shù)據(jù)查詢速度。

環(huán)保大數(shù)據(jù) 混合存儲 數(shù)據(jù)導(dǎo)入

0 引 言

大數(shù)據(jù)、“互聯(lián)網(wǎng)+”等信息技術(shù)已成為推進(jìn)環(huán)境治理體系和治理能力現(xiàn)代化的重要手段，要加強(qiáng)生態(tài)環(huán)境大數(shù)據(jù)綜合應(yīng)用和集成分析，通過生態(tài)環(huán)境大數(shù)據(jù)發(fā)展和應(yīng)用，推進(jìn)環(huán)境管理轉(zhuǎn)型，提升生態(tài)環(huán)境治理能力。利用現(xiàn)代信息技術(shù)手段科學(xué)有效地對環(huán)境數(shù)據(jù)進(jìn)行采樣存儲和分析，促進(jìn)政府對環(huán)境現(xiàn)狀及變化趨勢進(jìn)行分析預(yù)測，對政府的宏觀決策及改善環(huán)境有積極的意義[1]。

在遙感技術(shù)RS[2]、地理信息系統(tǒng)技術(shù)GIS[3]、物聯(lián)網(wǎng)技術(shù)IOT[4]等領(lǐng)域的技術(shù)突破及應(yīng)用，拓展了環(huán)境質(zhì)量監(jiān)測維度，因此水資源的監(jiān)測數(shù)據(jù)也在迅速增長著，并呈現(xiàn)出快速、海量、多源的大數(shù)據(jù)特征[5]。

傳統(tǒng)的環(huán)境信息系統(tǒng)在對環(huán)境污染進(jìn)行全方位的實(shí)時動態(tài)監(jiān)測方面表現(xiàn)出諸多問題，不能滿足政府部門對環(huán)境信息采集、管理、分析、決策等方面的需求，嚴(yán)重阻礙了環(huán)境的信息化建設(shè)進(jìn)程[6]。

在環(huán)保行業(yè)內(nèi)部建立私有云平臺可以對行業(yè)內(nèi)部的敏感信息進(jìn)行有效的保護(hù)，并在行業(yè)內(nèi)進(jìn)行最廣泛的共享，最大限度地提高數(shù)據(jù)資源的利用效率；私有云可以充分利用現(xiàn)有的軟硬件資源，保護(hù)原有投資[7]。

在新的數(shù)據(jù)中心化環(huán)境下，創(chuàng)新“大數(shù)據(jù)”應(yīng)用，充分挖掘大數(shù)據(jù)帶來的價值，充分整合系統(tǒng)資源，從而實(shí)現(xiàn)一個從數(shù)據(jù)采集、存儲、分析、挖掘、決策、發(fā)布的統(tǒng)一的數(shù)據(jù)鏈應(yīng)用，能為環(huán)保各部門產(chǎn)生更大的價值[8]。

現(xiàn)有的聯(lián)想PM2.5云監(jiān)測平臺采用云計(jì)算的方式進(jìn)行數(shù)據(jù)存儲和處理，可實(shí)現(xiàn)千億級海量PM2.5數(shù)據(jù)實(shí)時返回查詢結(jié)果。一旦發(fā)生報警立即通過郵件、APP推送或者短信等形式通知管理者，并提示管理和執(zhí)法人員所需執(zhí)行的應(yīng)急預(yù)案[9]。

通過與政府及第三方環(huán)境監(jiān)測公司聯(lián)合建設(shè)與開發(fā)水資源環(huán)境監(jiān)控平臺的過程中，基于政府積累的歷史數(shù)據(jù)和監(jiān)測公司提供的監(jiān)測數(shù)據(jù)，設(shè)計(jì)了一種數(shù)據(jù)混合存儲模式及數(shù)據(jù)導(dǎo)入方法。本文對混合存儲模式及數(shù)據(jù)導(dǎo)入設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行了介紹。

1 基于大數(shù)據(jù)水環(huán)境質(zhì)量架構(gòu)設(shè)計(jì)

通過對環(huán)境質(zhì)量監(jiān)測系統(tǒng)的數(shù)據(jù)通信、數(shù)據(jù)存儲、數(shù)據(jù)分析以及數(shù)據(jù)應(yīng)用需求的詳細(xì)研究分析，結(jié)合“分層設(shè)計(jì)”的系統(tǒng)架構(gòu)設(shè)計(jì)思想，本文將大數(shù)據(jù)技術(shù)與傳統(tǒng)關(guān)系型數(shù)據(jù)技術(shù)結(jié)合起來，以充分融合兩者在數(shù)據(jù)存儲、處理上的性能優(yōu)勢，環(huán)境質(zhì)量監(jiān)測系統(tǒng)詳細(xì)架構(gòu)如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

2 混合存儲層設(shè)計(jì)

考慮到既要利用分布式數(shù)據(jù)庫HBase在大規(guī)模環(huán)境質(zhì)量檢測數(shù)據(jù)的高可拓展性、可靠性、容錯性的數(shù)據(jù)存儲能力及利用Map Reduce 程序可以直接使用HBase內(nèi)數(shù)據(jù)的特性，設(shè)計(jì)基于Map Reduce 計(jì)算模型的海量環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的挖掘分析算法；又能利用關(guān)系型數(shù)據(jù)庫 MySQL提供的強(qiáng)大SQL 查詢語言以及數(shù)據(jù)多維分析能力，實(shí)時統(tǒng)計(jì)分析與多維展示最近一段時間內(nèi)環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)[10]。

所以將混合存儲層的設(shè)計(jì)分為MySQL數(shù)據(jù)庫表結(jié)構(gòu)的設(shè)計(jì)、MySQL數(shù)據(jù)導(dǎo)入、HBase數(shù)據(jù)存儲模型的設(shè)計(jì)、HBase數(shù)據(jù)導(dǎo)入四部分。

圖2 混合存儲層

2.1 MySQL數(shù)據(jù)存儲模型設(shè)計(jì)

MySQL數(shù)據(jù)存儲層主要負(fù)責(zé)最近一段時期內(nèi)(一般為一年，視具體業(yè)務(wù)需要進(jìn)行配置)采集的環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的存儲，包括最新采集的環(huán)境質(zhì)量數(shù)據(jù)同時也會存儲到 MySQL數(shù)據(jù)庫中相應(yīng)的數(shù)據(jù)表中。

MySQL中共由5個表組成，分別為縣區(qū)表、河流表、斷面表、監(jiān)測指標(biāo)表和監(jiān)測結(jié)果表組成，如表1-表5所示。

表1 縣區(qū)表(Cities)

表2 河流表(Rivers)

表3 斷面表(Sections)

表4 監(jiān)測指標(biāo)表(Specifications)

表5 監(jiān)測結(jié)果表(Results)

2.2 Hbase數(shù)據(jù)存儲模型設(shè)計(jì)

在HBase中Eqmdb表用于存儲數(shù)據(jù)中心所有的環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)記錄，Hbase表的Row Key由一個sections ID、一個基準(zhǔn)時間戳Base Time Stamp及一個specifications ID唯一編碼組成，其中specifications ID表示環(huán)境質(zhì)量監(jiān)測類型唯一編號，sections ID表示監(jiān)測站唯一編號，Row Key的數(shù)據(jù)格式如表6所示。

表6 Rowkey數(shù)據(jù)格式表

Hbase表只包含一個列族 Monitoring Data，其列成員共6 B，前2 B為時間戳，2 B為specifications ID表示環(huán)境質(zhì)量監(jiān)測類型唯一編號，剩下2 B為存儲實(shí)際的環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)值，具體數(shù)據(jù)格式如表7所示。

表7 Monitoring Data成員數(shù)據(jù)格式表

Hbase表結(jié)構(gòu)的設(shè)計(jì)使得環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)在一個時間段的多項(xiàng)監(jiān)測數(shù)據(jù)記錄可以存儲在 HBase的一條記錄中，減少了由于監(jiān)測項(xiàng)目多而造成的Hbase中數(shù)據(jù)記錄的總數(shù)。Monitoring Data 列族里保存的一個時間內(nèi)的所有監(jiān)測數(shù)據(jù)，列名是監(jiān)測類型唯一編號，數(shù)據(jù)值包含表7中的三項(xiàng)內(nèi)容，因此，可以通過列名和數(shù)據(jù)值可以獲取各個時間的不同監(jiān)測類型的質(zhì)量監(jiān)測數(shù)據(jù)。Eqmdb表結(jié)構(gòu)具體如表8所示。

表8 Eqmdb表

3 數(shù)據(jù)的導(dǎo)入存儲

3.1 Hbase環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的導(dǎo)入實(shí)現(xiàn)

本文采用POI(Apache POI是Apache軟件基金會的開放源碼函式庫，POI提供API給Java程序?qū)icrosoft Office格式檔案讀和寫的功能[11])提供的API來對Excel表來讀取數(shù)據(jù)分別存入Hbase的表中?，F(xiàn)在以圖3所示的指標(biāo)值存入方式為例來進(jìn)行說明。

圖3 指標(biāo)值存入流程圖

首先依次讀取輸入文件的每條數(shù)據(jù)記錄，通過字符串操作提取數(shù)據(jù)記錄中的指標(biāo)名、縣區(qū)名、斷面名、并通過JDBC方式在MySQL相應(yīng)表中查詢出唯一specifications ID(指標(biāo)類型ID)和sections ID(斷面ID)并生成rowkey(若不存在則進(jìn)行添加，生成唯一ID)，并通過輔助類將Value 解析為相應(yīng)數(shù)據(jù)類型，核心代碼如下：

for (intnum Sheet = 0; num Sheet

HSSFSheethssf Sheet = hssf Work book.get Sheet At(num Sheet);

if (hssfSheet == null) { continue;

}

ListsectionIdList = new ArrayList();

ListspidList = new ArrayList();

String tcName = null;

for (int i = 1; i <= hssfSheet.getLastRowNum(); i++){

HSSFRow row = hssfSheet.getRow(i);

String cname = getValue(row.getCell(1));

//獲取市區(qū)名

String rname = getValue(row.getCell(2));

//獲取河流名

String sname = getValue(row.getCell(3));

//獲取斷面名

//數(shù)據(jù)存入Hbase

}

}

新建一條數(shù)據(jù)記錄。根據(jù)獲取的編碼ID以及Timestamp 生成Row Key，然后實(shí)例化Put 請求，并調(diào)用Put 將最終數(shù)據(jù)處理結(jié)果寫入HBase。

3.2 MySQL環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的導(dǎo)入實(shí)現(xiàn)

本文采用JDBC方式連接MySQL數(shù)據(jù)庫實(shí)現(xiàn)增刪改查，首次導(dǎo)入時將縣區(qū)、河流、斷面、指標(biāo)類型導(dǎo)入到相應(yīng)的表中。再將監(jiān)測結(jié)果存入結(jié)果表中。之后的存取僅對斷面及指標(biāo)類型等信息只進(jìn)行監(jiān)測，若有新增信息則在相應(yīng)的表中進(jìn)行添加，導(dǎo)入效果如圖4所示。

圖4 導(dǎo)入效果圖

以指標(biāo)類型的存入方式為例，其核心代碼如下：

for(intnum Sheet=0; num Sheet

HSSFSheethssf Sheet = hssf Work book.get Sheet At(num Sheet);

if (hssfSheet == null) {

continue;

}

HSSFRowhssfRow = hssfSheet.getRow(0);//

if (hssfRow != null){

for(int i = 4;i<=hssfRow.getLastCellNum();i++){

HSSFCell specifications = hssfRow.getCell(i);

spname=getValue(specifications)；

if(isexist){

//若不在數(shù)據(jù)庫中則存入數(shù)據(jù)庫

}

4 數(shù)據(jù)導(dǎo)入及存儲效果分析

現(xiàn)有的源數(shù)據(jù)均在Excel及Word中存放，這種方式在做多表數(shù)據(jù)對比查詢時通過人工的方式極易出錯且不方便、效率低下，對于多個不同表中的數(shù)據(jù)無法生成折線圖等可視化分析，不方便進(jìn)行水資源環(huán)境形勢的綜合分析。(現(xiàn)有數(shù)據(jù)方案可方便地進(jìn)行相應(yīng)的數(shù)據(jù)查詢及趨勢的分析)本文所使用的系統(tǒng)可利用SQL語句強(qiáng)大的查詢功能。方便快捷地將所需數(shù)據(jù)通過數(shù)據(jù)庫中進(jìn)行輸出，并且將相應(yīng)數(shù)據(jù)進(jìn)行可視化輸出，方便對水環(huán)境指標(biāo)進(jìn)行趨勢分析，查詢效果如圖5所示。

圖5 查詢效果圖

由于現(xiàn)有系統(tǒng)不需要數(shù)據(jù)的實(shí)時導(dǎo)入，所以現(xiàn)系統(tǒng)的數(shù)據(jù)將Excel表統(tǒng)一導(dǎo)入到數(shù)據(jù)庫中。這樣做與傳感器直接通信存儲相比在效率上有所降低，但由于考慮到目前現(xiàn)有工作人員長期使用并已習(xí)慣Office文檔辦公。若方式發(fā)生變化可能不方便工作人員的使用。所以目前采用現(xiàn)方式，同時可確保數(shù)據(jù)的準(zhǔn)確性。

隨著環(huán)保事業(yè)的發(fā)展及科學(xué)技術(shù)的進(jìn)步，必然會不斷地增加監(jiān)測站點(diǎn)的數(shù)量和監(jiān)測指標(biāo)的數(shù)量，本文中所采用的混合存儲模式可完全滿足需求，能夠方便對數(shù)據(jù)庫中監(jiān)測站的數(shù)量及監(jiān)測指標(biāo)的數(shù)量進(jìn)行靈活的調(diào)整，便于系統(tǒng)的靈活拓展。

5 結(jié) 語

本文設(shè)計(jì)的環(huán)境質(zhì)量監(jiān)測數(shù)據(jù)的混合存儲系統(tǒng)及數(shù)據(jù)批量自動導(dǎo)入功能，可有效實(shí)現(xiàn)數(shù)據(jù)分析處理及快速查詢。一是大大擴(kuò)展了環(huán)保數(shù)據(jù)的存儲能力，存儲容量由TB級增加到PB級，存儲數(shù)據(jù)類型不僅可以是結(jié)構(gòu)化數(shù)據(jù)，也可涵蓋遙感圖片、音視頻資料等非結(jié)構(gòu)化數(shù)據(jù)，有利于將分散的數(shù)據(jù)進(jìn)行集中歸納。二是利用關(guān)系數(shù)據(jù)庫強(qiáng)大的查詢性能，拓展了系統(tǒng)查詢能力。雖然Hbase的單條查詢響應(yīng)時間為5 ms，遠(yuǎn)少于MySQL的30 ms，但是由于Hbase無法支持多條件查詢及范圍查詢，數(shù)據(jù)查詢能力和分析能力較差，所以引入Mysql數(shù)據(jù)庫以利用其強(qiáng)大的SQL查詢語言及數(shù)據(jù)多維分析能力，實(shí)時統(tǒng)計(jì)分析與多維展示最近一段時間內(nèi)的環(huán)境監(jiān)測數(shù)據(jù)，滿足日常查詢分析所需。三是MySQL最大連接數(shù)可達(dá)到上萬，要遠(yuǎn)遠(yuǎn)超過Hbase上千的最大連接數(shù)，對于多用戶的網(wǎng)頁應(yīng)用程序來說，數(shù)據(jù)庫連接作為一種關(guān)鍵的、有限的、昂貴的資源在其中體現(xiàn)得尤為突出。

同時系統(tǒng)設(shè)計(jì)的批量數(shù)據(jù)導(dǎo)入功能，可將現(xiàn)有的存放于Excel中的數(shù)據(jù)自動化導(dǎo)入到數(shù)據(jù)庫中，大大減輕了工作人員的工作量，而且避免了突然改變存儲方式以造成的不習(xí)慣而帶來的諸多錯誤。與政府已有的環(huán)境監(jiān)測系統(tǒng)相比，本文設(shè)計(jì)的大數(shù)據(jù)環(huán)境監(jiān)測平臺運(yùn)行性能有了大幅提高，用戶反映良好。下一步，優(yōu)化基于存儲的數(shù)據(jù)關(guān)聯(lián)分析設(shè)計(jì)，提高數(shù)據(jù)應(yīng)用可視化水平。

[1] 中華人民共和國環(huán)境保護(hù)部.生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總方案[EB/OL].http://www.zhb.gov.cn/gkml/hbb/bgt/201603/t20160311_332712.htm.

[2] 周晨.環(huán)境遙感檢測技術(shù)的應(yīng)用與發(fā)展[J].環(huán)境科技,2011,24(A01):139-141.

[3] 潘瑜春,趙春江.地理信息技術(shù)在精準(zhǔn)農(nóng)業(yè)中的應(yīng)用[J].農(nóng)業(yè)工程學(xué)報,2003,19(4):1-6.

[4] 賈益剛.物聯(lián)網(wǎng)技術(shù)在環(huán)境監(jiān)測和預(yù)警中的應(yīng)用研究[J].上海建設(shè)科技,2010(6):65-67.

[5] 馬建光,姜巍.大數(shù)據(jù)的概念,特征及其應(yīng)用[J].國防科技,2013(2):10-17.

[6] 唐國純.環(huán)保云的體系結(jié)構(gòu)及關(guān)鍵技術(shù)研究[J].軟件,2014(1):101-103.

[7] 胡昊,朱琦,尚屹,等.云計(jì)算在環(huán)境保護(hù)行業(yè)的應(yīng)用[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2013,22(10):39-44.

[8] 浪潮環(huán)保云數(shù)據(jù)中心解決方案[EB/OL].http://www.inspur.com/lcjtww/443009/.

[9] 聯(lián)想PM2.5云監(jiān)測平臺[EB/OL].http://rel.lenovo.com.cn/.

[10] 李安增.基于大數(shù)據(jù)技術(shù)的環(huán)境質(zhì)量監(jiān)測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].中國科學(xué)院研究生院(沈陽計(jì)算技術(shù)研究所),2015.

[11] Apache軟件基金會.Apache POI-the Java API for Microsoft Documents[EB/OL].http://poi.apache.org/.

DESIGNANDIMPLEMENTATIONOFSTORAGEMODEANDDATAIMPORTBASEDONENVIRONMENTALBIGDATA

Gao Rui Song Jiayin Wang Zhenhai

(SchoolofInformatics,LinyiUniversity,Linyi276005,Shandong,China)

To realize the comprehensive scientific decision-making of the ecological environment, a hybrid storage structure based on a combination of big data technology and traditional database is designed. First, Hbase has high expansibility and reliability of data storage capacity for in large environmental monitoring data. Second, relational database MySql provided powerful SQL query language and data analysis capabilities, which could make a real time statistical analysis and multi-dimensional display of environmental quality monitoring data in recent time. Experimental results show that our method can effectively improve the data storage size and query speed, compared with the traditional method.

Environmental big data Hybrid storage Data import

TP3

A

10.3969/j.issn.1000-386x.2017.09.013

2016-10-28。國家自然科學(xué)基金項(xiàng)目(61503171)；山東省自然科學(xué)基金項(xiàng)目(ZR2015FL021)。高銳，本科生，主研領(lǐng)域：信息管理與信息系統(tǒng)。宋佳音，本科生。王振海，教授。