大數(shù)據(jù)和數(shù)據(jù)挖掘技術(shù)在智慧環(huán)境監(jiān)測(cè)中的應(yīng)用研究

韓立 李蘭秀 張明偉 吳麗英

摘 要：文章從智慧環(huán)境監(jiān)測(cè)產(chǎn)生的海量原始數(shù)據(jù)入手，提出一種基于大數(shù)據(jù)獲取、存儲(chǔ)、管理、分析的智能監(jiān)測(cè)分析方法，并通過(guò)聚類(lèi)算法、關(guān)聯(lián)特征挖掘環(huán)境保護(hù)中的隱含信息，旨在更好地發(fā)揮環(huán)境保護(hù)的作用，提升環(huán)境監(jiān)測(cè)管理的水平，促進(jìn)環(huán)保事業(yè)的發(fā)展。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)挖掘;環(huán)境監(jiān)測(cè);智能決策

0? ? 引言

隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，不可避免地帶來(lái)了環(huán)境的惡化，影響了人民的生活質(zhì)量。十九大報(bào)告中將生態(tài)文明建設(shè)提高到前所未有的高度，“十四五”關(guān)于環(huán)保方面提出加快推動(dòng)綠色低碳發(fā)展。持續(xù)改善環(huán)境質(zhì)量，增強(qiáng)全社會(huì)生態(tài)環(huán)保意識(shí)，深入打好污染防治攻堅(jiān)戰(zhàn)。由此可見(jiàn)，環(huán)境監(jiān)控行業(yè)受到越來(lái)越多的重視，對(duì)環(huán)境進(jìn)行監(jiān)測(cè)和保護(hù)已經(jīng)刻不容緩。環(huán)境監(jiān)測(cè)工作是環(huán)境保護(hù)工作中不可或缺也是極為基礎(chǔ)的一部分，對(duì)于環(huán)境管理有著十分重要的意義。對(duì)于環(huán)境監(jiān)測(cè)工作而言，環(huán)境監(jiān)測(cè)數(shù)據(jù)是其中十分重要的一項(xiàng)內(nèi)容，它對(duì)于所有的環(huán)境決策都有著指導(dǎo)性的作用。對(duì)環(huán)境大數(shù)據(jù)進(jìn)行分類(lèi)、存儲(chǔ)、分析并進(jìn)行傳輸和深度挖掘，找出其中的隱含信息，給用戶及環(huán)保部門(mén)提供智能決策支持，這是比較難的深度課題。

1? ? 大數(shù)據(jù)和數(shù)據(jù)挖掘在智慧環(huán)境監(jiān)測(cè)中的重要性

信息化的發(fā)展現(xiàn)代智能化的需求促使大數(shù)據(jù)和數(shù)據(jù)挖掘技術(shù)的產(chǎn)生。隨著環(huán)境問(wèn)題日益突出，環(huán)境監(jiān)測(cè)數(shù)據(jù)不再是對(duì)單個(gè)或者某一類(lèi)型的數(shù)據(jù)進(jìn)行處理，智慧環(huán)境監(jiān)測(cè)采集的原始數(shù)據(jù)類(lèi)型多樣，且具有實(shí)時(shí)性和動(dòng)態(tài)性，環(huán)境管理歷史數(shù)據(jù)來(lái)源渠道廣闊，格式不統(tǒng)一，時(shí)效性強(qiáng)，數(shù)據(jù)比較分散，區(qū)域性強(qiáng)，環(huán)保工作人員對(duì)數(shù)據(jù)的需求越來(lái)越高，傳統(tǒng)的信息分析與預(yù)測(cè)方法不能對(duì)大量復(fù)雜的環(huán)境信息進(jìn)行深層次分析，傳統(tǒng)的信息管理模式已不能滿足環(huán)境管理工作對(duì)信息處理的需求，大數(shù)據(jù)能夠?yàn)榄h(huán)境監(jiān)測(cè)與優(yōu)化治理提供全方位的數(shù)據(jù)資源支持，把格式復(fù)雜的數(shù)據(jù)格式轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)格式[1]，構(gòu)成環(huán)境監(jiān)測(cè)檔案并進(jìn)行儲(chǔ)存保管，可以實(shí)時(shí)查詢及監(jiān)控查看，對(duì)所有環(huán)境信息了解工作需求，明確工作問(wèn)題，定位解決問(wèn)題。可以將歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)結(jié)合處理，存儲(chǔ)，分類(lèi)，分析和處理，不斷生成新的數(shù)據(jù)資源庫(kù)，可以提高效率，質(zhì)量，促進(jìn)各部門(mén)的共享，具有較高的應(yīng)用價(jià)值。數(shù)據(jù)挖掘技術(shù)可以突破傳統(tǒng)意義上單調(diào)的監(jiān)測(cè)工作形式，科學(xué)探索所在地區(qū)的大氣環(huán)境數(shù)據(jù)趨勢(shì)，可以對(duì)大量環(huán)境數(shù)據(jù)進(jìn)行分析，利用聚類(lèi)分析、關(guān)聯(lián)規(guī)則從中發(fā)現(xiàn)未知的隱含的，對(duì)決策有用的潛在信息，為其提供智能的決策支持，制定相應(yīng)的方案，及時(shí)響應(yīng)交解決各類(lèi)問(wèn)題，提高的工作效率。

2? ? 大數(shù)據(jù)和數(shù)據(jù)挖掘

大數(shù)據(jù)（Big Data）是一個(gè)專門(mén)應(yīng)對(duì)大量數(shù)據(jù)的領(lǐng)域，把大量的數(shù)據(jù)收集到一起，形成數(shù)據(jù)的集合，特點(diǎn)是數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、自動(dòng)收集數(shù)據(jù)、自動(dòng)存儲(chǔ)和更新，實(shí)時(shí)性強(qiáng)，是一種在獲取、存儲(chǔ)、管理、分析等方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合。數(shù)據(jù)挖掘（Data Mining）屬于數(shù)據(jù)分析的一部分，把對(duì)從未處理過(guò)的、大量的數(shù)據(jù)中每一個(gè)數(shù)據(jù)的探索和分析，從中進(jìn)行關(guān)聯(lián)分析等提取隱含信息的一種過(guò)程，把大數(shù)據(jù)的價(jià)值挖掘出來(lái)，給決策者提供智能支持，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示3個(gè)步驟。

3? ? 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘

數(shù)據(jù)倉(cāng)庫(kù)是為了支持復(fù)雜的分析和決策以提高分析效率，將數(shù)據(jù)從不同的位置不同區(qū)域組織在一起的一個(gè)過(guò)程，能夠及時(shí)、準(zhǔn)確、合理的對(duì)環(huán)境進(jìn)行調(diào)查和分析，所獲取的數(shù)據(jù)必須地標(biāo)準(zhǔn)化、動(dòng)態(tài)化的管理，把所研究地區(qū)的生態(tài)環(huán)境進(jìn)行調(diào)控和檢測(cè)，實(shí)現(xiàn)多部門(mén)共享的目的，從而為該地區(qū)的生產(chǎn)和發(fā)展提供有效的支持與服務(wù)，數(shù)據(jù)倉(cāng)庫(kù)三層，即分段、集成和訪問(wèn)。

數(shù)據(jù)挖掘是數(shù)據(jù)倉(cāng)庫(kù)的一種重要運(yùn)用，數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)二者相結(jié)合，以當(dāng)前環(huán)境信息系統(tǒng)為基礎(chǔ)，并充分利用歷史數(shù)據(jù)，對(duì)環(huán)境決策支持系統(tǒng)模型進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析，包括系統(tǒng)的邏輯層次、數(shù)據(jù)架構(gòu)和功能模塊、數(shù)據(jù)的多維度、多層次的查詢和分析深入分析，能更好地挖掘潛藏在數(shù)據(jù)中有價(jià)值的信息[2]。

4? ? 基于大數(shù)據(jù)和數(shù)據(jù)挖掘的智慧環(huán)境監(jiān)測(cè)模式

4.1? 實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)與即時(shí)響應(yīng)

實(shí)時(shí)監(jiān)測(cè)與即時(shí)響應(yīng)是智慧環(huán)境監(jiān)測(cè)中最基本的功能，是基于計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)的，是用于實(shí)現(xiàn)現(xiàn)場(chǎng)監(jiān)測(cè)與反饋的環(huán)境監(jiān)控功能，環(huán)境監(jiān)測(cè)與治理的關(guān)鍵在于對(duì)環(huán)境數(shù)據(jù)的搜集、分析與處理，全方面采集信息的大數(shù)據(jù)和對(duì)采集原數(shù)據(jù)再加工和再分析必須運(yùn)用現(xiàn)代化信息技術(shù)，借助大數(shù)據(jù)在環(huán)境監(jiān)測(cè)中的應(yīng)用，可對(duì)環(huán)境監(jiān)測(cè)數(shù)據(jù)進(jìn)行合理分類(lèi)，以圖像、數(shù)據(jù)庫(kù)的模式進(jìn)行實(shí)時(shí)展示，在環(huán)境數(shù)據(jù)統(tǒng)計(jì)管理中發(fā)揮重要作用。大數(shù)據(jù)分析可以做到對(duì)所有更新的實(shí)時(shí)數(shù)據(jù)進(jìn)行即時(shí)響應(yīng)[3]，一旦出現(xiàn)環(huán)境中某個(gè)值超標(biāo)，即可進(jìn)行即時(shí)響應(yīng)并進(jìn)行相應(yīng)的處理，建立能夠?qū)崿F(xiàn)后臺(tái)數(shù)據(jù)資源的不斷更新與前臺(tái)查詢、分析和處理的即時(shí)相應(yīng)的關(guān)聯(lián)系統(tǒng)。

4.2? 通過(guò)分析數(shù)據(jù)預(yù)測(cè)大氣環(huán)境

大數(shù)據(jù)技術(shù)的應(yīng)用可以顯著提高大氣環(huán)境預(yù)測(cè)的準(zhǔn)確性，可以在短時(shí)間內(nèi)對(duì)大量信息做出非常準(zhǔn)確的判斷[4]。將大量的信息在平臺(tái)上充分地聯(lián)系在一起，根據(jù)各種需要結(jié)合數(shù)據(jù)之間的關(guān)聯(lián)和變化特點(diǎn)進(jìn)行總結(jié)分析，并獲取有效的預(yù)測(cè)，提升數(shù)據(jù)分析的效率，從中預(yù)測(cè)未來(lái)城市的大氣環(huán)境變化，以此為各行各業(yè)及人們的出行提供有效依據(jù)，利用數(shù)據(jù)挖掘技術(shù)將隱性的信息顯性化，通過(guò)圖表、數(shù)據(jù)參數(shù)、數(shù)據(jù)查詢等綜合形式展示給用戶，提升環(huán)境監(jiān)測(cè)管理水平，促進(jìn)環(huán)保事業(yè)的發(fā)展。

4.3? 構(gòu)建科學(xué)完善的環(huán)境監(jiān)測(cè)預(yù)警體系

環(huán)境監(jiān)測(cè)預(yù)警體系能夠全面反映環(huán)境質(zhì)量狀況和變化趨勢(shì)，是做好環(huán)保工作的根本保證，通過(guò)數(shù)據(jù)挖掘技術(shù)可以建立完整先進(jìn)的環(huán)境監(jiān)測(cè)預(yù)警體系，應(yīng)對(duì)未來(lái)各種環(huán)境污染，滿足環(huán)境管理的要求，為環(huán)境保護(hù)服務(wù)。

預(yù)警系統(tǒng)的建立，包括接近臨界值的預(yù)警和達(dá)到臨界值的報(bào)警，關(guān)鍵預(yù)警臨界值的界定，通過(guò)關(guān)聯(lián)算法對(duì)監(jiān)測(cè)環(huán)境數(shù)據(jù)進(jìn)行分析，分析出環(huán)境數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，選定合理的臨界值，科學(xué)探索所在地區(qū)的大氣環(huán)境數(shù)據(jù)趨勢(shì)智能預(yù)警、報(bào)警。將獲得的預(yù)警監(jiān)測(cè)因子的數(shù)值與預(yù)警監(jiān)測(cè)因子的臨界值進(jìn)行對(duì)比，滿足一個(gè)或者多個(gè)報(bào)警條件時(shí)，系統(tǒng)通過(guò)短信、電子郵件等方式向用戶、管理員等發(fā)出警報(bào)，通知其及時(shí)采取應(yīng)對(duì)和處理措施。報(bào)警功能包括設(shè)備故障，環(huán)境異常，電源斷電等，對(duì)事件進(jìn)行應(yīng)急處置，首先確定事件的各類(lèi)，同時(shí)根據(jù)風(fēng)險(xiǎn)的對(duì)象和等級(jí)提出相應(yīng)的應(yīng)急措施。通過(guò)系統(tǒng)的運(yùn)行，可以檢驗(yàn)預(yù)警和報(bào)警臨界值設(shè)定，將數(shù)據(jù)加入到環(huán)境監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)，形成臨界值數(shù)據(jù)，以備后續(xù)進(jìn)行深度數(shù)據(jù)挖掘，為以后應(yīng)急方案提供參考[5]。

首先，對(duì)數(shù)據(jù)倉(cāng)庫(kù)中形成的各種海量數(shù)據(jù)進(jìn)行分析，獲取超閾值因子及其參數(shù)。將超閾值參數(shù)及發(fā)生風(fēng)險(xiǎn)事件的坐標(biāo)輸入分析模型及模型耦合系統(tǒng)，進(jìn)行模擬預(yù)測(cè)，獲得影響模型，在影響模型中對(duì)風(fēng)險(xiǎn)事件進(jìn)行風(fēng)險(xiǎn)分析，對(duì)超閾值因子及其數(shù)值進(jìn)行分析，獲得風(fēng)險(xiǎn)監(jiān)測(cè)因子，即確定對(duì)風(fēng)險(xiǎn)產(chǎn)生影響的各種參數(shù)，通過(guò)分析各參數(shù)對(duì)風(fēng)險(xiǎn)的影響程序的不同，確定各參數(shù)的風(fēng)險(xiǎn)權(quán)重，給參數(shù)附加風(fēng)險(xiǎn)權(quán)重后，計(jì)算出含風(fēng)險(xiǎn)權(quán)重在內(nèi)的風(fēng)險(xiǎn)等級(jí)數(shù)據(jù)，通過(guò)對(duì)比風(fēng)險(xiǎn)等級(jí)數(shù)據(jù)，確定風(fēng)險(xiǎn)等級(jí)，發(fā)出等級(jí)信號(hào)。其次，依托環(huán)境大數(shù)據(jù)建立預(yù)警機(jī)制，能夠讓環(huán)境治理變得更具精確，有效規(guī)避環(huán)境治理風(fēng)險(xiǎn)，從全局的角度出發(fā)把握環(huán)境發(fā)展趨勢(shì)，提前發(fā)現(xiàn)環(huán)境問(wèn)題并做出相應(yīng)對(duì)策。

4.4? 數(shù)據(jù)共享提供智能決策支持

智能決策的前提是監(jiān)測(cè)環(huán)境大數(shù)據(jù)的共享，形成基于云計(jì)算環(huán)境大數(shù)據(jù)信息資源庫(kù)，創(chuàng)新思路提升大數(shù)據(jù)技術(shù)的應(yīng)用價(jià)值，利用數(shù)據(jù)挖掘技術(shù)建立服務(wù)模型，通過(guò)對(duì)所有的數(shù)據(jù)進(jìn)行分析和整理，預(yù)估其中的風(fēng)險(xiǎn)，尋找規(guī)律，建立關(guān)聯(lián)，從而建立云環(huán)境下數(shù)據(jù)的探索和分析結(jié)構(gòu)，對(duì)其合理開(kāi)發(fā)，優(yōu)化配置，可實(shí)現(xiàn)全面智能化檢測(cè)，精準(zhǔn)化管理，反饋后可實(shí)現(xiàn)即時(shí)響應(yīng)，遠(yuǎn)程監(jiān)控和診斷，從而實(shí)現(xiàn)環(huán)境的可持續(xù)管理，為環(huán)境監(jiān)測(cè)與治理提供更加科學(xué)合理的決策，推進(jìn)對(duì)環(huán)境大數(shù)據(jù)資源的全面融合[6]。

環(huán)境監(jiān)測(cè)海量數(shù)據(jù)形成數(shù)據(jù)倉(cāng)庫(kù)，利用大數(shù)據(jù)技術(shù)進(jìn)行獲取、存儲(chǔ)、管理和分析，改變了傳統(tǒng)的環(huán)境監(jiān)測(cè)管理方法，可以提升環(huán)保工作的效率與質(zhì)量，提高信息管理水平，提升監(jiān)測(cè)與預(yù)測(cè)工作的科學(xué)性和完善性，為政策的制定提供科學(xué)的理論支持;通過(guò)聚類(lèi)分析、關(guān)聯(lián)規(guī)則等方法對(duì)環(huán)境數(shù)據(jù)進(jìn)行深度數(shù)據(jù)挖掘，為環(huán)境監(jiān)測(cè)數(shù)據(jù)監(jiān)管工作提供新的思路，可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)控、智能預(yù)警、環(huán)境預(yù)測(cè)等智能決策支持，對(duì)環(huán)境執(zhí)法部門(mén)與監(jiān)測(cè)有著重要的促進(jìn)作用，為環(huán)境管理提供智能決策支持，推進(jìn)環(huán)境評(píng)測(cè)工作的精準(zhǔn)性。

[參考文獻(xiàn)]

[1]賈俊乾，張帥.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用探討[J].資源節(jié)約與環(huán)保，2018（3）：86-88.

[2]陳志泊，韓慧，王建新.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘[M].北京：清華大學(xué)出版社，2009.

[3]李立.環(huán)境空氣監(jiān)測(cè)數(shù)據(jù)分析及處理方法[J].環(huán)境與發(fā)展，2019（1）：162-163.

[4]李璐.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用研究[J].環(huán)境與發(fā)展，2018（6）：169.

[5]朱習(xí)文.環(huán)境保護(hù)大數(shù)據(jù)應(yīng)用技術(shù)分析與研究[J].科學(xué)技術(shù)創(chuàng)新，2018（23）：75-76.

[6]林選福.大數(shù)據(jù)技術(shù)在環(huán)境監(jiān)測(cè)中的應(yīng)用[J].環(huán)境與發(fā)展，2018（7）：123-124.

（編輯 姚 鑫）