大數據和數據挖掘技術在智慧環境監測中的應用研究

韓立 李蘭秀 張明偉 吳麗英

摘 要：文章從智慧環境監測產生的海量原始數據入手，提出一種基于大數據獲取、存儲、管理、分析的智能監測分析方法，并通過聚類算法、關聯特征挖掘環境保護中的隱含信息，旨在更好地發揮環境保護的作用，提升環境監測管理的水平，促進環保事業的發展。

關鍵詞：大數據;數據挖掘;環境監測;智能決策

0? ? 引言

隨著社會經濟的快速發展，不可避免地帶來了環境的惡化，影響了人民的生活質量。十九大報告中將生態文明建設提高到前所未有的高度，“十四五”關于環保方面提出加快推動綠色低碳發展。持續改善環境質量，增強全社會生態環保意識，深入打好污染防治攻堅戰。由此可見，環境監控行業受到越來越多的重視，對環境進行監測和保護已經刻不容緩。環境監測工作是環境保護工作中不可或缺也是極為基礎的一部分，對于環境管理有著十分重要的意義。對于環境監測工作而言，環境監測數據是其中十分重要的一項內容，它對于所有的環境決策都有著指導性的作用。對環境大數據進行分類、存儲、分析并進行傳輸和深度挖掘，找出其中的隱含信息，給用戶及環保部門提供智能決策支持，這是比較難的深度課題。

1? ? 大數據和數據挖掘在智慧環境監測中的重要性

信息化的發展現代智能化的需求促使大數據和數據挖掘技術的產生。隨著環境問題日益突出，環境監測數據不再是對單個或者某一類型的數據進行處理，智慧環境監測采集的原始數據類型多樣，且具有實時性和動態性，環境管理歷史數據來源渠道廣闊，格式不統一，時效性強，數據比較分散，區域性強，環保工作人員對數據的需求越來越高，傳統的信息分析與預測方法不能對大量復雜的環境信息進行深層次分析，傳統的信息管理模式已不能滿足環境管理工作對信息處理的需求，大數據能夠為環境監測與優化治理提供全方位的數據資源支持，把格式復雜的數據格式轉換成統一的數據格式[1]，構成環境監測檔案并進行儲存保管，可以實時查詢及監控查看，對所有環境信息了解工作需求，明確工作問題，定位解決問題。可以將歷史數據與當前數據結合處理，存儲，分類，分析和處理，不斷生成新的數據資源庫，可以提高效率，質量，促進各部門的共享，具有較高的應用價值。數據挖掘技術可以突破傳統意義上單調的監測工作形式，科學探索所在地區的大氣環境數據趨勢，可以對大量環境數據進行分析，利用聚類分析、關聯規則從中發現未知的隱含的，對決策有用的潛在信息，為其提供智能的決策支持，制定相應的方案，及時響應交解決各類問題，提高的工作效率。

2? ? 大數據和數據挖掘

大數據（Big Data）是一個專門應對大量數據的領域，把大量的數據收集到一起，形成數據的集合，特點是數據量大、結構復雜、自動收集數據、自動存儲和更新，實時性強，是一種在獲取、存儲、管理、分析等方面大大超出了傳統數據庫軟件工具能力范圍的數據集合。數據挖掘（Data Mining）屬于數據分析的一部分，把對從未處理過的、大量的數據中每一個數據的探索和分析，從中進行關聯分析等提取隱含信息的一種過程，把大數據的價值挖掘出來，給決策者提供智能支持，主要有數據準備、規律尋找和規律表示3個步驟。

3? ? 數據倉庫與數據挖掘

數據倉庫是為了支持復雜的分析和決策以提高分析效率，將數據從不同的位置不同區域組織在一起的一個過程，能夠及時、準確、合理的對環境進行調查和分析，所獲取的數據必須地標準化、動態化的管理，把所研究地區的生態環境進行調控和檢測，實現多部門共享的目的，從而為該地區的生產和發展提供有效的支持與服務，數據倉庫三層，即分段、集成和訪問。

數據挖掘是數據倉庫的一種重要運用，數據倉庫與數據挖掘技術二者相結合，以當前環境信息系統為基礎，并充分利用歷史數據，對環境決策支持系統模型進行實時監測和分析，包括系統的邏輯層次、數據架構和功能模塊、數據的多維度、多層次的查詢和分析深入分析，能更好地挖掘潛藏在數據中有價值的信息[2]。

4? ? 基于大數據和數據挖掘的智慧環境監測模式

4.1? 實現實時監測與即時響應

實時監測與即時響應是智慧環境監測中最基本的功能，是基于計算機網絡技術實現的，是用于實現現場監測與反饋的環境監控功能，環境監測與治理的關鍵在于對環境數據的搜集、分析與處理，全方面采集信息的大數據和對采集原數據再加工和再分析必須運用現代化信息技術，借助大數據在環境監測中的應用，可對環境監測數據進行合理分類，以圖像、數據庫的模式進行實時展示，在環境數據統計管理中發揮重要作用。大數據分析可以做到對所有更新的實時數據進行即時響應[3]，一旦出現環境中某個值超標，即可進行即時響應并進行相應的處理，建立能夠實現后臺數據資源的不斷更新與前臺查詢、分析和處理的即時相應的關聯系統。

4.2? 通過分析數據預測大氣環境

大數據技術的應用可以顯著提高大氣環境預測的準確性，可以在短時間內對大量信息做出非常準確的判斷[4]。將大量的信息在平臺上充分地聯系在一起，根據各種需要結合數據之間的關聯和變化特點進行總結分析，并獲取有效的預測，提升數據分析的效率，從中預測未來城市的大氣環境變化，以此為各行各業及人們的出行提供有效依據，利用數據挖掘技術將隱性的信息顯性化，通過圖表、數據參數、數據查詢等綜合形式展示給用戶，提升環境監測管理水平，促進環保事業的發展。

4.3? 構建科學完善的環境監測預警體系

環境監測預警體系能夠全面反映環境質量狀況和變化趨勢，是做好環保工作的根本保證，通過數據挖掘技術可以建立完整先進的環境監測預警體系，應對未來各種環境污染，滿足環境管理的要求，為環境保護服務。

預警系統的建立，包括接近臨界值的預警和達到臨界值的報警，關鍵預警臨界值的界定，通過關聯算法對監測環境數據進行分析，分析出環境數據之間的關聯關系，選定合理的臨界值，科學探索所在地區的大氣環境數據趨勢智能預警、報警。將獲得的預警監測因子的數值與預警監測因子的臨界值進行對比，滿足一個或者多個報警條件時，系統通過短信、電子郵件等方式向用戶、管理員等發出警報，通知其及時采取應對和處理措施。報警功能包括設備故障，環境異常，電源斷電等，對事件進行應急處置，首先確定事件的各類，同時根據風險的對象和等級提出相應的應急措施。通過系統的運行，可以檢驗預警和報警臨界值設定，將數據加入到環境監控數據倉庫，形成臨界值數據，以備后續進行深度數據挖掘，為以后應急方案提供參考[5]。

首先，對數據倉庫中形成的各種海量數據進行分析，獲取超閾值因子及其參數。將超閾值參數及發生風險事件的坐標輸入分析模型及模型耦合系統，進行模擬預測，獲得影響模型，在影響模型中對風險事件進行風險分析，對超閾值因子及其數值進行分析，獲得風險監測因子，即確定對風險產生影響的各種參數，通過分析各參數對風險的影響程序的不同，確定各參數的風險權重，給參數附加風險權重后，計算出含風險權重在內的風險等級數據，通過對比風險等級數據，確定風險等級，發出等級信號。其次，依托環境大數據建立預警機制，能夠讓環境治理變得更具精確，有效規避環境治理風險，從全局的角度出發把握環境發展趨勢，提前發現環境問題并做出相應對策。

4.4? 數據共享提供智能決策支持

智能決策的前提是監測環境大數據的共享，形成基于云計算環境大數據信息資源庫，創新思路提升大數據技術的應用價值，利用數據挖掘技術建立服務模型，通過對所有的數據進行分析和整理，預估其中的風險，尋找規律，建立關聯，從而建立云環境下數據的探索和分析結構，對其合理開發，優化配置，可實現全面智能化檢測，精準化管理，反饋后可實現即時響應，遠程監控和診斷，從而實現環境的可持續管理，為環境監測與治理提供更加科學合理的決策，推進對環境大數據資源的全面融合[6]。

環境監測海量數據形成數據倉庫，利用大數據技術進行獲取、存儲、管理和分析，改變了傳統的環境監測管理方法，可以提升環保工作的效率與質量，提高信息管理水平，提升監測與預測工作的科學性和完善性，為政策的制定提供科學的理論支持;通過聚類分析、關聯規則等方法對環境數據進行深度數據挖掘，為環境監測數據監管工作提供新的思路，可以實現實時監控、智能預警、環境預測等智能決策支持，對環境執法部門與監測有著重要的促進作用，為環境管理提供智能決策支持，推進環境評測工作的精準性。

[參考文獻]

[1]賈俊乾，張帥.大數據技術在環境監測中的應用探討[J].資源節約與環保，2018（3）：86-88.

[2]陳志泊，韓慧，王建新.數據倉庫與數據挖掘[M].北京：清華大學出版社，2009.

[3]李立.環境空氣監測數據分析及處理方法[J].環境與發展，2019（1）：162-163.

[4]李璐.大數據技術在環境監測中的應用研究[J].環境與發展，2018（6）：169.

[5]朱習文.環境保護大數據應用技術分析與研究[J].科學技術創新，2018（23）：75-76.

[6]林選福.大數據技術在環境監測中的應用[J].環境與發展，2018（7）：123-124.

（編輯 姚 鑫）