大數據技術在環境監測中的應用

周淵海　張卓

摘 要：大數據技術的關鍵技術包括數據存儲、數據計算、數據集成、深入挖掘及可視化等，可為環境監測提供技術輔助，實現綜合預警與科學決策。基于此，文章對大數據技術在環境監測中的應用進行深入分析，探究大數據技術的應用內容與流程，結合環境監測案例，總結大數據技術應用要點，保障其優勢有效發揮。

關鍵詞：大數據技術;環境監測;生態環境

在新時期背景下，環境監測工作越來越復雜，不僅要考慮環境參數，還需分析環境與人、與經濟的關系，實施多元協同治理。傳統環境監測數據處理存在數據不全面、指標不準確、歷史數據遺失等問題，難以為環境決策提供幫助。大數據技術的出現妥善解決了上述問題，因此需在環境監測中合理應用大數據技術。

1 大數據技術在環境監測中的應用方式

1.1 支持環境監測數據的采集

在環境監測數據采集中，大數據技術的應用可實現數據的分類采集，根據環境監測數據的內容或生命周期進行全面采集，為后續數據集成與分析提供便利。

1.1.1 內容分類

在環境監測工作中，大數據來源有兩類，分別是監測部門產生的數據與外部人群活動產生的數據，前者包括生態環境數據與污染源排放數據，數據的周期約四十年，主要為結構化數據;后者包括人與環境相關的數據，數據時間跨度不等，主要為非結構化數據。基于上述來源，大數據可根據如下分類，實現環境監測數據的有效采集。第一，生態環境監測數據，包括生態環境監測的各項數據，如大氣數據、土壤數據、噪聲數據及水質參數等，監測范圍包括生態環境監測點、水源保護區及自然生態保護區等，為覆蓋全國的環境質量監測網監測數據，可體現各地區及我國整體生態環境狀況。第二，污染源排放數據，包括各個污染源所在點位的監測數據，如廢氣數據、廢水數據及固廢數據等，涉及污染源監測、污染治理設施運行及監察執法等工作。第三，人與環境相關數據，包括基礎氣象數據、生活垃圾數據、地理國情數據等，來自于各地區統計年鑒或網絡媒體公布數據。

1.1.2 生命周期分類

按照生命周期，可將環境監測數據劃分為冷數據、溫數據和熱數據三類。冷數據是指采集的未處理數據或歷史歸檔數據，通常以污染源排放數據或生態環境監測數據為主，可用大容量硬盤存儲;溫數據是指通過分析形成報表的環境監測數據，支持歷史查詢，如環境質量日報、月報與統計年鑒信息等;熱數據是指當期使用數據，包括深入挖掘后入庫的數據或部分原始數據，如實時發布的在線監測數據，需配置高速硬盤，方可保障數據的有效應用[1]。

1.2 支持環境監測數據的集成

在分類收集環境監測數據的基礎上，大數據技術可實現環境監測數據的全面集成，將異常數據全部剔除，提高環境監測數據質量。細化來說，環境監測數據的集成包括抽取、分發、清洗、轉換與裝載等步驟，并將處理后的數據存儲于數據庫中，便于后續分析。在上述環境監測數據集成中，大數據技術的應用要點如下：第一，數據轉換，數據轉換是指對采集到的不同類型與格式的數據進行統一轉換，使其符合數據深入挖掘要求。通常來說，環境監測數據間的差異體現在編碼方面，監測人員可通過數據轉換方式，使其格式編碼保持一致。第二，數據補采，數據補采是指補充采集數據，使環境監測數據更為全面。在環境監測數據出現中斷或數據不完整現象時，即可進行補采，具體補采原則由數據類型決定。第三，數據清洗，在采集的環境監測數據中，存在不符合實際情況或不規則的數據，稱之為“臟數據”，需進行數據清洗，即將其從數據庫中剔除，避免“臟數據”影響后續處理結果。在“臟數據”清洗中，技術人員需根據環境監測與分析需求，制定合理且詳細的清洗規則，確保所有“臟數據”被清洗，避免正常數據被誤清洗。常用的清洗規則有取值范圍、拼寫檢查等。第四，采集監控，在數據采集與集成的過程中，需進行采集監控，對大數據平臺分布的采集、轉換及加載等任務進行監督管理，如監測加載任務狀態、啟停各項任務等，保障大數據平臺的規范有序進行，實現環境監測數據的智能化處理[2]。

1.3 支持環境監測數據的分析

在環境監測工作中，大數據技術可實現監測數據的深入挖掘與分析，技術人員可根據環境監測需求，在大數據平臺設定計算處理程序，根據集成的數據內容，進行批量處理，處理流程為數據建模→數據計算→數據分析，分析技術包括關聯分析、預測分析、聚類分析、概念描述及偏差檢測等，為監測人員提供全面的數據參考，協助環境決策。例如，在大氣、土壤及水體環境質量連續監測工作中，技術人員在大數據平臺設置預測模型，可根據集成的數據內容，對未來環境數據進行預測，用作環境容量核定、產業結構布局及資源開發利用的決策參考資料，使城市開發滿足保護生態環境的要求;在企業污染物監控中，技術人員可將大數據平臺設置生產排污工況監控功能，全面采集企業生產、排放、銷售等過程，為環境執法提供幫助。

2 大數據技術在環境監測中的應用案例

為明確大數據技術在環境監測中的應用要點，本文將以某流域水環境監測工作為例，深入探究大數據技術在數據采集、數據集成與數據分析方面的應用，為環境監測人員合理利用大數據技術提供成功經驗參考。

2.1 應用內容

根據大數據技術的應用方式，環境監測部門與軟件企業合作，共同構建水環境監測網絡與大數據平臺，包括數據采集、數據集成與數據分析三個模塊。

在數據采集模塊中，整合自動監測站與人工監測數據，采集流域的湖體、河道、地表水、飲用水及重點污染源等相關數據，實現流域水環境的全面監測。依托于大數據技術，構建水環境監測數據庫，數據內容包括自動監測與人工監測兩類，實現數據共享。在數據集成模塊中，技術人員根據水環境監測數據應用需求，在大數據平臺中設置數據轉換、數據補采、數據清洗、數據裝載與采集監控等功能，對采集的水環境監測數據進行初步處理，確保其符合數據深入挖掘要求，保障數據分析的有效性。在數據分析模塊中，技術人員根據水環境監測數據分析服務需求，設置數據挖掘功能、模型功能與報表中心功能，切實發揮大數據技術優勢，為水環境管理決策提供幫助。

其中，數據挖掘功能是指根據水環境相關的質量數據、水文數據與氣象數據，構建數學模型，評估數據變化規律，總結水質變化原因，為當地政府部門制定政策提供參考;模型功能是指構建水環境模型服務平臺，配置多個環境專業模型，為流域日常管理提供支持;報表中心功能是指對數據進行可視化處理，更為直觀地呈現數據變化規律，為水環境管理決策提供幫助，主要包括以下內容：①水質報表，包括湖水、地表水、飲用水等，可統計最新水質達標狀況、水質級別及歷年水質對比等;②河流報表，統計河流監測數據、綜合污染指數及空間變化數據等;③水源地報表，統計水源地監測數據與空間變化數據等，便于分析水源地質量;④湖庫質量，包括湖庫檢測數據、空間變化數據等;⑤水環境預警，對當前水質進行模擬評估，分析水質未來趨勢，進行預警與提示，引導環境監測部門做好預防。

2.2 應用成效

上述水環境監測網絡與大數據平臺應用后，可全面采集流域的湖體數據、河道數據、飲用水數據及重點污染源監測點的監測數據，實時掌握流域的水質、水量狀況，分析其污染狀況，實現水環境的精細化、規范化管理，為水環境污染綜合治理決策提供幫助。同時，在大數據技術應用后，解決了該流域水環境監管的信息“孤島”問題，提高流域水環境管理水平。可見，大數據技術在環境監測中優勢顯著，可推廣普及。

3 結論

綜上所述，在環境監測中，大數據技術可實現監測數據的分類采集、全面集成與深入分析，確保監測數據真實可靠。為保障大數據技術優勢的發揮，環境監測部門需構建大數據平臺，結合環境監測工作要求，設置數據采集功能、數據集成原則與深入分析技術，提高環境監測水平，創設良好生態環境。

參考文獻：

[1]張麗平.大數據在環境執法與監測中的運用探討[J].綠色環保建材，2020（06）：78+81.

[2]黃潤楠.探析大數據解析技術在大氣環境監測中的應用[J].農家參謀，2020（10）：195.

作者簡介：

周淵海（1985- ），男，江蘇省張家港市人，漢族，大學本科，工程師。

張卓（1986- ），女，江蘇省張家港市人，漢族，大學本科，工程師。