張坤

摘要:因為經濟以及信息技術的高度發展,在各行各業的工作當中,對于信息化及網絡化的應用已經非常普及,為行業發展提供了非常多的便利,同時也為改革創新提供了條件和基礎。其中,基礎大數據的環境監測與治理,使得環境監測以及治理工作有了很大的提升。本文針對大數據的環境監測與治理給出了詳細的分析。
關鍵詞:大數據;環境監測;治理
在當前的大數據發展環境下,環境監測以及治理工作,在傳統模式基礎之上進行了有效的創新、改革,借助收集信息以及分析處理數據等一系列功能,大數據為環境監測與治理提供了非常細致并且精準的監測信息,使得環境監測與治理的效率有了很大的提升。所以,基于大數據的環境監測與治理工作,要重要給予高度的重視,深入探究,以便能夠通過大數據,使環境監測與治理工作發揮出更大的價值作用。
一、大數據模型的環境監測應用
(一)技術路線
與具體情況相結合,通過大數據技術對當前的環境監測數據進行分析,可以設計出非常有效的技術方案,在這些方案當中,針對現有的系統實施了調研,并針對環境監測數據集成系統以及各項數據集成框架實施具體的分析,對其中觀測數據進行了采集。例如:浮標傳感設備觀測數據以及遙感觀測數據等,為了對生成的元數據文檔給予高質量的保障,在對本體語義框架以及數據模型進行選用的過程中,要結合具體情況和要求,挑選適應性和實用性強的[1]。
借助大數據,對大數據計算模型給予確立,確立MapReduce的計算模型以外,其他技術模型也要集成,這樣在不同場景當中可以靈活應用。通過合理平臺的挑選,可以進行開源數據虛擬化平臺的有效測試。當構建虛擬數據庫的工作完成之后,要結合元數據實施數學建模工作,這樣建模展現出來的合理性會更強,同時還要結合本體語義框架實際的語義映射,在完成主數據庫架構的建設工作之后,才可構建大數據的集成應用[2]。
(二)實時監測與及時響應
對于環境進行實時監測,可以借助大數據技術實現。利用大數據技術,可以針對大量的信息數據進行即時采集,并給予迅速的分析和處理,進而推進了各項任務的完成效率。此外,利用管理體系的有效構建,通過先進技術的應用,對數據信息進行挖掘,可以在非常短的時間內挖掘出內在知識。結合計算機的模式進行分析,對于信息數據的處理,可以通過strom,使計算模型實現。為了對不同的應用場景進行適應適應,還可以結合Spark,這樣同時滿足了實時性要求以及寫入頻率提出的要求。
數據的采集,還要結合類型不同的環境數據,將可靠性以及精準性強的數據進行篩選,之后在對應的數據共享平臺當中存儲。根據數據的生命周期,將收集到的數據分為目前應用數據以及歷史數據。同時,在集成多源異構數據的過程中,為了解決存在的問題,要擴展本體語義框架以及原數據技術,并且有效應用兩項技術,可以對數據最終的分析精準性給予保障。
(三)處理數據和共享數據
在對環境監測與治理的過程中,對于大數據的應用,需要對采集到的數據信息實際實施檢測之后,再結合相關部門的信息,實施綜合分析考量。以往傳統模式當中的部門,采用一對一處理數據的形式,已經非常落后,現在需要與多個部門的信息進行聯合,開展綜合探究工作,才能對資源的共享性給予保障。
二、環境監測與治理的數據處理。
(一)清理數據
在環境監測數據庫當中,存在的臟數據,會對數據挖掘以及分析工作產生不利的影響,從而使數據的可靠性下降,因此要及時消除臟數據。借助相應的手段將數據消除即可,例如:對數據庫當中的缺失值進行填充,借助平滑處理的形式,對噪音數據處理,將識別出的離群點刪除,將不一致的數據給予糾正。
針對數據的有效清理,要先對存在的偏差進行監測。找出存在的離群點以及噪音之后,針對存在的偏差數據,借助數據清理的形式開展清洗工作。其中要分開實施,缺失值、離群點以及噪聲數據的處理工作,才能體現出針對性以及適應性。對于數據的清理,還需要對數據信息進行糾正,其中可利用自動化數據的變換實現。
(二)集成數據
環境監測數據,來自于大量的數據源,因此,需要對不同的數據來源集成,在有差異性的數據庫當中,數據產生的冗余以及不一致性會因為部分屬性標識問題產生影響,還有一些屬性問題會受到其他屬性產生的影響,所以針對數據的分析要結合數據集成產生的冗余問題給予解決。
解決數據冗余問題,要對數據實施有效分析,針對兩個已經明確的屬性,判斷兩個屬性之間的相關程度,明確一個屬性是否可包含另一屬性,這樣便可借助應用分析法對其實施判斷。針對標稱性數據,要對兩個屬性是否存在關聯給予驗證,也可以借助卡方檢驗的形式給予驗證。
三、大數據下環境監測與治理的改進措施
(一)強化組織合作,提升技術水平
首先,針對環境保護給予的重視程度越來越大,因此社會當中出現了很多第三方環境監測機構,針對這些機構,國家環保部門需要給予相應的監督和管控并提升合作,借助大數據網絡平臺,對機構之間的資源數據進行共享,有益于環境監測與治理技術的及時更新和改進。同時,也使得環境與治理技術水平得以提高,將大學數據庫當中的信息資源容量增加,使得相關數據更加精準,可以為環境監測與治理的決策制定提供基礎;其次,環保機構和企業,與學校之間的溝通要有所強化,以便能夠引進更多的技術人才加入到環保監測與治理工作中。針對在職人員要給予培訓和引導,使專業技術人員能夠對當前大數據環境下監測與治理工作提出的要求給予滿足。
四、應用案例
大數據技術對環境進行監測的流程圖如圖一所示
某區域為重點環境監測區域,當地政府對大氣監測給予了高度的重視,其中監測平臺將環境檢測、環境辦公以及環境檢查作為相應的基礎,結合具體的情況,對一系列的監測措施給予制定,每天都會預測預報空氣質量,利用空氣質量自動檢測系統便可以查看到空氣質量以及當日的排名。對于該區域的管理,通過網絡化實時管理,可以對霧霾等天氣情況有詳細的了解,同時對眾多微站進行了布設,對污染源頭實施全面有效的監控。
五、結束語
總之,針對環境監測與治理工作開展當中,需要對相應的數據進行收集,并開展有效處理。其中,借助大數據技術實施環境監測工作,將以往使用的數據檢索形式改變,拋棄原來的數據檢索形式之后,再借助大數據技術實施系統的監測以及分析工作,當產生大數據思維方式之后,可以對環境污染等突發情況重點關注,對收集到的數據信息綜合分析,這樣可以形成非常有效的大數據環境監測系統,進而開展具體的治理工作。
參考文獻:
[1]鈕卿[1], 程琳[2]? . 基于環境保護大數據的監測與智能診斷研究[J]. 環境科學與管理, 2018.
[2]王明明, 張曉妍. 輻射環境監測領域面向大數據的應急監測數據管理與利用的探討[J]. 環境保護與循環經濟, 2016(4).