環境監測中數據流處理技術的應用分析

黃善邦

【摘要】環境監測是對影響環境的各種因素進行分析研究的措施，是一種利用和保護環境資源的有力舉措。在環境監測中使用數據流處理技術可以有效提升環境監測的科學性和技術性，本文通過對數據流技術進行分析，探討一下其在環境監測中的應用。

【關鍵詞】環境保護；監測技術；數據算法

引言

在環境監測中往往使用多種技術手段，這些技術手段都是為環境監測做貢獻的，環境監測的目的是通過對影響環境變化的不利因素進行監測和分析，再采取積極性措施去保護環境，保護我們生存的環境不因破壞性因素而導致損壞和發生巨大變化。

1、環境保護的積極意義

環境保護是一項專門服務于自然環境和生存環境的職業，環境監測是通過對環境中對環境造成污染和破壞的值進行測定和計算，得出環境污染和破壞的程度。造成環境污染和破壞的因素有很多，其中大部分來源自人類活動。環境監測的監測內容主要有各種生活物質的排放、工業活動造成的廢氣廢水排放。根據環境監測得出的數據，來測定環境變化的實時性以及造成環境變化的原因。再根據造成環境變化的原因，進而分析出環境污染治理的措施和方案，為環境的保護提供科學的數據資料。隨著我們生活環境的不斷變化，在變化趨勢上呈現出破壞與保護并存的局面，環境的破壞導致我們生活環境的惡化，這種惡化已造成我們的生活出現了困擾，環境監測通過監測技術手段為環境保護的開展打下了基礎。

2、環境監測的主要內容

環境監測在分類上分為環境質量監測和環境污染監測。其中環境質量監測是對生態環境的一種監測措施，污染源監測是對人類生活環境的監測。在環境監測上主要運用到的技術手段有物理理論、化學理論、光學理論、生物理論等。在早期的環境監測手段中，化學手段是最常用的技術措施，這是因為污染物往往與化學物質易發生反應。隨著導致環境污染因素的復雜化，不僅僅化學物質導致環境污染，噪聲、空氣、光波等污染因素的加入，使環境監測的監測范圍進一步的擴大，監測難度的增加，都大大促進了環境監測技術措施的發展。這期間隨著計算機技術、信息化技術、生物學的發展，環境監測的技術手段在發展上呈現出自動化、智能化的趨勢。在我國環境監測的主要內容有：自然因素、污染因素、人類活動因素。環境監測通過監測環境的變化、收集變化的數據、分析環境變化的因素、研究保護環境的措施，可以有效的為環境的保護提供技術支撐。

3、數據流處理技術的原理

3.1 數據流技術基本特點

數據流處理技術是通過數據流技術，建立一個數據模型，再通過這個模型進行數據的分析、比對，進而得出詳細的研究結果。在環境監測中的數據流可以使無序的，也可以是無界的，基本上數據流呈現出流動性和不固定性。在數據流中，各項數據可以是各種狀態，但是它一定要符合某一個數據項的基本組合。在環境監測中的數據項都是抽象的實例，都是有存在依據的。所謂數據流就是一個隨著時間的發展而發展變化的數據元祖，且這個元祖由時間順序而有先后順序。數據流具有以下幾個特征：1.無限性.在數據流中無論數據怎么增加都是沒有上限的，且隨著數據的增加，管理員往往采用數據壓縮的方式儲存數據。2.動態性.數據流中的數據隨著時間和環境的變化呈現出動態性的特征，具有非固定性和不可知性。3.瞬間性.數據流中的數據往往發生于一瞬之間，雖然導致這一瞬間的因素有多種，除非進行了數據記錄。

3.2 分布式數據流技術

在數據流的架構上有集中式和分布式之分。集中式數據流處理方式是在計算機系統軟硬件的支持下進行的，對計算機的硬件和軟件要求要高，在處理大數據時往往變得很慢，不利于環境監測工作的開展。在環境監測中使用分布式數據流技術是有著優勢的。首先環境監測的范圍廣，涉及到的技術手段眾多，若采用集中式架構，往往在處理時出現延時性，不利于數據流瞬時性特征的收集和保存。采用分布式數據流系統，既可以在架構時，為環境監測系統的鋪設節省一些設備，又可以大大優化環境監測的工作效率。分布式數據架構方式具有操作簡單、系統過載保護上具有更好的優勢。

3.3 數據流處理方式的算法

在數據流處理方式中需要使用J&ACOUNT和J&AMAX算法。其中J&ACOUNT算法是J-A算法的一種，在計算方式上采用增量的方式，使用COUNT方式進行數據的查詢和選擇，具有直接性和間接性，在計算方式上較傳統計算方式具有先進性優勢，傳統的計算方式較為繁瑣，且查詢方式復雜。在滑動窗口中有著重復性操作，大大增加了數據流處理系統的計算壓力和儲存壓力。

使用J&ACOUNT計算方式，在滑動窗口式可以使用COUNT直接定義到關鍵部分，直接運算并得出結果，大大提高了系統的工作效率。其中在編輯運算程序中能夠對密度網格進行調整，編寫應用程序算法為：

Procedure D-Stream

t；

Initialize an empty hash table grid_list；

While data stream is active do

Read record x=（x1，x2，x3.....xd）；

If（g not in grid_list）insert g to grid_list；

Update the characteristic vector of g；

If t=gap then

Call initial_clustering（grid_list）；

End if

在數據流每一個計算流程中，J&ACOUNT計算方式便會將數據放置對應多維空間中的離散密度網格，然后更新密度網格中的特征向量。離線部分在每間隔gap時間參數段內，自動調整時間動態參數，使其最后計算結果滿足周期調整簇。

4、結語

環境監測是環境保護中所必要的一個環節，環境監測為環境保護提供了必要的數據資料和分析結果，為環境保護的開展提供了保護方向。在環境監測上，使用數據流分析技術，可以使環境監測的結果更為準確和科學，使環境監測工作真正的在環境保護中發揮出應有的必要性作用。