嚴 暉
(泰興市環境監測站,泰興 225400)
環境監測數據處理與分析
嚴 暉
(泰興市環境監測站,泰興 225400)
環境監測是保護環境的重要手段。隨著科技發展,監測數據的處理與分析也有了很大的進步,為人類的生活提供了有力的保障。本文從數據獲取出發,從多個角度對環境監測數據處理進行分析和研究,同時探討新型方法在監測數據領域的應用。
環境監測;監測數據;數據融合
環境監測是指間斷地或連續地測定環境中污染物的濃度,觀察、分析其變化和環境影響的過程。在此過程中對影響環境質量的各種因素進行實時或定期采樣、分析測量以發現異常的因素,即定期、定點對環境組成、因子和環境中污染物質的種類、濃度、分布的變化及影響進行監測和分析。
環境監測數據具有代表性和完整性,即所獲取的檢測數據能較全面地描述污染物的空間分布狀態。同時還具備準確性和可比性,即數據是經過精密儀器采集,并可通過一定的數據處理方法進行可比性分析驗證。
目前監測數據的獲取方面存在的問題主要有:數據采集過程中監測人員在數據篩選或處理時出現人為誤差;監測點布控沒有及時根據附近環境變化而更新布防監控;由于儀器設備過于陳舊而無法進行精密度采集或處理等等。產生以上問題的原因主要有[1]:
(1)主觀原因:監測人員本身業務素質較低,并不能將數據進行科學有效的分析和處理,使得部分數據喪失真實性,甚至不能用于評價工作。
(2)客觀原因:監測儀器配置和監測站點的布置過于陳舊,并未根據最新環境變化情況更新,使得環境監測數據不具有代表性,造成評價結果的偏差,無法進行科學的分析和處理。
由于監測數據與污染物空間分布和持續時間等因素有關,故在分析數據時可將數據按周期性規律進行統計分析,從而得出濃度隨時間變化的大致規律。同時再根據當地的水文條件、氣象變化和地形特征等因素進行綜合整理,生成更為詳盡的濃度等值線圖,便于數據的直觀性統計與分析[2]。
環境監測數據獲取條件較為復雜,在實際工作中可能由于監測主體或條件變化產生離群值的產生,如何正確區分離群值產生的原因并科學有效地去除離群值,是正確進行評價的重要依據[2]。
2.1.1 Q檢驗法
在同一組數據中,判斷最大值或最小值是否為異常值時采用Q檢驗法【Dixon(狄克遜)檢驗法】:將數據從大到小進行排列,根據測定次數進行計算Q值:


根據測定數據次數n和顯著性水平,查Dixon檢驗統計表, 將Q值與臨界值比較, 判斷x1與xn是否為離群值:若Q≤Q0.05,則可疑值為正常值;若Q0.05<Q≤Q0.01,則可疑值為偏離值,可做保留處理;若Q>Q0.01,則可疑值應予剔除。但該檢驗方法僅將可疑值與相鄰數據進行比較分析,具有一定的局限性[2]。
2.1.2 T檢驗法
對于各組測定數據平均值的一致性檢驗可采用( Grubbs)格拉布斯檢驗法,即T檢驗法:將監測數據從大到小排列,并計算其算術平均值和標準偏差s,計算T值[2]:

查T檢驗臨界表得T的臨界值,若T≥,則可疑數據x1或xn為異常值,應予剔除;反之則采取保留處理。依次反復計算直至無異常數據為止。
2.2.1 平均值與標準值的比較
用于檢查監測方法或操作過程是否存在較大系統誤差。對標樣進行n次監測,再利用T檢驗法比較監測結果與標準值是否存在顯著性差異[2]。

式中: 為標準值,為監測結果,s為標樣測定的標準偏差,n為標樣測定的次數。根據自由度和置信度P查得T值,與計算結果進行比較。若計算值大于T值,則存在系統誤差;若小于則是由偶然誤差引起的。環境監測中置信度一般為95%。
2.2.2 兩組平均值的比較
針對同一樣品的不同組數據產生平均值誤差問題,先假設兩組數據方差無明顯差異(分別為和計算T值[2]:


式中:s為合并方差,n為測定次數。用P=95%,=n1+n2-2查表所得T值小于計算值,則存在顯著性差異;若大于則無。
用于比較兩組數據方差s的一致性,又稱F檢驗:求出兩組數據標準方差的平均值和 ,計算
,與F分布表中查得一定自由度下的F值進行比較,若大于計算值則存在顯著性差異,若無則不存在。
在進行F檢驗法檢驗兩組數據的精密度是否有顯著性差異時,應先確定其類型:單邊檢驗指一組數據的方差不可能小于另一組數據的方差;而雙邊檢驗時,其顯著性水平為單邊檢驗時的2倍,置信度變為90%[2]。
對于n個監測室,用同一標準方法對同一個標準樣品作m次監測,測定結果用Cochran最大方差法檢驗。設各自標準偏差分別為s1,s2,…,sn,最大值記為smax,計算統計量[2]:

根據給定的顯著性水平,實驗室個數n,測定次數m,從數理統計表得最大方差檢驗臨界值Ca:C≤C0.05時表明各實驗室符合精密度要求;C>C0.01表明具有最大標準偏差的實驗室精密度不符合要求;C0.05<C≤C0.01表明具有最大標準偏差的實驗室精密度具有疑問,需再次考核以確認。
2.5.1 標準差分析[2]
(1)對各組數據(x1,y1)分別進行求和Ti、求差Di。將和值用于計算各監測實驗室數據分布的標準偏差分母除以2是由于和值中包括
兩個類似樣品的監測結果而含有兩倍的誤差[2]。將差值用于計算隨機標準偏差
若s=sr則表明實驗室不存在系統誤差。當s>sr時需進行方差分析:計算根據顯著性水平(0.05)和自由度查表,若F≤F0.05()時,表明在95%置信水平時,實驗室的系統誤差對分析結果的可比性無顯著性影響;若F>F0.05()時,表明實驗室的系統誤差對分析結果的可比性具有顯著性影響,應及時采取校正措施[2]。
數據融合技術是指利用計算機對按時序獲得的若干觀測信息,在一定準則下加以自動分析、綜合,以完成所需的決策和評估任務而進行的信息處理技術。
人類通過人體器官感受外部信息,轉換成生物電,并通過人的中樞神經傳送到大腦進行綜合分析處理,然后對外面環境進行判斷和控制。而多傳感器數據融合的基本原理就如同人腦綜合處理所感受的信息:利用多個傳感器感測外部環境信息,再把多個傳感器的數據根據某種準則進行組合,以獲得對被測對象的一致性解釋和描述,從而得出更為準確的可信的結論。
面對大量的環境監測任務,如何科學有效地獲取數據信息是最為關鍵的一步,融合技術為我們提供了強有力的支持,然而這些數據在采集、利用過程中,由于傳感器采集數據的特征性差異,造成數據存在模糊性、互補性或矛盾性。如何有效并準確地處理傳感器所采集的數據是以后研究的重點,而這必將為環境監測數據研究帶來重大性突破。
20世紀80年代,代表性的數據融合模型有[3-6]:英國情報環模型、美國JDL模型和Boyd控制環模型。20世紀90年代提出的“改進的JDL模型”[3]在軍事領域應用十分廣泛,還有將融合過程劃分成觀測、定位、決策、行動及傳感器管理等階段,并組成一個大循環的“綜合模型”(Omnibus Model)[6]等。但由于以上模型均未引入自學習和多級反饋機制,使得其自適應性和自我完善功能有待提高。
目前融合算法主要有: Kalman濾波器的改進方法[7,8]和“數值-語言”混雜條件下的“知識發現和數據挖掘”(KDDM)[7]方法和面向分布式數據融合的支持向量機(SVM)[9]方法等。
由于Kalman 濾波方法是解決最優化濾波問題的經典方法,故常用于從被噪聲污染的觀測信號中消除噪聲影響,可將Kalman 濾波方法用于環境采樣數據真實值的估計,在此我們以大氣監測為例,簡單探討Kalman 濾波方法在環境監測方面的應用[10]。
(1)建立大氣變化狀態轉移矩陣。根據環境科學相關領域知識,結合傳感器采集的大氣參數,建立關于這些參數的大氣參數狀態轉移矩陣。利用該矩陣,研究各項大氣參數的變化情況。
(2)根據(1)中得到的觀測目標屬性特征,對來自各傳感器的,反映不同污染現象的觀測數據進行分析,分解出反映各種不同的污染現象的參數向量值。
(3)根據大氣變化狀態轉移矩陣,利用各傳感器采集的大氣參數觀察值,對各大氣采樣站點的環境進行最優化估計,得到各項參數的最優化估計值。
(1)對環境監測數據的可疑值判斷和取舍方法進行了研究,同時還探討了監測結果的統計方法和實驗室監測質量的統計方法。
(2)簡單展望了未來數據融合技術在環境監測方面的應用,并以大氣監測為例進行分析。
[1] 葉萍. 淺議環境監測數據的審核[J]. 中國環境管理干部學院學報,2010,(2):45-46.
[2] 馬彥峰,張勇. 環境監測數據結果評價[J]. 環境保護科學,2010,(1):23-25.
[3] Linas J, Bowman C, Rogova G, et al. Revisiting the JDL data fusion model Ⅱ[C]// Proceedings of the Seventh InternationalConference on Information Fusion. Stockholm, Sweden,2004, 2:1218-1230.
[4] Kalandros M K, Trailovic L, Pao L Y, et al. Tutorial on multisensor management and fusion algorithms for target tracking[C]//Proceedings of the 2004 American Control Conference. Boston,Massachusetts, 2004,5:4734-4748.
[5] 何友,王國宏,陸大金等. 多傳感器信息融合及應用[M].北京: 電子工業出版社,2000.
[6] 潘泉,于昕,程詠梅等. 信息融合理論的基本方法與進展[J]. 自動化學報,2003,29(4): 599-615.
[7] Gao J B, Harris C J. Some remarks on Kalman filters for the multisensor fusion[J]. Information Fusion,2002,3(3):191-201.
[8] Sun Shuli, Deng Zili. Multi-sensor optimal information fusion Kalman filter[J]. Automatica,2004,40(6): 1017-1023.
[9] Challa S, Palaniswami M, Shilton A. Distributed data fusion using support vector machines[C]//Proceedings of the 5th Intl. Conf. on Information Fusion,2002,2:881-885.
[10] 邵 斌,蔣云良,張建宏. 面向環境監測數據的融合方法研究[J]. 心智與計算,2008,2(1):42-47 .
Processing and analysis on environmental monitoring data
Yan Hui
(Taixing Environmental Monitoring Station,Taixing,225400)
Environmental monitoring is an important means of protecting environment.With the development of science and technology, processing and analysis of monitor in data has been great improved,which prodive a strong protection for human beings. Collecting data was studied in this article,as well as analysis and research on environmental monitoring data on multiple perspectives,and investigated new methods used in the field of monitoring data.
environmental monitoring,monitoring data,data fusion
X708
A
1674-6252(2012)03-0051-04