供水調度實時監測數據的預處理

【摘要】目前供水調度實時監測系統在城市供水生產調度中得到了廣泛及深入的應用，對城市供水安全起到了至關重要的作用。實時監測數據是供水調度工作運行的依據，因此實時監測數據的準確性就決定了供水調度工作的成敗，也決定了城市供水的安全。本文針對以上問題提出對供水調度實時監測出現的異常數據進行判讀、剔除及修正等一系列預處理，有效保證了實時監測數據的準確性，為供水調度工作提供了可靠的信息來源。

【關鍵字】供水調度；實時監測數據；預處理

前言

近年來隨著供水調度實時信息系統的廣泛應用，使供水生產調度管理實現了供水系統從原水、水廠、管網、用戶全過程的覆蓋，提高了供水生產調度管理水平。但是調度數據實時在線監測是在復雜的現場條件下進行的，信號傳感器易受到現場溫度、濕度、周圍無線頻率干擾的影響，同時測量信號在傳輸過程中不可避免會存在同步變差、傳輸錯誤和信道噪聲等問題，造成監測數據失真。

調度數據實時信號的失真以及誤差，對在線監測數據的準確性有一定影響，會對供水調度工作造成影響，供水調度水力模型的在線運算，調度預警等系統都必須依賴實時系統數據的準確，一旦實時數據發生誤差或失真，將直接影響上述系統運算的準確性和可靠性，最終導致對供水調度工況的誤判。

1、調度實時監測數據預處理的意義

無論多么高精度的儀器，測量誤差（即噪聲）總是不可避免的。這種誤差包括各種客觀條件的影響，如測量過程，測量條件和測量儀器。由于在線監測數據的變化性。即可從觀測數據之間變化量判斷變形造成的原因。但對于變化量很小的數據，很難辨別兩次監測獲得的變化量究竟是變形造成的，還是受客觀條件影響造成的，以致不能發現變形信息或出現假的信息，從而造成漏報或虛報。因此，在變形分析和預報之前進行觀測數據的預處理工作，來識別干擾、排除干擾和突出信息。通過調度實時監測數據預處理系統建立，實現了在線監測數據的分析預處理，保證分析診斷的準確性。本系統從初始數據源出發，結合數據預處理的常規流程方法，并把數據融合的方法引入到數據預處理的過程中，提出了數據的循環預處理模式。通過該模式可對數據質量的提高提供更好的分析方法，對預測結果的質量起到了重要保證。

2、調度實時監測數據預處理

2.1 相關調度數據篩選

本系統涉及的數據為供水調度的監測數據，主要包括以下數據：

水廠監測數據：水廠的壓力、水質、流量等信息；

泵站監測數據：上海市泵站的壓力、開停信息；

管網監測點數據：主要監測點，數據類型為壓力、水質、流量。

2.2 關聯數據的接入

結合篩選出的監測數據，通過監測點與實時數據的關聯關系從實時數據接口中調用相應的在線監測數據。

2.3 萊茵達準則

萊茵達準則可將數值過高或過低的數據剔除，可提高處理主流程獲取到的數據的可利用度。

萊茵達準則，即3σ準則，在測量中，若已采用措施消除系統誤差，或已將其減至微小量，測量數據中只含隨機誤差，且服從正態分布，則可認為殘差是以0.9973的概率出現在正常范圍之內，出現在正常范圍以外的概率僅為0.0027，相當微小，可以認為是不可能事件，這就有理由判定它是含有粗差的觀測值，可將該觀測值剔除。

2.4 具體計算過程如下所示：

通過分析監測點大量的原始數據，計算標準差，算數平均值，生成正態分布公式。

再對某個時刻的觀測數據Xi，若滿足，其中為標準差，則認為數據Xi可疑，應剔除。

觀測值正太分布用樣本標準差S的無偏估計^S代替S，可以減小脈沖干擾和采樣元件引起的粗大誤差對在線監測數據的影響。但這是一種處理平穩正態序列的方法，對于變化波動很小的壓力變化等數據是合適的，而對于變化趨勢與外界影響因素的變化相關性很大的序列，有可能不滿足平穩條件，會出現錯判或漏判。因壓力屬于一種相對平穩的壓力波動，因此我們采用的是無偏估計^S。

2.5 經驗數據的獲取與驗證

經過對大量歷史數據的分析和挖掘，發現通過數據的曲線可以捕獲一些經驗數據，該數據可為后期的數據預處理模型提供參照依據。

用于分析的歷史數據主要包括： 2014、2015年某市管網監測點數據； 2014、2015年某市全年突發事件管網監測點變化數據。經驗數據取值具體如下：

30kpa

一分鐘，數據變化超過30kpa 視為一次突變。該經驗數據適合絕大多數壓力監測數據。

該經驗數據的獲取是經過對大量的壓力檢測數據分析統計，發現某市主要監測點的突變數據中，一分鐘內變化超過30kpa的數據占異常總數的99%以上，因此我們將突變的閾值設置為30Kpa。

2分鐘

一分鐘內壓力的驟增驟減均視為毛刺。結合現狀分析大部分毛刺均在一分鐘以內可辨識出，但也存在略大于一分鐘的情況。

為準確提出判斷條件，對監測數據的歷史毛刺數據做分析統計，分析毛刺數據兩次突變的時間間隔，發現毛刺時間間隔在1分鐘內占異常總數的80%以上，在1.5分鐘的概率為98%以上。為保證數據預處理的結果不影響系統的判斷分析，需盡可能的確保篩選出所有毛刺數據，同時保證數據的實效性，故將閾值設置為2分鐘。

10次數據

連續的10次判斷，監測數據的數值一直未變化，判斷為數據中斷。

對歷史事故進行統計分析，發現判斷數據中斷的時間越早，對事故的處理越及時，事故造成的影響就越小。在分析實時數據時發現，數據中斷存在兩種情況：一種是網絡信號不穩定造成的數據傳輸延遲；另一種是事故造成數據中斷。前一種的延遲時間較短，影響較?。缓笠环N的數據中斷時間較長，影響較大。為盡量避免第一種情況和及時捕獲第二種情況，對實時數據進行分析后，將判斷時間設置為10分鐘，也就是10次數據。

3、數據預處理步驟

基于監測點大量的實時數據與歷史數據的分析、挖掘，形成了一套較為完整的數據預處理體系，可初步判斷出異常數據，具體步驟如下：

3.1 數據獲取

SCADA監測源數據存儲在SQL Server數據庫中，該數據每分鐘更新一次；由于Oracle的數據處理效率較SQL Server更好，因此需將源數據通過數據接口關聯到Oracle數據庫上。

為滿足數據處理流程的要求和保證數據處理的質量，需要建原始數據表、歷史表、中間過程表、結果數據表、結果數據歷史表等。

3.2 數據判斷分析

數據分析主要是判斷實時數據是否存在異常以及判斷數據的異常類型。由于不同的異常類型其分析方法不同，因此需合理安排分析步驟，經過研究最終采用以下步驟：假設進行數據分析的監測點為X1。

3.3 判斷數據是否中斷

在歷史數據庫中獲取監測點X1最新的連續10條數據，判斷這10條記錄的監測值是否發生變化，若發生變化則判斷為未發生中斷數據，反之則為中斷數據，將該點的實時數據作為中斷數據處理。

3.4監測數據的分類

監測點的數據類型有近10余種，每類數據異常的閾值均不相同，同時為高效的分析數據，因此需對監測數據按照類型進行分類。

3.5 判斷數據類型

按照監測類型分為需要處理的類型和不需要處理的類型。需要處理監測類型包括：壓力、瞬時流量、運行狀態（該類型會逐步增加）；剩余的數據則為不需要處理的類型。

對于需要處理的監測類型，取監測點X1前后的各兩條數據，判斷實時數據是否超出閾值，分析超出閾值情況的點，確認其異常類型，是單次突變或毛刺數據。

3.6 數據賦值

需要做數據賦值的有兩類數據：殘差數據、毛刺數據，對于這兩類數據我們采用滑動開窗的方法對其賦值。

建立一個長度為5的滑動窗口，對在線監測數據序列滑動處理后可得到一個長度為Ⅳ的序列，對該序列進行處理，由處理結果構成的新序列即為濾波結果。處理算法如下。

（1）中值濾波 。將窗內的序列排序取出中間結果，由中間結果構成的序列即為濾波結果。該方法能有效地克服偶然因素引起的波動或采樣單元不穩定引起誤碼等脈沖干擾。與上述的拉氏準則萊茵達準則類似，中值濾波對一般慢變信號效果較好，但對于波動較大的信號適應性較差。

（2）平均濾波。將窗內的數據求算術平均值作為處理結果。該方法簡單實用，對于服從正態分布的隨機干擾，算術平均值是最佳估算值。

（3）復合濾波。實際系統中，隨機干擾可能不是單一的，這時可將以上的兩種方法結合使用。先將Ⅳ個數據排序形成：

3.7 數據入庫

經過上述處理過程，X1已完成數據的預處理，最終將該條數據存入數據預處理結果數據庫中。

輸出內容包括：字段包括數據的唯一編碼、數據獲取的時間、處理前的數值、處理后的數值、較前一分鐘數據的變化量、數值多長時間內未變化。

4、總結

近年來上海市大力投資在線監測工程，截止2015年逐步完成上海主要水廠、泵站、水源地、監測點等的在線監測設備的布局。這些民生工程的建設極大的改善了上海市民日常用水水質，保障了市民健康用水、衛生用水的基本需求。但是在線監測是在復雜的現場條件下進行的，信號傳感器易受到現場外界環境溫度、濕度的影響，同時測量信號在傳輸過程中不可避免會存在同步變差、傳輸錯誤和信道噪聲等問題，造成監測數據失真。信號的失真以及誤差，對在線監測數據的準確性有一定影響，同時對供水調度工作造成影響。

本文通過采用異常數據判讀準則及經驗數據對實時監測數據中存在的異常數據進行判讀、剔除及數據賦值修正等預處理分析，有效的保證了供水調度的準確性、及時性與安全性，提高城市供水生產調度管理水平，提高城市供水的安全保障能力。

參考文獻：

[1]錢尚瑋.剔除異常數據的幾種統計檢驗方法.網絡資源，29～36.