基于半定長滑動窗口數據的供水管網漏損檢測

張英杰，李佳林，孫慶帥，劉華亮，羅立強，廖杰

［1.湖南大學工業節能控制與評估研究所，湖南長沙 410013；2.湖南省水計量信息工程技術研究中心，湖南常德 415000；2.湖南常德牌水表制造有限公司，湖南常德415199］

水是居民日常生活中不可或缺的資源，在城鎮供水系統中通過高度復雜的水管網絡進行輸送.管網漏損是供水過程中面臨的主要挑戰，引發漏損的原因有管道接口漏損、管道和配件老化以及外力破壞等［1］.漏損分為明漏、暗漏和背景漏損，明漏即地表溢水或可見的水管網漏損，呈現出大流量現象；暗漏即在地表以下需要借助相關測漏設備檢測的水管網漏損；背景漏損即現有技術手段和措施很難或無法檢測到的水管網漏損［2］.城鎮供水系統中的漏損率普遍在15%～20%，其中有相當一部分城市水管網實際漏損率在20%以上［3］.根據《城鎮供水管網漏損控制及評定標準》（CJJ92—2016），漏損率劃分為10%和12%兩級，但是目前大部分城市未達到此標準，因此降低供水管網漏損率迫在眉睫.

針對供水管網漏損，國內外學者提出了多種檢測方法.常見的漏損檢測方法可分為三類：基于瞬態的方法、基于模型的方法和數據驅動的方法［4］.基于瞬態的方法通常從管道網絡內測量或者模擬的瞬態壓力數據中提取漏損信息［5］，但檢測瞬態壓力數據需要高頻率傳感器，且可能會受到背景噪聲或水管網中其他事件的影響［6］，因此基于瞬態信息檢測的方法大多不能在實際應用中普及［5］.基于模型的方法通常是針對供水管網系統建立數學模型［6］，但是構建準確的水力模型具有較高的挑戰，且模型參數受供水管道的運行情況影響具有較高的不確定性.

數據驅動方法在近十年來得到了充分研究和廣泛應用，并逐漸占據主導地位［4］.基于數據驅動的方法通常對供水管網中的流量或壓力數據進行信息抓取和分析，當前大多數數據驅動的漏損檢測方法包括預測和分類兩步.首先，預測過程旨在根據管網的歷史數據建立預測模型來生成預測數據.其中，神經網絡具有能夠逼近任意數據的特點，可以在不明確參數的情況下訓練神經網絡，有利于復雜網絡管網數據預測［7-8］.此外，非線性卡爾曼濾波、預測卡爾曼濾波、多項式回歸、加權最小二乘期望最大化［9-12］也能夠達到較好的效果.但是基于預測的方法對于小漏損的檢測不敏感.分類則是將預測數據與實際數據對比來判斷是否漏損.分類方法有集成卷積神經網絡、關聯神經網絡和人工免疫網絡等［13-15］，利用漏損數據偏差于正常值來對比，但該類方法需要大量的歷史數據且運算復雜度較高.不同于預測-分類法，聚類方法中多數不需要預測過程，如貝葉斯網絡及K-近鄰（KNN）算法［16-17］，但該種方法假設壓力傳感器安裝在管網內部來檢測漏損，而該假設不適用于實際系統.Wu等［18］在2016年提出了一種基于聚類分析的漏損檢測方法，該方法通過判斷流量數據之間的相似性來進行聚類分析實現漏損檢測.

基于數據驅動的方法通常對數據有較高的要求，但實際獲取到的數據因為多種因素不一定保持穩定，存在許多無效的數據，如設備故障事件引發的錯誤數據、丟失的數據和冗余數據等情況，也可能改變供水管網的水利條件，這些因素都會增加數據建模難度，導致預測精確度下降［12］.此外，不論是預測、分類還是聚類方法都需要大量歷史數據，充足的數據可以使模型準確地捕捉到監測數據的變化，這可能需要長期的監測記錄才能滿足模型檢測精度要求.

Wu等［4］在2018年提出改進的聚類方法，即依賴不同時刻下多個傳感器數據的相關性，使用固定時間窗口內的數據來檢測異常值.改進后的方法降低了模型對歷史數據量的需求，但是對比改進前的方法在檢出率上沒有提升，且在閾值等參數上依舊有較多的人為干預.為了彌補該方法的不足，本文提出了基于半定長滑動窗口數據的供水管網漏損檢測方法，旨在針對Wu 等［4］提出的方法進行兩個方面的提升：1）減少聚類方法中參數設置的人為干預，根據數據域的分布特性自適應選擇參數，提高方法的泛化性；2）改進定長滑動窗口，提出半定長窗口檢測方法以提高漏損數據的檢出率.

1 基于聚類的漏損檢測方法

為了有效解決在具有多個出水口的獨立計量區域（District Metering Area，DMA）中檢測漏損的問題，Wu 等［4］提出了一種基于聚類的漏損檢測方法.該方法基于Rodriguez 和Laio［19］的聚類算法理論，首先對獲取到的供水管網流量計數據進行重構，然后進行聚類分析，算法認為如果在特定時間發生的異常事件對應的向量與重構矩陣中其他向量相似度較低，那么這些向量被判定為異常值［11］.因此，異常向量檢測被轉化為聚類分析問題.

數據重構即從不同流量傳感器獲取到時序流量數據轉換成矩陣X，如式（1）所示：

式中：Atn表示流量計n在t時刻的流量值，t值由流量計的采樣頻率和采樣時長決定.矩陣中的每一行代表同一時刻不同流量計的流量數據,每一列代表不同時刻同一流量計的時序流量數據.

依據文獻［19］，若存在向量局部密度低且遠離其他較高密度的向量，則該向量被視為異常向量.因此，針對重構矩陣中第i個向量需要計算相應的兩個參數：局部密度ρi和第i個向量與高密度向量的最小距離δi，參數的計算均基于向量之間的余弦距離.每個向量的局部密度定義為式（2）：

式中：當x＜0 時，x(x)=1，反之x(x)=0；dc是截斷距離.距離δi通過計算第i個向量和任何其他具有較高局部密度的向量之間的最小距離來測量，定義為式（3）：

最高密度點的距離δi取其與其他向量之間距離的最大值，定義為式（4）：

為了降低算法的數據量要求,文獻[4]的漏損檢測方法提出使用一天的時序數據進行重構并對模型進行訓練.該方法首先將局部密度最低的向量根據距離降序排列,引入百分比參數來剔除歷史數據矩陣中的異常向量,例如當α1為0.03,則將在降序排列后的前3%的歷史數據向量認定為異常向量,剩余的向量構成檢測矩陣.接著,將檢測矩陣應用于檢測流量計實時測量的流量值,并引入百分比參數來判斷該時刻流量值是否為異常向量.檢測矩陣隨著漏損檢測的過程不斷更新,若當前時刻流量被識別為異常向量,則移除異常向量且窗口保持不變;否則將其添加在窗口末尾,摒棄窗口頭部向量以保持檢測矩陣長度不變.

值得注意的是，文獻［19］提出的漏損檢測算法的準確性很大程度上取決于閾值dc的選擇.然而，依據經驗選取的閾值dc沒有充分考慮數據的分布特性，引入了較多的人為干預.同時，固定的時間窗口容易因為信息不足導致誤判，對小漏損數據也不敏感.因此，本文將使用數據自適應的方式獲取閾值dc來減少人為干預，并使用半定長滑動窗口策略來識別異常向量提高漏損檢出率.

2 漏損檢測算法

2.1 基于數據域的自適應閾值選擇

供水管網漏損識別過程中，為了避免在參數閾值dc選取中過多引入人為干預，并且使該參數能充分匹配數據的分布特性，讓選取結果更加客觀、合理，依據文獻［20］，本文引入熵函數使閾值dc自適應地進行選取，為優化dc的取值提供了方法.信息熵是度量信息量的方式.矩陣中的向量越相似，信息熵越低；反之信息熵越高［21］.已知矩陣中｛A1，A2，…，At｝，則每個向量的信息量為：

根據向量的信息量，該矩陣中數據的熵值H可由如下公式求解：

如圖1 所示，自左到右分別為給定數據的真實分布、利用文獻［4］中算法的聚類結果和引入信息熵修正的聚類結果.圖1 的結果表明，基于信息熵的改進聚類算法比之前的算法更接近原始數據的聚類結果，說明該算法根據數據分布特性自適應地選取閾值dc有助于提高異常向量檢出率.

圖1 數據聚類分布圖Fig.1 Data clustering distribution map

2.2 半定長滑動窗口方法

2.2.1 半定長滑動窗口

文獻［4］使用的窗口大小固定、時間較短，容易因為信息不足導致誤判，而窗口越長信息越多，數據特征也越多，檢測效果就越好.同時窗口越長，窗口中包含的冗余信息越多，對隨機誤差抑制效果越好［22］.在基于動態可調衰減滑動窗口的變速數據流聚類算法中提到滑動窗口可以及時淘汰歷史數據，該方法通過只關注近期數據來達到改善數據聚類效果的目的，在衰減滑動窗口方法中給不同數據賦予不同的權重，其取決于數據時間的遠近，數據獲取時間越早，則權重越小；反之，數據越晚即離檢測數據越近，權重越大［23］.

圖2 展示了檢測窗口相對小時（虛線框1），使用基于數據域的CFSFDP方法未能檢測出異常向量，但是當檢測矩陣相對大（虛線框2）時，異常向量檢測成功（橫劃線表示）的情況.有多種因素導致此情況，如當窗口大小適宜且信息量足夠時，能選定一個更適用的閾值dc檢測異常向量，或候選異常向量的數量能夠包括異常向量（虛線框2）.但窗口適宜的大小是不確定的，根據不同數據的分布情況而不同，同時與數據冗余情況、時序數據的遠近程度也有關聯.

圖2 不同檢測窗口檢測異常值示例圖Fig.2 Examples of abnormal values detected by different detection windows

受上述啟發，在時序流量數據漏損檢測中需要尋找靈活變動且大小適宜的窗口來提升獲取數據的信息質量，因此，本文提出了半定長滑動窗口，即在初始矩陣的基礎上增長滑動窗口，引入變量天數K來衡量窗口增長的范圍，窗口檢測完K× 288（采樣頻率為5 min一次）長度的數據后剔除窗口中首天的數據，如此反復增長刪除，使得窗口大小可變長但上限固定.K值的大小決定了半定長窗口中向量的數量以及窗口向最大長度.

2.2.2 初始矩陣

本文使用檢測數據的前一天時序流量數據作為歷史數據，將其按式(1)的進行重構作為歷史數據矩陣.同時，對歷史數據矩陣中的向量｛A1，A2，…，At｝進行滑動平均濾波處理，依次將向量注入緩沖區，緩沖區大小為m，緩沖區現有向量個數為j.若緩沖區的向量個數小于m，對緩沖區中保留的j個向量進行算數平均運算，如果緩沖區的向量數量不小于m，則剔除進入緩沖區的首個向量，保持緩沖區向量個數為m，再對緩沖區中保留的m個向量進行算術平均運算,最后得到處理后的向量[24].滑動平均濾波公式為:

式中：m=t/2.

滑動平均濾波將歷史數據矩陣中的異常波動影響減小以保證正常管網數據的信息質量.滑動平均濾波后，本文基于數據域的CFSFDP算法剔除歷史數據矩陣中的異常向量，該算法將低于局部密度邊界的向量根據它們的距離δi降序排列.本文根據箱線圖理論將向量密度從低到高排列，并取下四分位數為最低局部密度邊界，則小于下四分位數的所有低密度向量為可疑漏損向量；再將可疑漏損向量根據距離δi降序排列，引入百分比參數θ1確定歷史數據矩陣中異常向量的數量即認定降序排列之后前θ1的數據為異常向量并將它們剔除,獲得初始檢測矩陣.θ1應盡可能的大才能有效剔除異常向量,若歷史數據矩陣中識別出s個異常向量,則初始檢測矩陣中的向量個數為（288-s）.

2.3 漏損檢測流程與算法設計

基于半定長滑動窗口數據的漏損檢測方法具體過程為在初始檢測矩陣窗口大小為（288-s）的基礎上逐步增長窗口,當檢測完K×288長度的數據后刪除窗口中首天的數據并繼續增長窗口檢測完成288 個新進數據,之后再次刪除窗口中首天的數據,如此循環地進行異常向量檢測.每個采樣間隔從不同流量計獲取的時序流量數據被視為一個待檢向量.檢測矩陣使用改進的聚類算法來確定待檢向量與歷史向量的相似性以識別漏損并不斷更新矩陣向量.

圖3 顯示了異常向量循環檢測過程.在檢測時，當一個待檢向量進入初始矩陣之后形成檢測矩陣，對（288-s+1）個向量進行基于數據域的CFSFDP聚類分析.引入百分比參數θ2來識別待檢向量是否為異常向量.若待檢向量識別為異常向量則從檢測窗口中移除；否則將保留在檢測窗口中，此時，檢測窗口長度增長變為（288-s+1），用于下一個待檢數據.檢測窗口的大小并不是無限制增長，滑動窗口可增長的檢測窗口數量不大于K×288，若檢測完K×288個時間序列數據，將剔除窗口中首天的數據.假設檢測完K×288 個數據并剔除完數據的滑動窗口大小為l[l取決于檢測窗口中首天需要刪除的數據個數，該值處于（288-s）～（288+K×288）之間］.接著使用窗口中的l個數據檢測288 個時序數據，檢測完之后依舊刪除窗口首天的數據，使得當前滑動窗口大小為l，并繼續循環檢測新產生的待檢數據.

圖3 半定長滑動窗口檢測方法示例圖Fig.3 An example diagram of a semi-fixed-length sliding window detection method

本文所提算法如表1中的算法1所示.

表1 漏損檢測算法流程Tab.1 Leakage detection algorithm flow

3 實驗結果與分析

3.1 數據集

本文實驗采用的供水管網為Any-town 管網,該管網有19 個用水節點和3 個水庫，構成了包括40 個供水管段的供水管網，管網結構如圖4所示[25].

圖4 Any-town管網Fig.4 Any-town pipe network

為了有效測試算法性能，本文使用python 中的供水管網仿真工具包WNTR 在Any-town水管網模擬了四次隨機場景的用水數據［26］.四個場景所用的管網拓撲結構相同，但管網的長度、直徑、粗糙系數和節點用水模式均不相同，通過引入隨機參數實現管網差異化.所有場景模擬了共計182 天的用水情況，并隨機在6～12 個用水節點模擬漏損，漏損情況包括小漏損（漏損孔直徑處于0.01～0.08 m之間）和大漏損（漏損孔直徑處于0.1～0.16 m 之間），漏損時間與時長隨機分布各個時間段.根據模擬情況，表2 顯示了四個場景的具體漏損個數.

表2 Any-town四個場景漏損數據統計Tab.2 Leakage data statistics of the Any-town four scenarios

3.2 半定長滑動窗口K值選擇

為了提高算法對不同數據集的泛化性，K值應通過在相應數據集上的抽樣實驗自適應選取.實驗方法為從四個場景中各隨機選取5 天包含漏損數據的時序數據.選取5 天中的K×288 個數據（包含漏損數據）為測試數據，其前一天時序數據為歷史數據.使用本文提出的基于半定長滑動窗口數據的聚類算法對K×288 個測試數據進行漏損檢測，最后使用檢出率（True Positive Rate，TPR）和誤報率（False Positive Rate，FPR）評估選取最適宜的K值.根據文獻［4］對不同窗口大小情況下進行多組實驗得到的指導性數值，設置參數θ1=0.03，θ2=0.01，θ1較大是因為盡可能剔除歷史矩陣中異常向量，θ2較小是為了降低FPR.本次實驗在四個場景中隨機選取的數據包含36 個漏損數據，使用TPR 和FPR 評估該方法性能時未區分四個場景.TPR和FPR隨K值變化的結果如圖3所示.

從圖5 可以看出TPR 隨K值上升至100 后開始下降，最后保持平穩，當K值為1時TPR 最低，而K值為2時漏損數據全部檢測成功，K值繼續增大時只有1 個漏損數據未成功檢測.FPR 隨K值的增加而增加，變化規律趨于直線，這是因為聚類算法的參數θ2沒有發生變化，當檢測窗口的數據增多時可供選取的異常候選向量增多，這增加了檢測成功異常向量的可能性，同時增加了檢測錯誤的可能性.追求小的FPR可能會降低對小流量漏損情況的敏感度［4］，因此在可接受的FPR 值范圍內選擇最好的TPR 值結果，所以本文選取K=2 進行半定長滑動窗口的漏損檢測.

圖5 K值評估結果圖Fig.5 K value evaluation result graph

3.3 漏損檢測結果與分析

為了評估算法，本文將提出的算法與Wu 等［4］提出的聚類算法在Any-town 管網的四個模擬場景的數據進行了漏損檢測對比.本文選取測試日期前一天的數據作為歷史數據，四個場景的測試數據均為2天，漏損數據隨機散布在各個時間點.

表3 展示了在四個不同場景下本文算法和對比算法的漏損識別結果.可以發現本文提出的基于半定長滑動窗口數據的漏損檢測方法的TPR 相同，甚至大幅度優于對比算法，所有場景的TPR 值都超過50%，成功檢測出場景二所有的漏損數據；FPR 略差于對比算法，但也在10%的可接受范圍內.因四個場景的漏損數據較多，總體來說，本文算法在可接受的FPR范圍內大幅提升了TPR.

表3 Any-town漏損檢測結果對比Tab.3 Comparison of Any-town leak detection results

為了進一步評估兩種算法識別大小漏損數據的性能，圖6 顯示了本文算法與對比算法在小漏損和大漏損的檢測情況.在四個不同的場景中，每個場景都由四個柱狀圖描述.在大漏損數據檢測方面，本文算法能夠檢測出100%的大漏損數據，而對比算法只檢測出94%的大漏損數據；在小漏損數據檢測方面，本文算法成功檢測出41%的小漏損，對比算法檢測出13%的小漏損，本文算法對小漏損具有更高的敏感度，而一些小漏損數據沒有被檢測出的原因是它們與正常數據相異不大導致算法沒有成功識別.

圖6 漏損檢測結果圖Fig.6 Leakage test results

為了減少誤報率并使漏損檢測更加可靠，多數數據驅動方法在漏損檢測時并不會認定單個候選漏損數據為異常向量［27］.因此，本文將對經過算法檢測后選定的候選異常向量進一步判定，如果候選異常向量的鄰近向量為候選異常向量即連續兩個以上的向量被判定為異常，那么該候選異常向量為異常向量.表4 顯示了本文算法和對比算法未使用該策略和使用該策略的TPR 和FPR，結果表明不管本文算法還是對比算法使用該判定策略能有效降低FPR.

表4 使用策略后的Any-town漏損檢測結果對比Tab.4 Comparison of Any-town leak detection results after using the strategy

此外可以發現在使用判斷策略后TPR 幾乎不受影響，場景1-3 中使用策略后在維持檢出率的同時誤報率下降了1%～1.5%；在場景4 中檢出率下降了6%，而誤報率受影響下降了2%.其原因是在使用策略干預下有5 個小漏損數據被判定為正常，而造成該現象的原因是該數據鄰近的漏損數據因過小而未被算法識別，最終沒有通過策略漏損判定條件.

4 結論

本文提出基于半定長滑動窗口數據的供水管網漏損檢測聚類方法.在多出入口的DMA 中，該方法使用較少的歷史數據來檢測漏損，具有良好的檢測性能.研究結果表明，通過熵值自適應選擇閾值dc減少了人為干預，根據數據域的分布特性能夠獲得更好的檢測效果，以及選取適宜的半定長滑動窗口的K值，在可接受的FPR 范圍內提高了TPR.該方法在四個場景中成功檢測出100%的大漏損數據和41%的小漏損數據.本文提出的半定長滑動窗口在一天時間序列數據的基礎上可在受限范圍內進行長度可變滑動檢測，這使得快速適應新的供水管網或者改造過的供水管網成為可能.

基于流量數據的漏損檢測,數據信息來源單一,為此，結合壓力和聲音等多維信息來提升小漏損故障的檢出率將是技術發展趨勢.