基于3σ-SSA的數(shù)據(jù)清洗方法在大壩智慧安全監(jiān)測系統(tǒng)中的應(yīng)用

陳偉楠，杜國志，張 锏，王亦斌

(1.浙江省水利水電勘測設(shè)計(jì)院有限責(zé)任公司，浙江 杭州 310000；2.中國南水北調(diào)集團(tuán)水網(wǎng)水務(wù)投資有限公司，北京 100000)

1 研究背景

目前，我國已建成近10萬座水庫大壩，形成了世界上規(guī)模最大、范圍最廣、受益人口最多的水利基礎(chǔ)設(shè)施體系，水利工程事關(guān)人民群眾生命財(cái)產(chǎn)安全、防洪供水安全和經(jīng)濟(jì)社會(huì)穩(wěn)定大局，保障水庫大壩安全建設(shè)運(yùn)行是水利工程運(yùn)管工作的重中之重。“十四五”以來，水利部高度重視智慧水利建設(shè)，先后出臺了《關(guān)于大力推進(jìn)智慧水利建設(shè)的指導(dǎo)意見》《智慧水利建設(shè)頂層設(shè)計(jì)》《“十四五”智慧水利建設(shè)規(guī)劃》《“十四五”期間推進(jìn)智慧水利建設(shè)實(shí)施方案》等系列文件[1]，將推進(jìn)智慧水利建設(shè)作為推動(dòng)新階段水利高質(zhì)量發(fā)展的6條實(shí)施路徑之一，并將智慧水利作為新階段水利高質(zhì)量發(fā)展的顯著標(biāo)志[2]。

大壩安全監(jiān)測及數(shù)據(jù)分析預(yù)警是掌握大壩實(shí)時(shí)工作性態(tài)、解析大壩變化規(guī)律的關(guān)鍵途徑。隨著數(shù)字孿生水利工程要求的不斷提高，未來水利工程安全監(jiān)測數(shù)據(jù)具有以自動(dòng)化監(jiān)測為主、數(shù)據(jù)量龐大、信息豐度高的基本特征，將監(jiān)測獲得的資料進(jìn)行及時(shí)而準(zhǔn)確的分析，從而掌握工程運(yùn)行性態(tài)，對工程整體安全性能作出研判至關(guān)重要。目前，水庫大壩安全監(jiān)測數(shù)據(jù)幾乎仍處于人工加自動(dòng)化收集數(shù)據(jù)、人工分析數(shù)據(jù)的階段，通常專業(yè)技術(shù)人員以年、半年為周期對監(jiān)測數(shù)據(jù)進(jìn)行分析，人力成本較高且缺乏時(shí)效性。因此，構(gòu)建大壩智能安全監(jiān)測系統(tǒng)，著手安全監(jiān)測數(shù)據(jù)收集—處理—分析—研判全鏈路智能化技術(shù)路線研究，實(shí)現(xiàn)監(jiān)測數(shù)據(jù)到大壩運(yùn)行狀態(tài)信息的實(shí)時(shí)量化變現(xiàn)，能夠?yàn)閭鹘y(tǒng)水利工程向數(shù)字孿生水利工程智能化、智慧化轉(zhuǎn)型提供關(guān)鍵技術(shù)支撐[3-10]。

大壩智能安全監(jiān)測系統(tǒng)中，安全監(jiān)測數(shù)據(jù)的收集和處理是后續(xù)分析研判工作的基礎(chǔ)，及時(shí)、準(zhǔn)確地識別海量監(jiān)測數(shù)據(jù)中的異常值并將非結(jié)構(gòu)原因?qū)е碌拇植钐蕹潜ＷC后續(xù)分析準(zhǔn)確可靠的關(guān)鍵。目前，行業(yè)內(nèi)常用異常值識別方法主要包括過程線法、專家經(jīng)驗(yàn)法、統(tǒng)計(jì)模型法和統(tǒng)計(jì)檢驗(yàn)法，這些傳統(tǒng)異常值識別方法在面對海量自動(dòng)化監(jiān)測數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗時(shí)往往略顯乏力，存在如過程線法、專家經(jīng)驗(yàn)法判斷異常值需要人工干預(yù)無法實(shí)現(xiàn)自動(dòng)化，統(tǒng)計(jì)模型法需要人工建立回歸模型且要求環(huán)境量和效應(yīng)量數(shù)據(jù)回傳同頻，以3σ準(zhǔn)則法、Grubbs準(zhǔn)則等為代表的統(tǒng)計(jì)檢驗(yàn)法在面對一組內(nèi)有多個(gè)異常值時(shí)準(zhǔn)確性低等問題[11-12]。

為此，本文提出利用奇異譜分析(Singular Spectrum Analysis，SSA)對3σ準(zhǔn)則法進(jìn)行優(yōu)化，通過奇異譜分析對數(shù)據(jù)序列進(jìn)行重構(gòu)，并利用3σ準(zhǔn)則對實(shí)測值及重構(gòu)后的主頻數(shù)據(jù)之間的殘差序列進(jìn)行統(tǒng)計(jì)檢驗(yàn)，從而實(shí)現(xiàn)數(shù)據(jù)異常值的自動(dòng)識別。構(gòu)建的3σ-SSA分析數(shù)據(jù)清洗方法具有易于實(shí)現(xiàn)自動(dòng)化、對環(huán)境量數(shù)據(jù)依賴度低、處理異常值較多的自動(dòng)化監(jiān)測數(shù)據(jù)仍保持較高準(zhǔn)確性等特點(diǎn)，目前已依托國內(nèi)某水庫數(shù)字孿生建設(shè)工程，在該水庫的大壩智慧安全監(jiān)測系統(tǒng)中得到成功應(yīng)用。

2 基于3σ-SSA的數(shù)據(jù)清洗方法原理

2.1 3σ準(zhǔn)則

(1)

2.2 基于3σ-SSA的數(shù)據(jù)清洗方法

為解決傳統(tǒng)3σ準(zhǔn)則在處理自動(dòng)化監(jiān)測數(shù)據(jù)時(shí)的局限性，同時(shí)避免環(huán)境量、效應(yīng)量數(shù)據(jù)傳輸可能不同頻帶來的影響，本文引入奇異譜分析(singular，SSA)對3σ準(zhǔn)則進(jìn)行優(yōu)化[14-15]。奇異譜分析是一種融合概率論與多變量統(tǒng)計(jì)的非參數(shù)方法，該方法能從序列測值信息中有效識別出噪聲和周期振蕩成分，且易于實(shí)現(xiàn)自動(dòng)化，能夠?yàn)楸O(jiān)測數(shù)據(jù)實(shí)時(shí)自動(dòng)清洗提供支撐。

基于3σ-SSA的數(shù)據(jù)清洗方法步驟如下，基本流程如圖1所示。

圖1 3σ-SSA數(shù)據(jù)清洗流程圖

Step1：感知設(shè)備收集回傳實(shí)時(shí)監(jiān)測數(shù)據(jù)，原始數(shù)據(jù)序列Xdata{x1、x2、……、xn}。

Step2：對原始數(shù)據(jù)序列進(jìn)行奇異譜分析(SSA)，將原始數(shù)據(jù)序列映射成一個(gè)窗口長度為L的向量序列，形成一個(gè)K個(gè)長度為L的向量，即根據(jù)窗口長度L將數(shù)據(jù)序列滯后排列，生成軌跡矩陣X為：

(1)

式中，窗口長度L(2≤L≤N)，盡量不超過N/3，可取數(shù)據(jù)周期的整數(shù)倍；1≤i≤K。

Step3：對軌跡矩陣X進(jìn)行奇異值分解，令S=XXT，得到L個(gè)特征值λ1≥λ2≥…≥λL≥0及對應(yīng)正交特征向量。令d=rank(X)，軌跡矩陣可分解為：

X=X1+X2+…+Xd

(2)

Step4：將下標(biāo)集合{1，2，…，d}劃分為m個(gè)互不相交的子集{I1，…，Im}，則有

X=XI1+XI2+…+XIm

(3)

(4)

3 工程實(shí)例

為驗(yàn)證所述3σ-SSA數(shù)據(jù)清洗方法的應(yīng)用效果，選取浙江某水資源配置重要樞紐工程閘室鋼筋計(jì)2022年度自動(dòng)化監(jiān)測數(shù)據(jù)，分別以傳統(tǒng)3σ準(zhǔn)則和改進(jìn)后的3σ-SSA方法進(jìn)行異常值識別，并對比數(shù)據(jù)清洗效果。原始數(shù)據(jù)序列如圖2所示，受自動(dòng)化監(jiān)測設(shè)備影響，該測點(diǎn)原始數(shù)據(jù)存在多個(gè)數(shù)值較大的明顯異常測值。

圖2 自動(dòng)化監(jiān)測原始數(shù)據(jù)

圖3 3σ準(zhǔn)則數(shù)據(jù)清洗結(jié)果

采用3σ-SSA數(shù)據(jù)清洗方法對原始數(shù)據(jù)序列進(jìn)行處理，首先用奇異譜分析法對原始數(shù)據(jù)進(jìn)行分解、重構(gòu)，此處取窗口長度L=30，提取出的重構(gòu)序列如圖4所示，降序排列后各重構(gòu)序列對應(yīng)特征向量λi值及占比統(tǒng)計(jì)見表1，文中僅展示貢獻(xiàn)率前十的特征向量及對應(yīng)重構(gòu)序列。從圖4、表1中可以看出，重構(gòu)序列1基本能夠反映原始數(shù)據(jù)序列的分布規(guī)律及發(fā)展趨勢，貢獻(xiàn)占比達(dá)87.64%，后續(xù)重構(gòu)序列2貢獻(xiàn)占比均低于1%且波動(dòng)極小，可視作噪聲。因此，以重構(gòu)序列1作為奇異譜分析后重構(gòu)結(jié)果，計(jì)算與原始數(shù)據(jù)序列之差，生成殘差序列，殘差序列過程線如圖5所示。根據(jù)3σ準(zhǔn)則，計(jì)算殘差標(biāo)準(zhǔn)差σ為1.05，結(jié)合重構(gòu)序列劃定異常值識別上、下限，數(shù)據(jù)清洗結(jié)果如圖6所示。

表1 奇異譜分析分量貢獻(xiàn)率統(tǒng)計(jì)表

圖4 奇異譜分析前十重構(gòu)序列

圖5 殘差序列過程線

圖6 3σ-SSA數(shù)據(jù)清洗結(jié)果

對比圖6及圖3的數(shù)據(jù)清洗結(jié)果，可以看出，利用奇異譜分析改進(jìn)后的3σ-SSA數(shù)據(jù)清洗方法在處理存在大量異常值的自動(dòng)化監(jiān)測數(shù)據(jù)時(shí)，能夠避免異常數(shù)據(jù)的不良影響，識別異常值并予以剔除，清洗后的數(shù)據(jù)基本平滑，滿足后續(xù)數(shù)據(jù)分析精度要求。

綜上所述，基于3σ-SSA的數(shù)據(jù)清洗方法在處理存在較多異常值的自動(dòng)化監(jiān)測數(shù)據(jù)時(shí)，仍具有較高的準(zhǔn)確性，基本不受異常數(shù)據(jù)的影響，穩(wěn)定性優(yōu)于傳統(tǒng)3σ數(shù)據(jù)清洗方法。

4 系統(tǒng)應(yīng)用

為驗(yàn)證該方法的可應(yīng)用性，將算法內(nèi)嵌于某大壩智慧安全監(jiān)測系統(tǒng)的數(shù)據(jù)管理模塊，接入自動(dòng)化監(jiān)測設(shè)備實(shí)時(shí)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗測試。

該系統(tǒng)的數(shù)據(jù)管理模塊基于測點(diǎn)管理模塊中預(yù)設(shè)的點(diǎn)位，對測點(diǎn)的數(shù)據(jù)的底層管理，支持自動(dòng)化監(jiān)測數(shù)據(jù)接入、自動(dòng)清洗，以及溯源和修正等功能。本文提出的3σ-SSA的數(shù)據(jù)清洗方法為該模塊安全監(jiān)測數(shù)據(jù)的實(shí)時(shí)清洗提供支撐，檢測和提取由于網(wǎng)絡(luò)異常或設(shè)備異常等情況產(chǎn)生的異常值，并將信息進(jìn)行推送至用戶，方便排查是否存在需要修正的問題，提高數(shù)據(jù)維護(hù)水平，為數(shù)據(jù)分析、預(yù)警指標(biāo)擬定等上層功能提供準(zhǔn)確有效的數(shù)據(jù)基礎(chǔ)。

系統(tǒng)接入自動(dòng)化監(jiān)測設(shè)備實(shí)時(shí)數(shù)據(jù)后，通過3σ-SSA數(shù)據(jù)清洗方法對原始數(shù)據(jù)進(jìn)行預(yù)處理，清洗后的數(shù)據(jù)序列基本去除明顯異常點(diǎn)，過程線較為平穩(wěn)無突跳，基本能夠滿足后續(xù)分析、建模需求。

綜上所述，基于3σ-SSA的數(shù)據(jù)清洗方法能夠?qū)崿F(xiàn)自動(dòng)化，內(nèi)嵌于大壩智慧安全監(jiān)測系統(tǒng)后，能夠滿足監(jiān)測數(shù)據(jù)高質(zhì)量自動(dòng)清洗要求，具有較高的可應(yīng)用性。

5 結(jié)論

針對自動(dòng)化監(jiān)測數(shù)據(jù)監(jiān)測頻次高、數(shù)據(jù)量大、異常值多，傳統(tǒng)數(shù)據(jù)清洗方法難以滿足數(shù)據(jù)處理要求的問題，本文通過引入奇異譜分析法對傳統(tǒng)3σ分析方法進(jìn)行改進(jìn)，提出了適用于自動(dòng)化監(jiān)測數(shù)據(jù)的3σ-SSA數(shù)據(jù)清洗方法，并依托工程實(shí)例驗(yàn)證其有效性及可應(yīng)用性，得出結(jié)果如下：

(1)有效性驗(yàn)證。改進(jìn)后的3σ-SSA數(shù)據(jù)清洗方法在處理存在大量異常值的自動(dòng)化監(jiān)測數(shù)據(jù)時(shí)，仍具有較高的準(zhǔn)確性，基本不受異常數(shù)據(jù)的影響，穩(wěn)定性及異常值識別精度明顯優(yōu)于傳統(tǒng)3σ準(zhǔn)則數(shù)據(jù)清洗方法。

(2)可應(yīng)用性驗(yàn)證。基于3σ-SSA的數(shù)據(jù)清洗方法內(nèi)嵌于大壩智慧安全監(jiān)測系統(tǒng)后，可實(shí)現(xiàn)監(jiān)測數(shù)據(jù)的實(shí)時(shí)清洗，清洗后的數(shù)據(jù)質(zhì)量較高，基本能夠滿足后續(xù)數(shù)據(jù)分析、數(shù)據(jù)建模等上層應(yīng)用要求。