崔 偉 杰, 李 饒, 張 學 峰
(1.雅礱江流域水電開發有限公司,四川 成都 610000;2.德陽市水務局,四川 德陽 618000)
基于小波分析的大壩監測數據處理
崔 偉 杰1,李饒1,張 學 峰2
(1.雅礱江流域水電開發有限公司,四川 成都610000;2.德陽市水務局,四川 德陽618000)
摘要:大壩監測系統所采集的監測數據資料存在異常值并受噪聲的影響,小波分析具有多分辨率、時頻分析的特點。小波分析方法能準確、迅速的定位監測數據序列中異常值,適合運用于數據較多的情況。利用點的小波變換模極大值和閾值法能有效的去除異常值,避免人工去除的繁瑣過程。對去除異常值后的序列進行小波軟閾值去噪,消除監測數據中噪聲的影響,為后續監測資料分析評價提供能反映大壩真實性態的數據。同時該方法適應性較廣,能運用到其他數據預處理中,但必須根據實際情況選擇合適的小波函數以及閾值。
關鍵詞:小波分析;異常值檢測;實例分析;大壩監測數據
0引言
由于受監測環境、監測位置、測試人員等的影響,大壩監測設施所測得的數據不可避免的存在誤差,并且受噪聲的影響。其中由于觀測錯誤引起的誤差稱為粗差,含粗差的測值稱為異常值[1]。噪聲以及異常值的存在會影響監測數據的真實性,對不真實的數據進行分析一定程度上會產生不可靠的評價。因此,去除監測數據中的異常值以及消除噪聲對監測數據的影響具有重要意義。徐洪鐘的《基于小波分析的大壩觀測數據異常值檢測》[2]提出利用小波分析檢測監測數據中的異常值,但并沒有提出如何去除數據中異常值以及如何消去噪聲影響。小波分析具有空間局部化、多分辨率分析的特點,監測數據中的異常值可以看作信號的奇異點,通過跟蹤小波變換的模極大曲線確定奇異點的位置,而奇異點的奇異性強弱可由小波變換的模極大值來刻畫,然后利用閾值法去除監測數據中的異常值[3]。對去除異常值后的監測數據序列,利用小波軟閾值去噪法進行去噪處理,最后根據處理后的小波系數重構原信號,達到去除異常值以及消噪的目的。為后續分析評價提供真實的數據資料。
1小波分析
1.1小波變換

(1)

(2)
稱為f(t)的小波變換。其中a為尺度因子,b為位移因子。
若f(t)為連續函數或信號,小波基函數ψa,b(t)的兩個參數a和b均為連續變量,且ψ(t)滿足容許性條件,則連續小波變換的逆變換存在,形式如下:
(3)
1.2信號奇異性
若函數在某處有間斷或某階導數不連續,則稱該函數在此處有奇異性。信號的奇異性包含了信號的本質信息。函數的局部正則性常用Lipschitz指數度量[4]。
定義1:如果存在常數Kv>0和[α]次多項式pv,使得
?t∈R,|f(t)-pv|≤Kv|t-v|α
(4)
稱函數r在點v∈R為Lipschitzα(α≥0)。
定義2:設f(x)∈L2(R),若f(x)對?x∈δx0,小波函數ψ(x)是實函數且連續可微,并具有n階消失矩(n∈Z+),則有|Wf(s,x)|≤Ksα。K為常數,則稱α為x0點的Lipschitz指數。
設θ(x)是一個光滑函數,小波函數ψ(x)是θ(x)的一階單數,即ψ(x)=dθ(x)/dt,則f的連續小波變換為
(5)

1.3異常值去除及去噪
監測數據序列信號用其多分辨分析子空間V0表示,則有
V0=V1⊕W1=V2⊕W2⊕W2=…=Vd⊕Wd-1⊕Wd-2⊕…⊕W2⊕W1
(6)
其中Vi為小波分解后信號的低頻部分,Wi為小波分解后信號的高頻部分(i=1,2,…,d);d為分解的層數。
在大壩監測數據序列中,異常值以及噪聲引起的數據一般分布在高頻部分,對小波分解后的高頻部分進行處理,可達到去除異常值以及噪聲影響的目的,將處理后的高頻系數與低頻系數重構,可得處理后的監測數據序列。
有些異常值可能是由水位、溫度、降雨等環境量變化引起的,因此,要對這些值進行判別[6]:利用小波分析鎖定數據中可能的異常值,再利用逐步回歸模型對監測數據序列進行回歸分析,計算實測值與擬合值殘差序列的標準差σ,根據拉依達準則,隨機誤差超出±3σ的概率極小,對可能是異常值的殘差就行檢驗,未超出±3σ,則可認為是環境因素引起變化的正常值;反之則為異常值,需進行剔除。
本文利用閾值法去除異常值,這一過程與硬閾值去噪相反:

(7)
式中,T為所選閾值。即將大于給定閾值的高頻系數定為零,保留小于給定閾值的高頻系數,這里閾值的選取跟正常值分解的高頻系數范圍有關,應接近正常值分解的高頻系數上限,這樣既能去除異常值又使對正常值的影響降到最小。
對去除異常值的監測數據序列進行軟閾值去噪:

(8)

圖1 db2小波分解序列圖

圖2 小波分析處理數據效果對比圖

圖3 去除異常值后小波分解序列圖
此處閾值的選取要根據信號的相對平穩性以及信噪比的大小而定,對于平穩性較差的信號,閾值應選得小一些;同一信號,信噪比大時,噪聲功率小,閾值應選得小一些[7]。
2實例分析
選取某混凝土壩變形監測P3測點自2010年9月1日到2014年10月9日共1500組數據,一般較小尺度下的小波變換能減小頻率混疊現象,這里選用正則性較好的db2小波對該序列進行4層分解,分解的結果如圖1所示,其中d1、d2、d3、d4為序列的高頻部分,a1為序列的低頻部分。
由圖1可知,高頻部分d1在t=19、t=113、t=315、t=545、t=889、t=1039以及t=1327處有可傳播的模極大值點。高頻部分d2在t=736處有模極大值點。高頻部分d1和d2還存在一些幅值不大數量較多的模極值點,其奇異性是由噪聲引起的。對該監測序列建立逐步回歸模型,對上述異常點進行檢驗,發現以上8個點的實測值與擬合值的殘差均超過±3σ,說明這幾個點均為異常點。利用式(7),選用合適的閾值,分別對高頻部分進行處理,去除異常值。去除效果與原始數據對比圖見圖2所示。
繪制去除異常值后的小波分解序列圖,如圖3所示。從圖中可以看出,高頻部分受噪聲影響較大,波動較劇烈。利用式(8),選用合適的閾值,對去除異常值的高頻序列進行去噪處理。處理后監測序列與原始監測序列對比如圖2所示。
由圖2可知,監測數據經過小波閾值處理后,能較好的消除異常值,原始序列未出現明顯變化,保留了監測數據序列變化趨勢。由圖2、圖3可知,軟閾值去噪法去噪效果較好,能有效的消除序列中噪聲影響,使監測數據序列更加光滑、失真小。
3結論
大壩監測系統所采集的監測數據資料存在異常值并受噪聲的影響,小波分析具有多分辨率、時頻分析的特點。小波分析方法能準確、迅速的定位監測數據序列中異常值,適合運用于數據較多的情況。利用點的小波變換模極大值和閾值法能有效的去除異常值,避免人工去除的繁瑣過程。對去除異常值后的序列進行小波軟閾值去噪,消除監測數據中噪聲的影響,為后續監測資料分析評價提供能反映大壩真實性態的數據。同時該方法適應性較廣,能運用到其他數據預處理中,但必須根據實際情況選擇合適的小波函數以及閾值。
參考文獻:
[1]何金平. 大壩安全監測理論與應用[M]. 中國水利水電出版社, 2010.
[2]徐洪鐘, 吳中如, 李雪紅,等. 基于小波分析的大壩觀測數據異常值檢測[J]. 水電能源科學, 2002(4):20-21.
[3]潘泉. 小波濾波方法及應用[M]. 清華大學出版社, 2005.
[4]孫延奎. 小波分析及其應用[M]. 機械工業出版社, 2005.
[5]何浩祥, 孫立, 閆維明,等. 基于小波分析的結構損傷信號奇異性檢測[J]. 工業建筑, 2007, 37(S1):204-207.
[6]袁曉峰. 大壩安全監測資料分析若干問題研究——萬安電廠典型壩段監測資料分析[D]. 南昌大學, 2007.
[7]張德豐. 基于小波的信號閾值去噪算法研究[J]. 現代計算機:專業版, 2007(5):26-28.
收稿日期:2016-05-25
中圖分類號:TV42+1.1;X830.3
文獻標識碼:A
文章編號:1001-2184(2016)03-0109-03
作者簡介:
崔偉杰(1988-),男,河北石家莊人,畢業于河海大學水工結構工程專業,現于雅礱江流域水電開發有限公司從事項目管理工作;
李饒(1988-),男,四川資陽人,畢業于四川大學水工結構工程;現于雅礱江流域水電開發有限公司從事項目管理工作;
張學峰(1986-),女,山西文水人,畢業于河海大學水工結構工程專業,現于德陽市水務局從事黨建黨務人事管理工作.
(責任編輯:卓政昌)