基于整體退火遺傳小波網絡的計量終端可靠性預測

徐宏偉,叢中笑,陽曉路,周忠明,陳寅生,林海軍

(1.貴州電網有限責任公司計量中心, 貴陽 550002; 2.哈爾濱理工大學, 哈爾濱 150080)

0 引 言

智能電網是國民經濟的大動脈,有著極高的可靠性要求,因此,對應用其中的各種儀器、設備及系統的軟、硬件可靠性也提出了較高的要求。與較為成熟的硬件可靠性相比,軟件可靠性理論和技術水平成為技術關鍵。智能終端作為智能電網的關鍵設備,其可靠性直接影響著電網自動化系統的可靠性。因此,以智能終端為對象,深入開展軟件可靠性預測方法研究具有重要的科學和現實意義。

軟件可靠性預測研究至今已經有54年,學者們提出了貝葉斯排錯、J-M模型等幾十種方法[1-4],其中基于分類思想的效果較好,主要集中在各類神經網絡模型的研究,如BP、RBF、LVQ及小波網絡等[5-7]。在諸多神經網絡中,因小波網絡的時頻分辨特性、非線性映射能力強及泛化效果好等優點,成為研究熱點。

但是,WNN也存在不足,為了解決初值敏感性、隱層節點數難定、收斂穩定性弱、收斂速度較慢、易陷入局部最優解等問題,學者們提出了采用AGA、SA等智能算法改進WNN等,取得了不少成果,但這些難題仍待更深入研究[8-9]。

為了解決小波神經網絡初值敏感性及收斂穩定性問題,提高計量終端軟件可靠性預測建模的效率及準確性,文章從完善整體退火遺傳算法(WAGA)入手,進而利用其全局尋優能力,通過參數全局優化解決WNN的初值敏感和收斂穩定性問題。提出WAGA-WNN建模方法,并進行計量終端的軟件可靠性預測建模分析,提高預測準確度。

1 整體退火遺傳小波神經網絡WAGA-WNN研究

1.1 整體退火遺傳算法

整體退火遺傳算法[10-11]WAGA是采用退火選擇準則,并允許父代參加競爭的遺傳算法。WAGA算法流程如下,除說明外均采用標準GA的方法。

(1)初始化。設世代數k=0,采用隨機的方法確定初始種群P0;

(2)從第k代種群Pk中,按適應度大小,以概率的方式選取父本種群Fk。文中的適應度函數為：

(1)

式中Tk為退火溫度。

文中采用的退火策略為：

(2)

式中T0=50,k=1,2,…,退火時逐漸增大。

文中個體被選入Fk的概率為：

(3)

式中bi為Pk中備選個體;

(3)雜交。由父本種群Fk生成雜交種群Crk;

(4)變異。由雜交種群Crk產生中間種群Muk;

(5)組建新種群。由Muk和Fk合成新種群Pk+1,即：

Pk+1=Fk⊕Muk

(4)

(6)判斷是否滿足停止循環條件,不滿足則轉轉移至第(2)步。

文中對退火參數進行了尋優,適當的降溫過程可提高收斂速度。

為了驗證WAGA的尋優效果,選擇不同類型的標準函數進行了極值搜索。現僅以文獻[10]中采用的單變量多峰值函數為例介紹仿真情況。函數表達式為：

(5)

取x在(0.01,1)區間內進行仿真。其波形如圖1所示。從圖形容易看出,該函數有很多個局部極大值和極小值點,全局極大值則在x=0.127 5處。該函數多峰且疏密不勻,利于驗證尋優效果。

圖1 函數波形

用MATLAB 2018進行仿真,染色體取8位二進制數,仿真時種群規模取10,則父種群和子種群合并的種群個體為20個。WAGA按照前述的退火策略進行退火,退火代數k從1,2,…40,在退火的過程中,種群不斷進化迭代,逐代對函數的最大值進行尋優。經過50次仿真對比分析,若限制迭代100次,函數值允許誤差≤1%,則WAGA能100%尋得最大值,而GA算法尋得最大值的次數在40%以內,若增加迭代次數增加到500代,則GA尋優率能達到90%以上,但仍有陷入局部最優。WAGA的搜索最大值的速度明顯比GA快,且其種群全體收斂于要搜索的全局極大值,即使偶有變異,也能快速向極大值收斂。而GA種群個體迭代后仍然較分散,只是有個體處于極大值點及附近。

GA與WAGA的種群進化過程個體分布圖示例如圖2所示。圖2(a)為GA算法的種群進化過程,圖2(b)是WAGA的進化過程。GA和WAGA尋優過程中個體分布的統計直方圖如圖3所示。從圖2和圖3可明顯看出種群的收斂進程及最終的個體集中情況,GA可搜索到最優值但種群不收斂,而WAGA種群迅速收斂于最優值。

圖2 種群進化

圖3 近似解統計直方圖

總之,通過對上述函數及Griewank、Rosenbrock等多種標準函數的尋優仿真進一步驗證了：整體退火遺傳算法能使每個個體以概率1收斂于總體最優解集。

1.2 小波分析及小波神經網絡

設Ψ(x)∈L2(R)∩L1(R),且其傅里葉變換Ψ(ω)滿足容許條件：

(6)

則稱Ψ(x)為一基本小波函數。通過展縮和平移可得一組小波函數基：

(7)

式中a、b分別為尺度和平移因子。

對于函數f(x)∈L2(R), 其連續小波變換表示為：

(8)

小波神經網絡是將小波分析與神經網絡融合而形成的網絡。由于采用的神經網絡結構不同,導致其構造各不相同[12-13]。文中小波神經網絡結構如圖4所示。

圖4 小波神經網絡結構

圖4中,輸入層、隱含層和輸出層的節點數分別為k、m和n。ψ1,ψ2,…,ψm為小波函數基。第j個節點的輸出為：

(9)

式中xi為輸入節點i的輸入;ui,l為隱層l節點與輸入i節點的連結權值;ωl,j為輸出j節點與隱層l節點的連結權值。

鑒于工程中常用的Morlet小波的時、頻局部性較平衡且好,并具有較強的抗干擾能力,文中采用它作為小波網絡的激勵函數。

Morlet小波是復值小波,其表達式為：

(10)

它不滿足容許性條件,但當ω0≥5時,近似滿足容許性條件。工程應用中往往只采用其實部,ω0通常取1.75或5,文中ω0=5,即：

(11)

1.3 整體退火遺傳小波神經網絡

WAGA-WNN的思路是利用WAGA的強收斂和快速收斂的特性,克服WNN初值敏感性、收斂穩定性弱、收斂速度較慢等不足,同時發揮WNN的非線性映射能力強、泛化效果好及準確度高等優點,實現優勢互補,以改善建模質量。

具體方法是：把WNN的訓練作為一個全局尋優過程,用WNN的所有連接權值、展縮和平移系數等構造染色體,WAGA進行全局優化,直到得到全局最優值。此時染色體不同位置的參數即為訓練好的小波神經網絡的結構參數。WAGA-WNN原理如圖5所示。

圖5 WAGA-WNN原理框圖

2 基于WAGA-WNN的軟件可靠性建模

2.1 實驗數據的處理

實驗數據往往存在維數高、數據冗余及含有噪聲等情況,這不但增大預測用小波神經網絡的規模,而且還會產生過擬合,降低預測的準確率。

因此,在進行歸一化等數據預處理后,可以進行特征選擇或數據降維等方法進行處理,以改善模型的預測效果。

特征選擇根據形式可分為過濾法、包裝法、嵌入法三種,其中過濾法又包括方差選擇法、相關系數法、卡方檢驗、互信息法等。

降維的方法也較多,常用的有L1懲罰項、LDA、和PCA等,亦可采用回歸分析類方法等。

特征選擇和降維雖然都能降低特征維數,但二者還是有本質不同的。前者是從原始特征中選擇一個子集,物理意義不變,但會丟失舍棄部分的信息,選擇的子集越小,丟失的信息越多。后者則通過映射變換到低維度空間,物理意義不同,但可根據需要保留足夠多的特征信息。因此,為了大幅度減少維數,而又盡可能保留特征信息,文中采用降維的方法進行數據處理。

考慮到PCA可消除相關影響、消減噪聲,降維效果較好,文章選用PCA進行降維。方法不贅述,通常選用的主分量的貢獻率不低于90%。

2.2 基于WAGA-WNN的可靠性建模

基于WAGA-WNN的軟件可靠性建模主要步驟如圖6所示。

圖6 建立軟件可靠性預測模型的流程

由圖6可知,根據WNN的規模和結構參數對初始種群的染色體進行編碼,染色體中包含網絡權值和小波基的展縮參數等。

WAGA依據訓練樣本和目標值進行搜索,所搜索到的最優染色體參數作為WNN的參數,相當于訓練過程結束,建模初步完成。還需要輸入檢驗樣本進行驗證,確定軟件可靠性預測模型的準確率是否達到要求。

3 計量終端軟件可靠性預測建模實驗

3.1 計量終端軟件可靠性分析

計量終端是智能電網的重要設備,其嵌入式系統軟件采用模塊化設計,軟件功能結構見圖7。

圖7 計量終端軟件功能結構圖

應用層和操作層功能共有31個功能子系統,它們相對獨立,可以由子系統的可靠性推導出系統的可靠性函數。即：

(12)

式中Li是第i個子系統的調用系數;Ri(t)是第i個子系統的可靠度。

(13)

式中λi是子系統故障率。

3.2 可靠性實驗數據

采用增長測試期對計量終端5個應用進程的動態、靜態測試的16組數據進行建模研究,實驗數據見表1。

表1中最后一行數據是每個進程的調用率數據,用于計算目標值。

3.3 軟件可靠性預測建模實驗結果與分析

由于數據較多,且存在冗余,先進行歸一化,并用PCA降維、去噪。

基于WAGA-WNN建模原理,根據WNN結構確定染色體的組成,并用WAGA進行全局尋優,確定最優網絡參數,完成可靠性預測建模。

染色體的結構 依據圖5中的順序,具體排列及位數定義如表2所示。

表2 染色體結構

每個權值用16位二進制數表示,其中第1位為符號位,第2位～第8位為整數位,第9位～第16位為小數位。展、縮系數ai和bi(i=1…4)均采用8位二進制數表示,每個染色體共計256位。

為了驗證PCA壓縮和濾波效果,文中還建立一個輸入原始數據的對比WNN網絡,輸入節點、隱含節點和輸出節點分別為：10、16和1。與主成分貢獻率是99%的作比較,觀察PCA的濾波效果。

綜合考慮準確度和泛化能力,訓練的均方誤差設置為0.5%。表1的16組數據,經過預處理及PCA降維后得到16組2維的主成分,用其中的前10組主成分作為訓練樣本,后6組作為檢驗樣本,分別訓練和檢驗兩種網絡。

在同一臺計算機和相同的軟件環境下,經過多次仿真實驗,測得WNN的訓練時間平均約為3.6 s,WAGA-WNN的平均優化訓練時間約為0.54 s,后者的效率明顯高于前者。

軟件可靠性預測結果和誤差如圖8和圖9所示。

圖8 軟件可靠性預測結果

圖9 預測誤差曲線

圖中目標值是依據式(12)和式(13)計算得到的。

由圖及實驗結果可以看出：

(1)基于WAGA-WNN的軟件可靠性預測模型預測的絕對誤差小于0.032。每一點的絕對誤差除以實際值得到平均相對誤差約為1.85%,所以,預測精度約為1-1.85%=98.15%;

(2)采用PCA進行數據處理,不僅降低了維度,減少了網絡的輸入節點,誤差也略有減小,具有一定的去噪聲作用;

(3)圖8和圖9中的前10個樣本對應的曲線為訓練樣本的預測結果,后6點為檢驗樣本的預測結果。可見,無論是訓練樣本,還是測試樣本,絕對誤差都比較小,說明基于WAGA-WNN原理建立的可靠性預測模型具有較好的泛化能力。

4 結束語

文中針對小波神經網絡初值敏感性及收斂穩定性影響其預測建模的效率及準確性問題,采取了利用強收斂、快速尋優的智能優化算法完成訓練過程的思路。在完善WAGA的基礎上,用標準多峰值函數驗證了該算法的整體強收斂性,并利用其極強的整體收斂和全局優化能力克服了WNN的上述不足。提出的WAGA-WNN建模方法成功建立了計量終端的軟件可靠性預測模型,不僅效率高,而且泛化能力和預測精度也較好。文章提供了較好的解決WNN不足的思路,也給出了一種具體方法和實例,具有學術和實踐參考價值。