基于改進PSO-BP神經網絡的貯存可靠性預測

宮 華， 李作華， 劉洪濤， 郝永平

(1.沈陽理工大學 理學院，遼寧 沈陽 110159; 2.遼寧華興機電有限公司，遼寧 錦州 121017; 3.沈陽理工大學 裝備工程學院，遼寧 沈陽 110159)

0 引言

軍用產品的可靠性水平是軍事儲備中衡量產品質量的一項關鍵技術指標，是衡量國家軍事后勤保障技術水平的重要依據。武器系統等產品大部分處于貯存、維護和檢測等非工作狀態，具有長期貯存、一次性使用的典型特征。由于貯存環境溫度、濕度、年限等因素影響，產品的質量與存儲壽命必然隨之發生變化。若達到實際貯存壽命而超期服役，則增加了武器產品貯存和使用的不安全性。而未達到實際貯存壽命而提前退役的，將會造成大量的經濟損失。因此，針對武器產品貯存可靠性進行科學準確預測研究，預知產品質量與儲存變化規律，能夠為軍方提供訂購生產、儲備布局和維護檢測的決策依據。然而可靠性工程中所收集的各種貯存可靠性數據，對數據自身規律的解析不足。如何有效地利用已知歷史數據，挖掘數據本身所隱藏的信息進行可靠性預測，將數據轉化為決策以提高軍事政策制定與評估的科學化和智能化程度，是實現軍事現代化的必然要求。

貯存可靠性預測是指預測產品在一定的貯存條件下和一定的貯存時間內保持產品指定功能能力的概率值。針對數學機理模型和加速壽命試驗的貯存可靠性預測已有很多學者進行了相關研究。Mense等人[1]詳細綜述了貯存可靠性的評估模型與方法。Zhang等人[2]針對初始故障參數測量提出E-Bayes估計方法對貯存可靠性進行預測。Zheng等人[3]基于測試數據的通道對系統貯存可靠性進行評估。Su等人[4]、Zhang等人[5]基于指數分布前提下研究考慮定期檢測的產品貯存可靠性預測問題。Si等人[6]針對剩余貯存壽命建立二階連續時間齊次馬爾可夫預測模型。Wang等人[7]基于狀態監測影響的隨機濾波預測剩余壽命。趙志草等人[8]在應力下失效分布函數基礎上對加速壽命試驗進行可靠性評估。盡管上述文獻從機理模型出發對可靠性預測方面進行了相關研究，但傳統的貝葉斯等機理模型很大程度上依賴于先驗分布及對機理的認知。而軍品的結構、功能、失效模式、貯存的環境條件等雖然相似，但對貯存可靠性變化影響差異較大，指標與相關變量之間具有非線性關系。在機理不明確條件下，傳統的數學機理模型所建立的貯存可靠性預測方法并不適用。

在可靠性預測方法上已有在人工神經網絡及智能優化預測方法的相關研究。鄒心遙等人[9]將支持向量機和Bayes方法結合評估小子樣可靠性。章恩澤等[10]提出區間多目標粒子群算法解決可靠性優化問題。Liu等人[11]針對導彈部件在變溫條件下的貯存可靠性評估進行研究。陳海建等人[12]提出基于BP和RBF兩種神經網絡對彈藥貯存可靠性進行預測方法研究。已有研究表明人工神經網絡對可靠性的預測研究具有較好的預測效果。尤其是神經網絡描述輸入輸出可實現任意復雜的非線性函數映射，容錯能力強，易于實現。然而許多軍用產品試驗樣品不多，需要長期觀測且樣本量偏少。盡管文獻中已有基于人工神經網絡對可靠性進行的預測研究，但在基于小子樣的貯存可靠性預測的泛化能力受到一定影響，進而影響預測結果。當樣本數據量不充分時，如何有效利用貯存歷史數據挖掘出產品可靠性變化，改進神經網絡預測方法及分析質量規律是亟待解決的問題。

綜上分析，本文從數據、模型、預測方法上對貯存可靠性預測進行研究，主要貢獻如下：(1)針對貯存年限、可靠度的歷史數據，基于年限與可靠度的時間序列建立貯存可靠度預測模型。直接從數據中揭示變化規律作為輸入與可靠度作為輸出之間的關系，消除由于不明確機理帶來的模型誤差。(2)為提高預測的泛化能力，采用橫向數據進行樣本數據集擴充，提高樣本的數量與質量，解決樣本量偏少對預測的泛化能力和精度影響。(3)將粒子群(PSO)算法的全局搜索和BP神經網絡的局部搜索相結合，通過迭代預測未來武器產品貯存的變化趨勢。引入進化策略改進PSO算法，根據進化狀態優化BP神經網絡的拓撲結構，進行神經網絡權值和閾值優化，提高神經網絡收斂速度和訓練質量，提高貯存可靠性預測精度。

1 BP神經網絡及PSO算法

1.1 數據處理

貯存可靠度R(t)是保持規定功能的概率，是衡量儲存可靠性的指標，表示為：R(t)=P(ξ>t)，其中ξ為產品失效前貯存的時間，t為規定的貯存時間。根據產品的可靠性結構、壽命模型及其他試驗數據，利用概率方法對產品或部件可靠度的特征量R(t)進行統計推斷。貯存壽命的可靠性預測是指通過貯存可靠度的已知數據對未來時刻的可靠度進行估計。設某型號部件可靠度在年份時間序列t1,t2,…,tn上的貯存可靠度為R(t1),R(t2),…,R(tn)，對于未來年份tn+1的可靠度R(tn+1)進行預測，預測函數表示為：R(tn+1)=f(R(t1),R(t2),…,R(tn),tn+1)。年份與可靠度形成時間序列作為數據的輸入與輸出，進行神經網絡結構的訓練與測試。

1.2 BP神經網絡

BP神經網絡是一種包括正向傳播和反向傳播學習的有監督、多層前饋神經網絡。前向傳播過程是指訓練樣本由輸入層通過隱含層訓練進行網絡輸出。當輸出值與期望輸出值誤差較大時，轉入誤差反向傳播過程。通過誤差值調整神經網絡的權值和閾值，使得網絡輸出逼近期望值。設輸入層為n個神經元，表示在時間序列t1,t2,…,tn上貯存可靠度的歷史數據，輸出層m為1個神經元，代表貯存可靠度在tn+1時刻的預測值。

BP神經網絡訓練過程描述如下：

Step1輸入數據和輸出數據的歸一化處理:

(1)

其中Rmax和Rmin表示數據集中貯存可靠度的最大值和最小值，為貯存可靠度的歷史數據實際值。

Step2計算隱含層所有節點的輸出,i=1,…,n;j=1,…,h,

(2)

(3)

其中節點j的激活變量為netj，輸入層節點i到隱含層節點j的連接權值為wij，節點j的輸出閾值與輸出量分別為bj和yj，選用S型函數f(·)為隱含層激活函數。

Step3計算神經網絡的輸出結果：

(4)

其中隱含層節點j到輸出層連接權值為woj，輸出層閾值為bo，第k組訓練樣本的可靠度預測值為Rk，輸出層激活函數為g(·)。

Step4運用反向傳播，修正神經網絡的權值和閾值，最小化訓練誤差MSE:

(5)

1.3 基本粒子群優化算法

粒子群算法[14](PSO)是一種來源于對鳥群覓食行為模擬的智能優化算法。隨機初始化一群粒子，通過迭代找到個體極值與全局極值更新粒子的位置，尋求最優解。假設存在N個粒子的種群在D維解空間中進行搜索，Xi=(xi1,…,xiD)代表第i個粒子的位置矢量，Vi=(vi1,…,viD)為第i個粒子的飛行速度，i=1,…,N。根據公式(6)(7)更新自身的速度和位置，產生新種群。由適應度函數計算每個粒子的適應度值，進而確定個體與全局最優值。

(6)

(7)

(8)

其中wmax和wmin分別為慣性權重的最大值和最小值，通常取0.9和0.4,Tmax為最大迭代次數。

1.4 進化策略(ES)改進PSO算法

本文根據粒子群的進化狀態采用Schwefel[15]提出的進化策略，使用適應高斯突變優化參數。進化策略產生小高斯突變的概率較大，能有效避免局部最優，提高PSO優化算法收斂速度尋求全局最優解。進化策略(ES)思想為：將粒子狀態劃分為正常和早熟兩種狀態，設置閾值limit，記錄全局最優值連續沒有更新的次數。若次數>limit時Pg沒有更新，則認為種群處于早熟狀態，否則為正常狀態。早熟狀態時通過改變步長的速度，粒子速度更新公式為(9)(10)，重新更新Pib和Pg。

(9)

(10)

2 優化BP神經網絡

訓練樣本的數量、質量、初始權值和網絡結構復雜性等影響自身的擬合程度和預測精度，是影響網絡泛化能力的決定因素。由于BP神經網絡初始權值的隨機性可能會導致不同預測精度，訓練容易陷入局部最優，存在多個局部極值，使得網絡結構難以確定。而武器產品長期儲存，樣本數據的數量不夠充分，直接采用BP神經網絡進行預測，其泛化能力及預測精度均受到影響。本文采用以下三種方法進行神經網絡的改進與優化。(1)擴大樣本數量，避免過擬合。(2)根據輸入層、輸出層的神經單元數和樣本數量，確定隱含層節點數，避免參數的盲目選擇。(3)基于改進的進化策略PSO算法，優化初始權值閾值，克服BP神經網絡的缺點，提高預測精度。

2.1 數據集擴充

對于樣本數據量不充分的數據集，不同的輸入數據集選擇方法將導致不同預測結果。本文采用橫向數據集作為輸入數據集。

將原始數據按照時間序列從1到n進行編號，確定輸入數據集維度d=5。假設i為樣本選擇的開始點，則訓練樣本的第一組輸入為R(ti+1),…,R(ti+d)，輸出為R(ti+d+1)。訓練樣本的第二組輸入為R(ti+d+1),…,R(ti+2d)，輸出為R(ti+2d+1)。以此類推，訓練樣本的第k組輸入為R(ti+(k-1)d+1),…,R(ti+kd)，輸出為R(ti+kd+1)。測試樣本根據下列規則進行選擇：測試樣本的第一組輸入為R(ti+2),…,R(ti+d+1)，輸出為R(ti+d+2)。測試樣本的第二組輸入為R(ti+d+2),…,R(ti+2d+1)，輸出為R(ti+2d+2)。以此類推，測試樣本的第k組輸入為R(ti+(k-1)d+2),…,R(ti+kd+1)，輸出為R(ti+kd+2)。訓練集與測試集的選擇過程如圖1所示。

圖1 構造數據集的過程

2.2 隱含層確定

2.3 ES-PSO-BP算法

粒子群算法具有較強的全局搜索最優解能力，BP神經網絡具有較強的局部搜索最優能力，其初始權值和閾值在[0,1]之間產生。因此，將權值閾值定義為PSO中的粒子位置，基于進化策略，將種群分為正常和早熟狀態。通過最優粒子位置的尋優過程優化網絡結構，提高算法的收斂速度和貯存可靠度的預測精度。

ES-PSO-BP模型的整體流程如圖2所示，算法具體描述如下。

圖2 ES-PSO-BP模型的流程圖

Step1數據集歸一化，構建網絡結構。

Step2根據年限形成的可靠度時間序列，確定訓練樣本集與測試樣本集。

Step3初始化粒子群參數。種群規模、最大迭代次數、權值、學習因子、狀態劃分閾值limit等參數。

Step4在[0,1]范圍隨機初始化N個粒子的位置與速度，粒子維度D=(n+m)*h+h+m。

Step5計算粒子的初始個體與全局最優適應度值。設定粒子的適應度函數為BP神經網絡的訓練誤差函數，根據適應度值確定粒子個體最優和種群全局最優值。

Step6根據種群進化狀態，更新粒子速度與位置。比較全局最優值連續沒有更新的次數與閾值limit。若次數>limit時，種群處于早熟狀態，則根據進化策略式(9)與(10)更新粒子速度和位置產生新種群。否則處于正常狀態，根據式(6)與(7)更新粒子的速度和位置產生新種群。粒子的速度和位置不能超過[-vmax,vmax]和[-xmax,xmax]的范圍。

Step7計算粒子的適應度值與全局最優適應度值，若當前粒子適應度值優于歷史最優值，則更新當前個體最優值為Pib，同時更新全局最優位置Pg。若達到最大迭代次數，則轉向Step 8，否則回到Step 6。

Step8將Pg映射到BP神經網絡的權值與閾值。對BP神經網絡進行網絡訓練，若隱含層節點數滿足最大值hmax，執行Step 9，否則執行Step 4。

Step9根據網絡訓練性能指標確定隱含層節點數，輸入測試樣本集進行貯存可靠度預測。

3 實驗仿真

為驗證本文所提出的算法對貯存可靠性預測的有效性，以某彈藥部件的貯存歷史可靠度數據為例進行實驗。R(t1),R(t2),…,R(tn)形成的時間序列為BP神經網絡的輸入數據，R(tn+1)為網絡的輸出值即預測值。根據歷史數據，選取某型號彈藥部件4年(48個月)的平均貯存可靠度數據，樣本數據如表1所示。將原始數據按照時間序列從1到48進行編號，確定輸入數據集維度d=5。

表1 樣本數據集

3.1 參數選擇及性能指標

為說明ES-PSO-BP算法預測的準確性，將BP、PSO-BP和ES-PSO-BP神經網絡三種算法進行對比分析。參數設置如下：

BP神經網絡結構：輸入n=5，輸出m=1，選取“tansig”和“purelin”為傳遞函數。選取動量BP法“traingdm”為訓練函數，最大訓練次數設為10000，期望誤差設置為0.001，學習率為0.01。由經驗公式計算的隱含層節點數的取值范圍：h0=4，hmax=13。

ES-PSO算法：粒子數N=30，解的維度(及粒子位置的維度)D=(n+m)*h+h+m=78。學習因子c1=c2=2.0，閾值limit=10，最大迭代次數Tmax=100。

選取4個性能指標評估預測精度：

平均誤差:

(11)

平均絕對誤差:

(12)

均方差:

(13)

平均絕對百分誤差:

(14)

需要指出：MAE表示平均絕對誤差值，避免誤差有正有負的中和問題。MSE表示預測均方誤差平均值，用來評價預測結果的變化程度，其中MSE值越小表明預測效果越好。MAPE用來評價預測方法的準確性。

3.2 隱含層節點數的確定

對BP神經網絡、PSO-BP和ESPSO-BP在節點數[4,13]范圍內依次進行50次試驗，訓練結果的平均數據如表2所示。本文通過網絡MAPE值確定隱含層節點數，三種網絡都在隱含層節點數為8時取到最小的MAPE值，三種網絡訓練效果都較好。因此，選取隱含層節點數8進行網絡訓練。

表2 三種網絡訓練的性能指標

3.3 訓練過程分析

如圖3、圖4所示，網絡均可以達到期望誤差精度MSE=0.001，但ES-PSO-BP神經網絡收斂速度最快，BP網絡在迭代4877次達到期望誤差，PSO-BP網絡迭代530次，而ES-PSO-BP網絡迭代274次可實現收斂。從MSE變化曲線可知，PSO-BP和ES-PSO-BP網絡的訓練過程明顯比BP網絡更平穩。圖5～7表明，BP神經網絡的訓練擬合精度達到98.42%，PSO-BP網絡達到98.43%，而ES-PSO-BP網絡達到98.45%。顯然ES-PSO-BP網絡訓練擬合精度逼近能力最強，與BP和PSO-BP網絡相比，相應的貯存可靠度的預測精度最高。圖8表明ES-PSO算法找到6次最優解，適應度值為0.001，均方差MSE更小。

圖3 PSO-BP網絡訓練曲線

圖4 ES-PSO-BP網絡訓練曲線

圖5 BP網絡訓練擬合精度

圖6 PSO-BP網絡訓練擬合精度

圖7 ES-PSO-BP網絡訓練擬合精度

3.5 結果比較

圖8表明PSO-BP粒子尋優過程迭代6次后收斂，出現早熟現象。當全局最優值連續10次不變時，提出的進化策略優化PSO-BP算法，從ES-PSO收斂曲線中可以看出粒子多次跳出最優值進行搜索，避免了過度擬合與陷入局部最優。表3對彈藥貯存可靠度進行的三種預測模型結果進行對比，ES-PSO-BP網絡模型的魯棒性和預測性能更好，獲得更小的AE、MAE、MSE和MAPE值。與BP神經網絡與PSO-BP網絡相比，圖9～10表明ES-PSO-BP網絡的預測值更逼近期望預測值，絕對誤差和與誤差波動范圍更小。

表3 三種網絡的預測結果的比較

圖8 PSO與ES-PSO的收斂曲線

4 結論

針對軍用產品非線性結構及機理不確定情況，根據貯存年限和可靠度歷史數據構造時間序列，采用橫向數據集方法擴充數據，提高樣本的數量與質量，從而建立貯存可靠度預測數學模型。通過進化策略改進粒子群的方法優化BP神經網絡中的網絡權值和閾值，通過確定隱含層節點數訓練網絡模型，優化神經網絡的拓撲結構。實驗結果表明，本文提出的ES-PSO-BP算法與BP神經網絡、PSO-BP算法相比，能夠顯著提升神經網絡收斂速度和訓練質量，提高貯存可靠性預測精度，進而提升軍事決策與評估的科學能力。