改進LDA在模擬電路故障預測中的應用

金川，李小珉，田沿平

（海軍工程大學 電子工程學院，湖北 武漢 430033）

隨著復雜電子系統的應用，人們對故障診斷的準確性和預測性的需求也與日俱增。有效的診斷與預測技術能通過監測系統早期故障信息判斷當前的失效狀態，并結合各種資源信息預測故障發展趨勢，從而在系統失效前進行維修。

狀態監測與健康管理[1]技術能有效降低系統周期費用，提高系統的綜合效能，在可靠性要求高的軍、民系統中得到廣泛應用。我國，目前該方面的研究集中在電力、橋梁領域，其他方面的應用還比較少。

當故障元件超出容差正常范圍但是偏離程度較小（部件沒有完全失效），電子系統處于弱故障狀態下，電路的狀態特征會隨著元件參數的變化而改變，但提取的原始特征有很高的維數和冗余性。數據的高維性在增加算法計算量的同時會導致維數災難和小樣本問題，所以特征提取非常關鍵。文中提出一種維數簡約特征提取方法，嘗試用改進的線性辨別分析法（LDA）對電路狀態特征進行預處理，用隱馬爾科夫模型作分類器來識別系統早期故障狀態，并與其他方法實驗結果進行對比，驗證該方法的有效性。

1 特征提取

特征提取是根據變換方式可分為線性方法和非線性方法。典型的線性特征提取法有主成元分析[2]與線性辨別分析[3]。PCA是一種無監督特征提取法，目的是尋找樣本離散度最大的方向矢量，LDA是有指導特征提取法，通過尋找類間散度與類內散度最大比值來進行最優線性變換。

1.1 LDA

LDA是模式識別經典算法，它主要將高維樣本投影到最佳鑒別矢量空間，來達到抽取分類信息和約減特征維數的效果，預處理后保證樣本在新的子空間有最大的類間距和最小的類內散度，保證樣本在投影子空間中獲得最好可分離性。

在 Rm空間有 n 個樣本（x1，x2，…，xn），xi是第 i個樣本，mi表示屬于第i類樣本的個數，設此空間共有c類樣本。

1）u是所有樣本的均值

2）ui是各類樣本均值

3）樣本類間離散度

4）樣本類內離散度

根據Fisher鑒別準則表達式

為獲得最優線性變換得到的投影矩陣W，上述表達式變換為尋找J（W）的最大值。

利用Fisher準則來獲得最優線性變換的同時經常面臨兩個問題：一個是提取的特征維數遠超樣本數的小樣本問題[4]，此時類內離散度奇異或接近奇異，造成LDA失效；一個是秩限制問題[5]，此時c類樣本獲得的最優判別向量數小于c。

為解決小樣本問題，一般先對樣本進行一次PCA降維處理，消除樣本的冗余性，進而使類內離散度非奇異，然后再采用LDA算法（PCA+LDA）[6]。還有一種方法是通過增加一個擾動參數來保證類內離散度的非奇異（RDA）。還有零空間法和DLDA等。

1.2 本文算法

上述算法在解決小樣本問題的同時也容易造成類內離散度零空間信息的丟失，本文提出一種改進的線性判別分析法。它能在提取類內離散度零空間和非零空間中的信息的同時解決小樣本問題和秩限制問題。

首先將式（1）進行變換

若α、λ分別為方陣A的特征值、特征向量，則exp（A）的特征值、特征向量為 α、exp（λ）。

所以式（2）可變為

最終將尋找最佳投影方向問題轉化為求解（exp（Sw））-1exp（Sb）特征向量問題，經分析該求職問題共有兩種情況：

1）w exp（Sw）w=1，此時等價于傳統LDA算法中的wTSww=0的情況，改進后的算法就能較好地利用Sw零空間信息。

2）wTexp（Sw） w≠1，此時等價于 LDA 算法中類內離散度非奇異狀況，也能有效提取有效特征信息。

2 HMM

隱馬爾科夫模型（Hidden Markov Model，HMM）是一種典型的統計信號處理方法，廣泛應用于信號處理的各個領域。其基本理論是在1970年前后建立起來的，隨后被應用于語音識別領域。HMM可分為離散隱馬爾科夫模型和連續隱馬爾科夫模型兩種，在電子系統試驗方面采用連續隱馬爾科夫模型能取得較好的實驗效果。

HMM 可以定義為 5 個基本參數集合：λ=（S，V，π，A，B）；S為有限狀態集合；V為有限觀察符號集合；π是初始化概率向量；A是狀態轉移矩陣；B是觀察概率矩陣。

HMM可解決3類問題：

1）評估問題：利用前向算法計算給定序列生成觀察序列的概率；

2）解碼問題：利用Viterbi算法尋找生成觀測序列的最大概率的狀態序列；

3）學習問題：利用Baum-Welch算法通過對觀測序列的訓練尋找符合要求的模型[7]。

本文主要利用HMM解決第3類問題，首先設置連續HMM的初始參數建立初始模型λ0，然后利用Baum-Welch算法基于λ0和觀察序列訓練新模型λ直至達到預期效果[8]。

3 實 驗

實驗主要分為特征向量提取、模型訓練和故障識別3步。

圖1 故障識別框圖Fig.1 Schematic diagram of the faults identification

由于系統發生單類故障情況的概率遠超其他的概率，所以本文主要討論單類故障的情況。如圖選擇一個二階高通濾波器為例來驗證本文算法的有效性。

圖2 二階高通濾波器Fig.2 Second-order high-pass filter

實驗時選擇 R1、R2、R5、R6、C1、C2作為故障元件，設置電路中電阻的容差為±10%，電容的容差范圍為±5%。故障分為增大和減少兩類（電阻和電容向上超出容差范圍和向下超出容差范圍兩類），則電路共有12類故障狀態，再加上正常態共有13類狀態。

實驗步驟如下：

1）電路分析。 設置 R1=6.2 kΩ，R2=6.2 kΩ，R3=6.2 kΩ，R4=1.6 kΩ，R5=5.1 kΩ，R6=10 kΩ，C1=5 nF，激勵源設為 2 V，幅角為0°，電路輸出點作為測試點。首先分析正常態下的電路幅頻響應，得出電路的轉折頻率為10 kHz，所以選擇10.5 kHz，11 kHz，11.5 kHz，12 kHz，12.5 kHz和 13 kHz作為測試頻率。

2）樣本提取。將電路每類狀態下5個測試頻率對應的輸出電壓值作為一個電壓特征向量。每類狀態進行600次蒙特卡羅仿真則得到600個特征向量，將其平均分為訓練和測試樣本兩類。

3）特征降維。將各類狀態對應的測試和訓練樣本分為長度為10的序列，則各狀態均得到30個訓練樣本序列和30個測試樣本序列。先將訓練樣本序列分別采用LDA、PCA、PCA+LDA及本文算法進行降維處理，保存映射矩陣。然后將測試樣本經映射矩陣轉換得到處理后的測試特征序列。

4）訓練參數設定。將訓練模型的狀態數設置為10，初始狀態概率 π 設為 [1，0，0， …，0]， 狀態轉移矩陣 A設為[0.5，0.5，0，…，0；0，0.5，0.5，0，…，0；…；0，0，…，0，0，1]，觀察概率矩陣B的值由K均值迭代法獲取。

5）樣本訓練。將經降維處理的后的訓練樣本訓練各狀態對應的HMM模型。

6）故障識別。輸入測試樣本，檢驗各狀態對應的故障識別率。

實驗結果如表1所示。

表1 故障識別率Tab.1 Fault recognition rate

從上表可看出，改進后的LDA提取的特征具有最高的故障識別率，說明該方法提取的特征向量具有最多的有效信息，而PCA因為在提取過程中沒有考慮提取過程中特征的類別信息。

4 結 論

本文針對電路早期故障狀態難以辨識的特點，利用線性辨別分析法對電路的頻響電壓特征進行消除冗余和降維處理；同時針對傳統LDA面臨的小樣本問題和秩限制問題，提出了一種改進的線性辨別分析算法。該方法重新定義了類內離散度矩陣零空間和非零空間中的信息。通過與其他方法進行比較的實驗，結果表明，本文方法對模擬電路早期故障的識別能力優于其他方法。

[1]袁海文，王秋生.工程系統中的智能故障診斷與預測[M].北京：國防工業出版社，2013.

[2]Jolliffe IT.Principal component analysis[M].Springer Verlag，2002.

[3]Duda R O，Hart P E.Pattern classification and scene analysis[M].A Wiley-Interscience Publication，1973.

[4]劉忠寶，王士同.改進LDA算法及秩限制問題研究[J].計算機工程及應用，2010，46（32）：17-20.LIU Zhong-bao，WANG Shi-tong.Improved LDA algorithm and research on rank limitation[J].Computer Engineering and Applications，2010，46（32）:17-20.

[5]李道紅.線性判別分析新方法研究及其應用[D].南京：南京航空航天大學，2005.

[6]Swets D，Weng J.Using Discriminant Eigenfeatures for Image Retrieval[J].IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1996，18（8）:831-836

[7]許麗佳，黃建國，王厚軍.基于HMM的模擬電路故障診斷方法[J].計算機輔助設計與圖形學學報，2010，22（7）：1216-1222.XU Li-jia，HUANG Jian-guo，WANG Hou-jun.A method for the diagnosis of the incipient faults in analog circuits using HMM[J].Journal of Computer-Aided Design&Computer Graphics，2010，22（7）:1216-1222.

[8]ZENG Qing-hu，QIU Jing，LIU Guan-jun，et al.Equipment Degradation State Recognition Method and Its Applications Based on Wavelet Feature Scale Entropy and Hidden Semimarkov models[J].Acta Armamentarii，2008，20（12）:198-203.