基于Hessian局部線性嵌入和MLP-Mixer的液體火箭發動機渦輪泵輕量化故障診斷框架

竇 唯, 趙東方, 張宏利, 劉樹林

(1.北京航天動力研究所,北京 100076; 2.上海大學 機電工程與自動化學院,上海 200044)

渦輪泵是液體火箭發動機的重要組件,是其推進劑輸送系統的“心臟”[1]。隨著航天技術的進步,渦輪泵的功率密度不斷增加,加之惡劣的工作環境,導致其故障概率也隨之增加[2]。因此,有必要探索先進有效的故障診斷技術以保障渦輪泵乃至整個運載系統正常運行[3]。

目前,在故障診斷領域,已有許多先進的分析手段被應用于各類機械設備中[4-6]。這些方法大多以振動信號為基礎,大體上可分為基于信號處理的方法和數據驅動方法兩大類。在信號處理方面,Hilbert-Huang變換[7]、小波分析[8]及卡爾曼濾波[9]等均被應用于渦輪泵故障診斷并取得了一定的成就。整體上,此類方法大多以特定的頻率分量作為故障判據,因此對故障機理研究具有較強的依賴性。然而渦輪泵結構復雜,建模難度較高[10-13]。此外,渦輪泵機體振動信號強烈的噪聲和非線性也使得以信號處理為基礎的診斷技術更加難以應用。對于數據驅動類方法,早期一般依賴于SVM[14]及BP[15]等分類器,這些方法在一定程度上降低了對故障機理的依賴和信號非平穩特性的影響[16-17]。然而,上述分類器多為淺層架構,特征空間劃分能力較弱,在一定程度上限制了診斷精度的提高[18-22]。

近些年,伴隨著人工智能的浪潮,深度學習也被應用于機械故障診斷領域[23-26]。本質上,以深度學習為基礎的診斷方法也屬于數據驅動類方法,可依靠其強大的非線性映射構建能力自動建立故障數據與類別標簽間的對應關系,從而獲取優越的診斷性能[27-29]。然而,在應用于液體火箭發動機渦輪泵故障診斷的過程中,直接以原始時域信號作為深度學習模型的輸入難以全面涵蓋其在多個分析域的特性,后續信息挖掘難度較大。更重要的是,由于應用場景的特殊性,渦輪泵工作時間短且工況極端惡劣,故障演變迅速,只有快速判斷裝備運行狀態才能夠為主動控制等策略的實施創造可能。因此,相比于常規旋轉機械,原始時域數據維數高且深度學習模型參數量大的問題在渦輪泵故障診斷中更加凸顯,極易導致整個診斷框架難以收斂且計算量劇增,從而嚴重降低診斷效率。

針對上述問題,本文提出了基于Hessian局部線性嵌入(Hessian locally linear embedding, HLLE)和MLP-Mixer的液體火箭發動機渦輪泵輕量化故障診斷框架。在所提方法中,為更加全面地提取數據特征,分別計算了渦輪泵信號的時域參數、頻域參數及時頻域參數,并采用HLLE[30]算法進行降維,在保障信息全面性的前提下有效降低了特征維度。此外,在分類器選擇方面,本文引入輕量化的MLP-Mixer[31]作為分類器。與其他深度學習模型相比,MLP-Mixer結構更加簡潔,訓練參數更少,且具有較為出色的分類性能。在試驗部分,采用某型號真實渦輪泵的試車數據驗證了所提方法的有效性。試驗結果表明,與傳統診斷方法相比,本文方法具有更高的精度優勢,與其他深度學習類方法相比,所提方法能夠在保障診斷精度的同時有效提高診斷效率。本文主要貢獻如下:

(1)針對現有故障診斷方法特性參數選擇片面及計算復雜度高等問題,提出了基于Hessian局部線性嵌入和MLP-Mixer的液體火箭發動機渦輪泵輕量化故障診斷框架。

(2)在所提方法中,綜合考慮了液體火箭發動機渦輪泵時域、頻域及時頻域特征,并通過HLLE算法降低了特征矩陣維度,在保障信息全面性的前提下降低了數據冗余度。

(3)引入輕量化的深度學習模型MLP-Mixer作為整個診斷框架的分類器,在保留模型特征抽象能力的同時進一步降低了整個診斷流程的計算復雜度。

1 理論基礎

1.1 Hessian局部線性嵌入

作為一種經典的數據降維算法,HLLE在ISOMAP的基礎上對限制條件進行了一定程度的放寬,可得到局部距離相等的低維坐標。此外,該方法將局部的線性關系替換為局部的Hessian矩陣的二次型關系,成功解決了類似近鄰數大于高維數據維度時導致權重系數不能保證滿秩問題。圖1給出了HLLE的示意圖,其計算過程可概括為以下步驟:

圖1 HLLE降維過程示意圖Fig.1 Schematic diagram of the dimension reduction process of HLLE

步驟1確定鄰域值

對每個樣本數據xi,i=1,2,…,N確定其相應的鄰域值k,并構造出樣本數據集Xi=[xi1,xi2,…,xik]。

步驟2計算切空間坐標

步驟3計算Hessian矩陣

步驟4構造二次矩陣

利用步驟3計算出的xi所對應的Hessian矩陣Hi,i=1,2,…,n構造出其對稱矩陣H。

(1)

步驟5計算矩陣H的零空間

對矩陣H進行特征值分解,并求出1～d+1個特征值及其相對應的特征向量u1,u2,…,ud+1,則U=[u1,u2,…,ud+1]為H的零空間。

步驟6計算對應的低維映射坐標

設矩陣Λ=(Λij)d×d,其元素為

(2)

式中,J為對應樣本點的鄰域集,且低維嵌入坐標可由式(3)給出

ψ=Λ-1/2UT

(3)

1.2 MLP-Mixer

MLP-Mixer是谷歌研究團隊在2021年開發的一種純MLP架構的神經網絡,最初應用于CV領域的圖像分類任務中。相較于當前主流的CNN架構中的卷積操作(Conv)和Transformer中的自注意力機制(Self-Attention),MLP-Mixer整體的結構更為簡單。MLP-Mixer模型整體可劃分為三部分,權值共享的全連接層、Mixer 層和分類模塊。MLP-Mixer的框架如圖2所示。

圖2 MLP-Mixer模型架構示意圖Fig.2 Schematic diagram of the MLP-Mixer model

權值共享的全連接層:全連接操作與卷積操作不同,只能獲取對象的全局特征信息,并不能獲取局部的特征信息。因此,當前的全連接層單獨處理對象各區域的特征,然后在之后的處理過程中實現區域信息的融合。具體來說,如圖2所示,原始的輸入圖片經過無重疊的分割后,將生成了S個子區域,每個子區域被稱為一個patch。每個patch經全連接層(fully connected layers, FC)映射后得到一維的特征向量,向量長度為C。將每個patch 的輸出結果組合后,我們得到一個S×C的矩陣。值得注意的是,處理每個patch的FC層是相同的,大大減少了模型訓練的參數。權值共享的全連接層實現了輸入特征從(H, W, C)到(S, C)的形狀變換。

Mixer層:通過觀察上一層的輸出,可以發現矩陣(S, C)中的每一行表示輸入對象在同一個空間位置不同通道上的信息,每一列代表不同空間位置在同一通道上的信息。因此,在(S, C)矩陣中,對每一行進行操作可以實現通道方向上的信息融合,對每一列進行操作可以實現空間方向上的信息融合。與傳統卷積不同的是,Mixer Layer分開操作了空間域和通道域信息融合。首先,將(S, C)矩陣的每一列元素逐列輸入到MLP1模塊中,實現空間信息的混合。MLP模塊由兩個全連接層與一個激活函數組成。然后,將空間混合后的輸出結果逐行輸入到MLP2模塊中,完成通道信息的混合。相較于步長為1的卷積核平移操作,Mixer層具有更高的特征提取效率。Mixer層的前向傳播公過程可由式(4)及式(5)給出

U*,i=X*,i+W2×σ(W1×LN(X)*,i)

(4)

Yj,*=Uj,*+W4×σ(W3×LN(U)j,*)

(5)

式中:X為Mixer層的輸入特征,形狀為(S, C);LN( )為層歸一化操作;σ為激活函數;W1、W2與W3、W4分別為MLP1與MLP2模塊內兩層全連接層的權重參數。

分類模塊:MLP-Mixer模型的分類模塊相對比較簡單,主要采用傳統的全局平均池化(global average pooling, GAP)、全連接層與Softmax激活函數組成。GAP的定義是在通道方向上,對每個通道內的所有特征值進行求和取平均,將平均值作為當前通道的輸出特征值。分類模塊的具體實現過程如圖3所示。

圖3 MLP-Mixer分類模塊示意圖Fig.3 Schematic diagram of the classification module

2 基于HLLE和MLP-Mixer的液體火箭發動機渦輪泵故障診斷流程

為提高渦輪泵故障診斷的精度并降低算法的時間復雜度,所提方法首先提取振動數據的時域、頻域及時頻域參數,并采用HLLE算法進行降維,在綜合各項特征的同時控制診斷模型的輸入維度。隨后,降維處理后的特征被用于MLP-Mixer分類器的訓練,相比于其他深度學習模型,MLP-Mixer結構更加簡潔,有助于整個診斷框架的輕量化。圖4給出了所提方法的整體流程,其詳細步驟如下:

圖4 所提輕量化故障診斷框架的整體流程Fig.4 Overall flow chart of the proposed lightweight fault diagnosis framework

步驟1利用加速度傳感器采集渦輪泵振動數據,按照預設長度截取樣本,并將其劃分為訓練集和測集。

步驟2分別計算訓練集和測試集中樣本的時域參數、頻域參數及時頻參數,利通過HLLE算法降維后利用訓練集數據訓練MLP-Mixer分類器直至收斂。

步驟3將測試集數據輸入已保存的網絡模型,對MLP-Mixer模型性能進行評估并輸出最終診斷結果。

3 試驗驗證

3.1 試驗設置

本節以某型號液體火箭發動機渦輪泵的試車數據為例驗證了所提方法的有效性。試驗過程中,振動加速度傳感器安裝在氧泵殼體外側相對平坦的位置,信號采集系統的采樣頻率為50 kHz。試車過程中,共收集了5種狀態下的渦輪泵振動信號,包括正常狀態(normal,NOR)、軸承故障(bearing fault,BF)、軸斷裂(shaft fracture,SF)、誘導燒蝕(inducer ablation,IA)和殼體裂紋(shell crack,SC)。在制作數據集的過程中,設置單個樣本的長度為2 048且各個樣本之間無交疊,每種狀態下獲得1 139個樣本。表1和圖5分別給出了試驗發動機的設計參數和渦輪泵加速度測點位置。試驗數據集的細節如表2所示,圖6和圖7分別給出了渦輪泵振動信號歸一化后的時域波形和頻譜。

表1 試驗發動機設計參數Tab.1 Design parameters of the test engine

表2 實驗數據集Tab.2 Test data set

圖5 加速度測點示意圖Fig.5 Schematic diagram of the measuring points

圖6 渦輪泵振動信號的時域波形Fig.6 Time domain waveform of turbopump vibration signal

圖7 渦輪泵振動信號的頻譜Fig.7 Frequency spectrum of turbopump vibration signal

3.2 特征參數選擇及模型參數設置

液體火箭發動機渦輪泵結構復雜,運行工況極端惡劣,通過故障機理研究來確定有效的特征參數難度大,因此,為更加全面地考慮數據特性并保障算法穩定性,本研究中對原始信號的時域、頻域及時頻域參數進行提取,將提取的30個特征指標用來構建渦輪泵高維特征集,高維特征集構成如表3所示。其中,序號1～10為有量綱時域特征指標,序號11～16為無量綱時域特征指標,序號17～29為頻域特征指標,序號30為時頻域特征指標,且相關含義及說明可在文獻 [32]中找到。

表3 特征集構成Tab.3 Composition of the feature set

在構建MLP-Mixer的過程中,本文主要采用MLP結構。此外,值得注意的是,在模型設計過程中,選用了卷積核尺寸、卷積步長與patch維度相等的卷積操作來實現權值共享的全連接層,以簡化模型。MLP-Mixer模型架構的詳細參數信息如表4所示。

表4 MLP-Mixer模型詳細參數Tab.4 Detailed parameters of the MLP-Mixer model

在模型的訓練過程中,學習率的取值十分重要,學習率設置不當,訓練會出現過擬合、損失振蕩劇烈等問題。然而,學習率的賦值與網絡架構、數據集信息等都存在一定聯系,關于學習率最優值的設定一直沒有明確標準。為解決上述問題,本文設置了學習率減緩機制,實現學習率的平滑衰減。學習率減緩機制表現為:在訓練初期,參數能快速定位到最優點附近。隨著學習率不斷衰減,參數逐漸逼近最優解。表5展示了學習率減緩機制的相關參數。

表5 學習率衰減機制相關參數Tab.5 Relevant parameters of learning rate attenuation mechanism

3.3 模型訓練與性能分析

試驗過程中,首先計算了不同狀態信號的高維特征集,利用HLLE算法降至16維后將所得數據重新排列為4×4的格式用于MLP-Mixer模型的訓練。訓練過程中,隨機選取數據集的70%作為訓練集(訓練集中的20%作為驗證集),其余30%作為測試集,并采用10次試驗的平均測試精度來評估算法性能。圖8給出了某次訓練中損失及識別精度的變化曲線。 如圖8所示,在訓練初期,損失下降及識別精度提高較為迅速,經過約15次迭代,基本達到較為理想的水平。在繼續的迭代過程中,損失曲線及精度曲線的變化逐漸趨于平緩,在經過約30次迭代后,曲線只是在極小的范圍內波動且趨勢基本穩定,整個過程中驗證準確率可基本穩定在100%。

圖8 訓練過程中模型損失及精度變化Fig.8 Model loss and accuracy change during training

模型收斂后,將測試集數據輸入模型以評估其性能。圖9為該次測試的混淆矩陣,從圖9中可以看出,對于5種不同的渦輪泵健康狀態,絕大部分狀態可以被準確識別,誤診樣本僅出現在BF狀態和IA狀態之間,而其他狀態之間沒有出現誤診樣本,本次測試精度為99.9%。

圖9 測試集混淆矩陣Fig.9 Confusion matrix of test set

3.4 與經典方法的比較

為驗證本文所提方法的優越性,本節將所提方法與故障診斷中較為常用的經典分類方法進行了比較。比較過程中,主要考慮了支持向量機(support vector machine,SVM) , 最小二乘支持向量機(least squares support vector machine,LSSVM)和反向傳播(back propagation,BP)神經網絡等方法。值得注意的是,所有方法均以未降維的高維特征集作為輸入。此外,在使用BP神經網絡的方法中,分別考慮了單隱層和雙隱層兩種結構,其中,單隱含層結構包含200個神經元,第二個隱含層包含100個神經元。值得注意的是,本文中SVM和LSSVM算法均采用了RBF核,并通過粒子群算法來確定最優的核參數及懲罰因子。對于SVM,核參數g1=4.37,懲罰因襲c1=12.72; 對于LSSVM, 核參數g2=3.44,懲罰因襲c2=15.08。對于BP算法,訓練采用了傳統的隨機梯度下降算法,當驗證集(訓練集數據的10%)損失發生較為明顯的上升趨勢時判定模型泛化停止。試驗過程中,為避免隨機因素的影響,所有方法均進行10次試驗,診斷結果如圖10及表6所示。

表6 不同方法的平均識別精度Tab.6 Average accuracy of different methods

圖10 不同方法的10次測試結果Fig.10 10 test results of different methods

由圖10及表6可知,在10次試驗中,本文方法均具有較為理想的識別正確率,且各次試驗結果波動較小,平均識別準確率為98.4%。與本文方法相比,常規SVM方法的識別準確率有所下降,約為90%,而LSSVM的識別精度可達93.7%。在兩種基于BP神經網絡的診斷方法中,單隱含層BP網絡的準確率為92.4%,這可能是淺層結構的局限所致。隨著網絡深度的增加,雙隱含層BP網絡的識別準確率有所提高,達到了94.3%,但與本文方法的98.4%依然存在較大差距。由上述分析可知,與常見的經典方法相比,本文方法具有較高的識別準確率和穩定性。

為進一步研究特征參數對算法性能的影響,不同特征參數下的診斷精度和時間,如表7所示。由表7可知,當僅使用時域或頻域特征時,計算時間最短,但診斷精度也較低,僅為95%左右。當同時使用時域及頻域特征時,診斷精度提升較為明顯,為97.8%,而進一步加入時頻域特征后,診斷精度僅有小幅提高,為98.4%,但整體性能更加穩定。由上述分析可知,特征參數的增加雖在一定程度上提高了計算復雜度,但有助于保障算法精度和穩定性。

表7 不同特征參數下的識別精度和時間Tab.7 Accuracy and time under different feature parameters

3.5 與深度學習類方法的比較

為進一步說明本文方法的優越性,將所提方法與DBN、CNN、LSTM-CNN、RseNet、ShuffleNet_V2及MobileNet_V2等深度學習方法進行了比較。對于所用DBN模型,主要由3個RBM組成,其中第一個RBM包含50個隱藏單元,而第二個及第三個RBM則包含100個隱藏單元。對于常規CNN,共包含3個Conv-ReLu-MaxPooling基本單元。其中,卷積層均含有32個卷積核,且卷積核的尺寸和步長均為4。在池化層中,池化區域的大小和步長均為2。對于ResNet, 則是在上述CNN基礎上添加殘差連接構成的。對于LSTM-CNN,則是在上述CNN最后一個池化層后添加了含有64個基本單元的LSTM層。對于ShuffleNet_V2,共包含3個基礎模塊,模塊內部使用ReLU作為激活函數。對于MobileNet_V2,主要由3個瓶頸殘差模塊構成,且模塊內部使用ReLU6作為激活函數。此外,在比較過程中,上述深度學習方法均以原始振動信號作為診斷模型的輸入,且超參數設置與本文MLP-Mixer保持一致,10次試驗結果如圖11及表8所示。

表8 不同方法的平均識別精度及計算時間Tab.8 Accuracy and time of different methods

圖11 不同方法的10次測試結果Fig.11 10 test results of different methods

由圖11及表8可知,當輸入為原始數據時,DBN和LSTM-CNN兩種方法的識別精度均較低,僅為95.7%和93.8%,這與淺層分類器相比雖然具有一定的優勢,但在深度學習類方法中卻處于較低水平。與此同時,常規CNN和ResNet的識別精度分別為97.1%和97.6%,與本文方法的98.4%差距較小,均達到了較為令人滿意的診斷效果。此外,在計算時間方面,LSTM-CNN耗時最長,約為260 s。值得注意的是,與輕量化模型ShuffleNet_V2及MobileNet_V2相比,本文所提診斷方法雖然在計算復雜度方面有所增加,但診斷精度優勢較為明顯。整體上,本文所提輕量化診斷框架的計算時間為112.5 s,能夠在保障診斷精度的同時有效降低算法計算量,體現了本文方法的優越性。

不同模型特征圖的t-SNE[33]可視化分析結果,如圖12所示。由圖12可知,CNN,ResNet和本文方法的可視化結果在形態上較為相似,5類渦輪泵數據在分類層之前的特征圖經t-SNE處理后均表現出了較好的分離趨勢,且不同類別數據間的分離邊界均較為清晰,彼此之間差異不明顯,這再次說明了本文方法在提高診斷效率的同時能夠保障分類性能。

圖12 不同方法的t-SNE可視化結果Fig.12 t-SNE visualization results of different methods

4 結 論

針對液體火箭發動機渦輪泵故障診斷中面臨的特性參數選擇片面及計算復雜度高等問題,本文提出了基于Hessian局部線性嵌入和MLP-Mixer的液體火箭發動機渦輪泵輕量化故障診斷框架。利用HLLE算法對信號的時域、頻域及時頻域特征進行降維,既全面考慮了信號特性又有效降低了數據冗余度。MLP-Mixer的引入,可以充分利用深度學習在特征抽象方面的優越性能,與此同時又降低了模型訓練參數量,有助于整個故障診斷框架的進一步輕量化。通過某型號真實渦輪泵的試車數據驗證了所提方法的有效性。試驗結果表明,與傳統方法相比,所提方法在識別精度方面具有顯著優勢,與其他深度學習類方法相比,本文方法能夠在保障診斷精度的前提下降低計算復雜度,提高診斷效率。