深度多模態(tài)遷移學(xué)習(xí)在軸承故障診斷中的研究

高麗鵬，雷文平，曹亞磊，冀科偉

（鄭州大學(xué)機(jī)械與動(dòng)力工程學(xué)院，河南 鄭州 450001）

1 引言

現(xiàn)代工業(yè)中，軸承被廣泛應(yīng)用于機(jī)械旋轉(zhuǎn)設(shè)備中，其運(yùn)行狀態(tài)的好壞直接影響著設(shè)備的整體性能，對其進(jìn)行高效直接的診斷有著重大意義[1]。但實(shí)際工程中，樣本往往以正常狀態(tài)數(shù)據(jù)為主，可用于訓(xùn)練的故障樣本較少甚至稀缺，難以對診斷模型進(jìn)行有效的訓(xùn)練。因此，研究此問題下的智能診斷問題更貼合工程實(shí)際，對于智能診斷更好邁向?qū)嶋H應(yīng)用提供了一種新思路。

近年來，人們開發(fā)研究各種有效的算法和方法進(jìn)行智能故障診斷，并取得了顯著的效果[2-4]。但忽略一些潛在問題從而制約了這些工作在工業(yè)實(shí)際中的廣泛應(yīng)用，即大多基于訓(xùn)練和測試集的數(shù)據(jù)是獨(dú)立同分布這一假設(shè)，而工程實(shí)際中，由于工作條件等因素，這一假設(shè)并不成立?；诖耍瑢⑦w移學(xué)習(xí)應(yīng)用到故障診斷領(lǐng)域?qū)⑹谴蚱七@一瓶頸的有效手段。遷移學(xué)習(xí)最初是由文獻(xiàn)[5]提出用于圖像跨領(lǐng)域識別。隨著遷移學(xué)習(xí)在視覺圖像領(lǐng)域的大放異彩，不少研究人員也將其思想遷移至故障診斷領(lǐng)域，并取得可喜的成就。文獻(xiàn)[6]提出基于SAE-BP神經(jīng)網(wǎng)絡(luò)的遷移診斷方法對風(fēng)電齒輪箱進(jìn)行故障診斷；文獻(xiàn)[7]提出基于特征遷移的故障診斷方法，通過多層域適應(yīng)完成了對機(jī)電軸承的故障診斷；這些工作在一定程度上有效的促進(jìn)了智能遷移診斷應(yīng)用于工程實(shí)際，但輸入的振動(dòng)信號往往是基于一種模態(tài)，提取的故障信息有限。因此有些學(xué)者開始聚焦多模態(tài)信息融合技術(shù)應(yīng)用于故障診斷的研究。文獻(xiàn)[8]利用三個(gè)維度的信息特征構(gòu)建網(wǎng)絡(luò)實(shí)現(xiàn)低層信息融合并通過深度堆疊稀疏自編碼器實(shí)現(xiàn)高層特征的提取。文獻(xiàn)[9]將時(shí)域和頻域相融合應(yīng)用于小波神經(jīng)網(wǎng)絡(luò)中以進(jìn)行對故障類別的元學(xué)習(xí)，但未考慮不同工況條件下的域差異問題。

基于以上研究，針對工業(yè)實(shí)際中故障樣本數(shù)據(jù)缺乏，訓(xùn)練和測試數(shù)據(jù)往往不服從獨(dú)立同分布的假設(shè)[10]且單一模態(tài)信息表征能力有限、偶然性高、易受外界影響等缺陷，提出一種基于時(shí)域和頻域多模態(tài)信息融合的深度遷移學(xué)習(xí)模型（DMFTL）。該方法不僅可對故障的多模態(tài)特征進(jìn)行互補(bǔ)，增強(qiáng)其信息的表征能力，提高遷移模型的跨域診斷性能，且特征層的融合可有效減少特征冗余，對模型的魯棒性也起到了積極的作用。

2 基本理論

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種基于卷積計(jì)算的典型的深度學(xué)習(xí)模型。最初應(yīng)用于圖像處理，其典型結(jié)構(gòu)，如圖1 所示。由于通常采集到的軸承原始振動(dòng)信號為一維信號，因此采用一維卷積神經(jīng)網(wǎng)絡(luò)，最大程度地保留了信號的原始信息。CNN 通常由卷積層、池化層、全連接層和輸出層構(gòu)成[11]。

圖1 經(jīng)典CNN結(jié)構(gòu)示意圖Fig.1 Structure Diagram of Classic CNN

卷積層通過輸入信號與卷積核進(jìn)行卷積運(yùn)算以實(shí)現(xiàn)特征提取，數(shù)學(xué)表達(dá)式如（1）示。通過激活函數(shù)進(jìn)行非線性映射選用ReLU作為激活函數(shù)，如式（2）所示。

式中：yl(i，j)—第l層輸出的激活值；f(.)—激活函數(shù)；Kli—第l層的i個(gè)卷積核；xl(j)—第l層中第j個(gè)被卷積的局部區(qū)域。池化層在減少參數(shù)量的同時(shí)保留有用的信息，以防止過擬合，并通常采用最大池化。數(shù)學(xué)描述，如式（3）所示。

式中：pl(i，j)—最大池化得到的結(jié)果；yl(i，t)—第l層第i幀第t個(gè)神經(jīng)元激活值；H—池化區(qū)域?qū)挾取?/p>

全連接層起到分類的作用，網(wǎng)絡(luò)正向傳播，如式（4）所示。并通過反向傳播算法迭代優(yōu)化。最后采用Softmax激活函數(shù)將輸出轉(zhuǎn)化為概率結(jié)果。其公式，如式（5）所示。

基于上述CNN，給定一數(shù)據(jù)集，其訓(xùn)練過程的優(yōu)化任務(wù)可描述，如式（6）所示。

式中：?—損失函數(shù)；y-—真實(shí)標(biāo)簽；u—全連接層；y(·)—預(yù)測標(biāo)簽。

2.2 多模態(tài)信息融合

多模態(tài)信息融合（Multimodal Information Fusion）是以多個(gè)或多類不同類型或相同類型的信息數(shù)據(jù)為基礎(chǔ)，通過特征抽取等空間變化方法將同構(gòu)或異構(gòu)信息進(jìn)行一致性的表示，然后進(jìn)行信息的有效融合，得到關(guān)于被監(jiān)測系統(tǒng)的狀態(tài)估計(jì)［12］。根據(jù)數(shù)據(jù)融合階段和層次的不同，融合方法可以分為三種類型：數(shù)據(jù)級融合、特征級融合和決策級融合。

針對該項(xiàng)研究中的數(shù)據(jù)和算法特點(diǎn)，由于數(shù)據(jù)級融合會導(dǎo)致數(shù)據(jù)量龐大冗余，計(jì)算耗時(shí)，而決策級融合又過度依賴決策算法，易導(dǎo)致誤判，因此選擇特征級融合。故障診斷中不同域信號均為不同模態(tài)，選定時(shí)域、頻域兩種模態(tài)信息，分別通過卷積層和池化層進(jìn)行特征提取，并在特征級進(jìn)行融合從而進(jìn)行遷移診斷分類，如圖2所示。

圖2 故障信息特征級融合示意圖Fig.2 Schematic Diagram of Feature Level Fusion of Fault Information

2.3 遷移學(xué)習(xí)

遷移學(xué)習(xí)是指利用數(shù)據(jù)、任務(wù)、或模型之間的相似性，將在舊領(lǐng)域?qū)W習(xí)過的模型，應(yīng)用于新領(lǐng)域的一種學(xué)習(xí)過程［13］。它包含兩個(gè)基本的概念：域和任務(wù)。為更有助理解將遷移學(xué)習(xí)問題形式化，現(xiàn)對其分別說明。

由于實(shí)際工程中，源域和目標(biāo)域的數(shù)據(jù)分布往往存在差異，從源域中學(xué)習(xí)到的診斷知識并不能很好地識別目標(biāo)域的軸承故障類別。而域適應(yīng)是一種有效的解決途徑，其診斷示意圖，如圖3所示。旨在構(gòu)建一種遷移診斷模型適配域差異，以提高跨域故障診斷的準(zhǔn)確度。

圖3 域適應(yīng)遷移診斷示意圖Fig.3 Schematic Diagram of Domain Adaptation Migration Diagnosis

2.4 度量準(zhǔn)則

遷移學(xué)習(xí)的核心在于找到源域和目標(biāo)域之間的相似性，并加以合理的利用。即使得源域和目標(biāo)域的距離最小，相似度最大[14]。最大均值差異（MMD）是衡量兩個(gè)域分布差異的常用度量，它度量了在再生希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）中兩個(gè)概率分布的距離［14］。給定數(shù)據(jù)集Xt和Xs，Ps(Xs)≠Pt(Xt)，進(jìn)行邊緣分布自適應(yīng)，其MMD如式（7）所示。

MMD 的本質(zhì)即是求出映射后源域和目標(biāo)域的均值之差。我們使用MMD 來構(gòu)造特征深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中約束的正則化項(xiàng)。

3 實(shí)施方式

3.1 域自適應(yīng)

域自適應(yīng)方法往往是適配源域和目標(biāo)域的差異，尋求在RKHS中兩個(gè)數(shù)據(jù)集分布的最小化距離[12]。采用基于特征的自適應(yīng)方法來適配故障診斷實(shí)際中源域和目標(biāo)域之間差異，并通過后續(xù)實(shí)驗(yàn)，驗(yàn)證其有效性。

3.2 訓(xùn)練DMFTL具體實(shí)施方式

以CNN為基本深度學(xué)習(xí)模型，利用多模態(tài)信息融合技術(shù)，引入上述MDA的正則化項(xiàng)，以實(shí)現(xiàn)域自適應(yīng)，其診斷流程圖，如圖4所示。

圖4 DMFTL模型診斷流程圖Fig.4 DMFT Model Diagnosis Flow Chart

利用式（6）定義的優(yōu)化任務(wù)在帶有標(biāo)記數(shù)據(jù)的源域上從零開始訓(xùn)練，選用交叉熵?ce作為損失函數(shù)，結(jié)合MDA的正則化項(xiàng)，目標(biāo)函數(shù)可定義為如式（10）。

4 實(shí)驗(yàn)對比分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

采用凱斯西儲大學(xué)（CWRU）開源的軸承實(shí)驗(yàn)數(shù)據(jù)集。軸承數(shù)據(jù)由加速度傳感器在四種載荷條件（0HP、1HP、2HP和3HP）下采集。實(shí)驗(yàn)選擇驅(qū)動(dòng)端軸承，型號為SKF-6205，采樣頻率12kHz。每種工況下有四種健康狀態(tài)，分別為健康（N）、內(nèi)圈故障（IR）、外圈故障（OR）和滾動(dòng)體故障（B），每種故障位置包含三種故障尺寸，分別為0.007英寸、0.014英寸和0.021英寸。各工況下的部分故障類別數(shù)據(jù)時(shí)域和頻域特征，如圖5所示。

圖5 各工況下部分?jǐn)?shù)據(jù)時(shí)域頻域特征圖Fig.5 Time Domain and Frequency Domain Characteristics of Partial Data Under Various Working Conditions

在此次實(shí)驗(yàn)中，我們旨在探索所提方法在不同工況下樣本的遷移能力。選取每種故障類型的樣本為200，以探究該模型在小樣本情況下泛化能力。設(shè)計(jì)四個(gè)遷移診斷任務(wù)進(jìn)行實(shí)證評估，如表1所示。

表1 不同工況下的遷移診斷實(shí)驗(yàn)Tab.1 Migration Diagnosis Experiments Under Different Working Conditions

基于DMFTL的診斷方法利用特征遷移策略進(jìn)行域適應(yīng)，以達(dá)到對滾動(dòng)軸承跨域診斷的目的。未標(biāo)記的目標(biāo)樣本用于域自適應(yīng)，此過程中不使用標(biāo)簽信息。在域自適應(yīng)后，使用另一組帶有標(biāo)簽的測試目標(biāo)樣本來評估所要遷移的診斷模型的性能。在DMFTL模型中，其使用的CNN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，如表2所示。使用了3個(gè)卷積層和最大池層的結(jié)構(gòu)，同時(shí)為緩解網(wǎng)絡(luò)過擬合，對網(wǎng)絡(luò)參數(shù)引入L2范數(shù)正則化項(xiàng)，權(quán)值衰減為1e-3。批處理大小從（16～64），迭代次數(shù)設(shè)置為20，以驗(yàn)證其在該范圍下的有效性和優(yōu)越性。

表2 CNN結(jié)構(gòu)參數(shù)表Tab.2 Structural Parameters of CNN

4.2 結(jié)果分析及可視化

提出的DMFTL 模型的建立基于python 語言。為確保實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，減小隨機(jī)初始化待訓(xùn)練參數(shù)對遷移診斷過程的影響，每個(gè)模型經(jīng)過20次重復(fù)性試驗(yàn)以避免實(shí)驗(yàn)結(jié)果的偶然性，并將平均準(zhǔn)確率作為最終準(zhǔn)確率。在遷移診斷任務(wù)中，模型識別準(zhǔn)確率最低亦可達(dá)到97.8%，表明該方法可有效學(xué)習(xí)和提取故障信息特征，從而達(dá)到良好的遷移和域適配效果。為進(jìn)一步說明所提方法的優(yōu)勢，相同條件下設(shè)置對照組，將DMFTL 與WDCNN、TCA、STTL（單模態(tài)時(shí)域遷移學(xué)習(xí)）、SFTL（單模態(tài)頻域遷移學(xué)習(xí)）進(jìn)行對比分析，如圖6所示。

圖6 不同模型在遷移診斷任務(wù)中對比結(jié)果Fig.6 Comparison Results of Different Models in Migration Diagnosis Task

（1）WDCNN。作為傳統(tǒng)的深度學(xué)習(xí)模型與所提方法具有相同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，但缺少源域和目標(biāo)域故障特征的域適配過程。在各遷移診斷任務(wù)中，任務(wù)F→E 達(dá)到最高，準(zhǔn)確率為68.6%，表明基于WDCNN的智能診斷模型在跨域診斷中因存在數(shù)據(jù)間的分布差異，訓(xùn)練模型過擬合而致使泛化能力較弱，識別精度不高。（2）TCA。TCA為淺層的遷移學(xué)習(xí)方法，它是將源域和目標(biāo)域的數(shù)據(jù)映射至一個(gè)高維的希爾伯特空間，并在此空間中最小化兩者之間的距離。在遷移診斷任務(wù)F→E中準(zhǔn)確率最高僅為42.6%，準(zhǔn)確率較低，說明該方法對故障特征的深層提取能力不足，診斷效果較差。（3）STTL和SFTL。兩者單模態(tài)深度遷移診斷方法，在各遷移診斷任務(wù)中準(zhǔn)確率相差不大，但較為不穩(wěn)定，準(zhǔn)確率最低為任務(wù)A→B的80.5%，最高為任務(wù)E→F的95.7%。SFTL整體略勝一籌，這是因?yàn)轭l域中，噪聲分布在整個(gè)頻帶上，故障信息相較時(shí)域易區(qū)分，但單模態(tài)依然存在不明顯特征會被遺漏的問題。而DMFTL較好地結(jié)合了以上方法的優(yōu)點(diǎn)，準(zhǔn)確率明顯高于其他方法，且魯棒性更好，表現(xiàn)出良好的泛化能力。

為更加直觀地表現(xiàn)DMFTL模型的性能，在遷移診斷任務(wù)F→E中，將模型在訓(xùn)練階段和測試階段最后一個(gè)隱藏層提取出的特征采用t-SNE（t-distribution Stochastic Neighbor Embedding）進(jìn)行可視化，如圖7所示。SFTL訓(xùn)練階段和測試階段，如圖7（a）、圖7（b）所示。DMFTL 訓(xùn)練階段和測試階段，如圖7（c）、圖7（d）所示?？梢钥闯觯谟?xùn)練階段，模型都達(dá)到了較好的分類效果，但在測試階段，SFTL 分類性能較弱于后者，DMFTL 的魯棒性和泛化能力更強(qiáng)，能夠很好地進(jìn)行故障診斷。

圖7 t-SNE可視化結(jié)果Fig.7 t-SNE Visualization Results

5 結(jié)論

提出基于DMFTL的智能診斷模型，解決了可用數(shù)據(jù)稀缺且模態(tài)單一使得提取的故障特征不夠完備，進(jìn)而導(dǎo)致訓(xùn)練模型在跨域診斷問題中識別準(zhǔn)確率低且魯棒性較差的問題，并得出以下結(jié)論：（1）在對振動(dòng)信號的處理及特征提取方面。同時(shí)對原始振動(dòng)信號時(shí)域和頻域進(jìn)行特征提取，彌補(bǔ)了單一使用時(shí)域或頻域易遺漏有效信息的不足，使得提取到的故障特征可以相互補(bǔ)充，有效提高了模型在遷移診斷任務(wù)中的魯棒性。（2）構(gòu)建基于深度多模態(tài)遷移診斷模型DMFTL。利用大量帶標(biāo)簽的源域數(shù)據(jù)預(yù)訓(xùn)練模型，并通過域適應(yīng)方法最小化源域和目標(biāo)域的差異，為智能故障診斷更好應(yīng)用于實(shí)際工程提供了一種新思路。