小波包域?qū)棺⒁饬w移學(xué)習(xí)故障研究

王景陽(yáng)， 尹洪申， 俞 嘯， 張勛兵

（1 中煤電氣有限公司， 北京 101320； 2 中國(guó)礦業(yè)大學(xué) 物聯(lián)網(wǎng)（感知礦山）研究中心， 江蘇 徐州 221008）

0 引 言

在《中國(guó)制造2025》中，智能故障監(jiān)測(cè)和診斷已經(jīng)被列為實(shí)現(xiàn)未來(lái)全面工業(yè)化的必要技術(shù)之一［1］。而軸承承載著各行各業(yè)的動(dòng)力和制造任務(wù)，經(jīng)常處在高速、強(qiáng)負(fù)荷的環(huán)境中，極易發(fā)生故障。 軸承一旦發(fā)生故障，輕則影響機(jī)械運(yùn)行的工作效率，重則導(dǎo)致人員傷亡等。 因此，研究軸承故障診斷技術(shù)具有重要的工程價(jià)值和理論意義［2］。

傳統(tǒng)的振動(dòng)信號(hào)分析方法如短時(shí)傅里葉變換、小波分解、經(jīng)驗(yàn)?zāi)B(tài)分解等，雖然能夠?qū)S承信息進(jìn)行簡(jiǎn)單處理，但其無(wú)法充分提取軸承故障中的豐富信息，從而造成傳統(tǒng)機(jī)器學(xué)習(xí)的診斷方法無(wú)法滿足精準(zhǔn)軸承故障分類(lèi)的要求。

隨著大數(shù)據(jù)和人工智能的快速發(fā)展，基于深度學(xué)習(xí)的方法逐漸成為了故障診斷領(lǐng)域研究的熱點(diǎn)。深度學(xué)習(xí)網(wǎng)絡(luò)通過(guò)端到端的方法，無(wú)需專(zhuān)家的先驗(yàn)知識(shí)，大大提高了故障診斷的效率［3］。 周等［4］將變分模態(tài)分解（Variational Mode Decomposition，VMD）與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）相結(jié)合，實(shí)現(xiàn)了故障特征的自動(dòng)提取和分類(lèi)；杜等［5］首先利用小波變換得到不同尺度的時(shí)頻域信息，其次將不同尺度的信息與CNN 相結(jié)合，全面提升網(wǎng)絡(luò)的故障分類(lèi)能力。

雖然深度學(xué)習(xí)在同工況軸承故障分類(lèi)中取得了不錯(cuò)的效果，但面對(duì)變工況場(chǎng)景，深度學(xué)習(xí)往往無(wú)法取得較好的故障分類(lèi)效果。 因?yàn)樯疃葘W(xué)習(xí)網(wǎng)絡(luò)主要是在同一網(wǎng)絡(luò)模型中訓(xùn)練，源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)分布差異較小，但在變工況場(chǎng)景中源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)往往存在較大的差異，導(dǎo)致利用深度學(xué)習(xí)的方法無(wú)法建立行之有效的故障診斷模型。

為了解決這一問(wèn)題，基于遷移學(xué)習(xí)的軸承故障診斷方法被提出。 遷移學(xué)習(xí)通過(guò)找尋源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間的相似性，實(shí)現(xiàn)源域數(shù)據(jù)到目標(biāo)域數(shù)據(jù)的遷移。 朱等［6］利用局部最大均值差異度量準(zhǔn)則減少兩域之間的分布差異，提高了變工況故障分類(lèi)準(zhǔn)確率，但其忽略了數(shù)據(jù)在邊緣概率分布的影響；楊等［7］利用少量的目標(biāo)域標(biāo)簽數(shù)據(jù)構(gòu)建模型遷移的方法來(lái)解決兩域數(shù)據(jù)分布差異過(guò)大的問(wèn)題，但現(xiàn)實(shí)場(chǎng)景中大多數(shù)是無(wú)標(biāo)簽情況；胡等［8］利用域?qū)咕W(wǎng)絡(luò)解決兩域之間分布差異過(guò)大的問(wèn)題，但域判別器的全連接層對(duì)故障信息的整合能力較弱，在一定程度上導(dǎo)致故障分類(lèi)效果不佳。

針對(duì)以上問(wèn)題，本文提出了一種基于小波包域?qū)棺⒁饬w移學(xué)習(xí)的故障診斷方法。 首先，通過(guò)WPT 獲取不同尺度的時(shí)頻特征信息；其次，利用SE注意力模塊對(duì)關(guān)鍵特征賦予高權(quán)重；最后，通過(guò)LMMD 和改進(jìn)的域?qū)咕W(wǎng)絡(luò)減少相關(guān)子域和全局域之間的結(jié)構(gòu)差異，提升模型兩域信息的整合能力，實(shí)現(xiàn)變工況場(chǎng)景下的精準(zhǔn)故障分類(lèi)。

1 基礎(chǔ)理論

1.1 Resnet 神經(jīng)網(wǎng)絡(luò)

雖然CNN 在深度學(xué)習(xí)中取得了不錯(cuò)的效果，但隨著網(wǎng)絡(luò)的加深，CNN 網(wǎng)絡(luò)容易出現(xiàn)梯度彌散和梯度爆炸的問(wèn)題。 為了解決這個(gè)問(wèn)題，何凱文團(tuán)隊(duì)［9］在2015 年提出了一種殘差網(wǎng)絡(luò)（Residual Network，Resnet）來(lái)解決CNN 網(wǎng)絡(luò)的弊端，殘差模塊結(jié)構(gòu)如圖1 所示。

圖1 殘差模塊結(jié)構(gòu)Fig.1 Structure diagram of residual module

從圖1 可以看出，殘差模塊由兩種映射組成：一個(gè)是恒等映射，即輸入的x通過(guò)捷徑連接直接輸出到下一層；另一個(gè)是殘差映射，通過(guò)兩層卷積操作來(lái)實(shí)現(xiàn)，因此有式（1）：

其中，x代表輸入，H(x) 代表殘差。

1.2 SE 注意力模塊

SE 注意力模塊又稱(chēng)通道注意力模塊，其主要關(guān)注特征在通道之間的復(fù)雜關(guān)系［10］。 SE 模塊結(jié)構(gòu)圖如圖2 所示，當(dāng)輸入特征通過(guò)一個(gè)全局平均池化后，其特征降維到1×1，然后通過(guò)兩個(gè)全連接層的降維和升維最終保持特征原有通道數(shù)。 這樣做的目的是保證網(wǎng)絡(luò)能夠同時(shí)獲得通道局部信息和全局信息，從而在通道上對(duì)關(guān)鍵信息特征賦予更高的權(quán)重，提升網(wǎng)絡(luò)模型整體的特征表達(dá)能力。

圖2 SE 模塊結(jié)構(gòu)Fig.2 Structure of SE module

1.3 域?qū)咕W(wǎng)絡(luò)網(wǎng)

域?qū)股窠?jīng)網(wǎng)絡(luò)（Domain-Adversarial Training of Neural Networks，DANN）借鑒了生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）的思想［11］。但DANN 與GAN 又有一定的區(qū)別，DANN 網(wǎng)絡(luò)既有源域數(shù)據(jù)又有目標(biāo)域數(shù)據(jù)，因此不需要GAN 的生成器網(wǎng)絡(luò)，而是將生成器網(wǎng)絡(luò)替換成了提取數(shù)據(jù)的特征提取網(wǎng)絡(luò)。 DANN 網(wǎng)絡(luò)遷移的核心思想是通過(guò)最大化域判別器損失，使得域判別器無(wú)法準(zhǔn)確分析出特征提取網(wǎng)絡(luò)輸送的兩域特征數(shù)據(jù)，以此來(lái)對(duì)齊源域與目標(biāo)域之間的分布。 DANN 網(wǎng)絡(luò)模型圖如圖3所示。

圖3 DANN 網(wǎng)絡(luò)模型Fig.3 DANN network model

1.4 LMMD

最大平均差異（Maximum Mean Discrepancy，MMD）是域自適應(yīng)領(lǐng)域中最常用的度量距離之一，但是對(duì)于兩域中的子類(lèi)別分類(lèi)問(wèn)題，MMD 總是通過(guò)全局?jǐn)?shù)據(jù)來(lái)對(duì)齊子域之間的分布，容易造成子域類(lèi)別匹配錯(cuò)誤，從而導(dǎo)致域自適應(yīng)模型性能下降。 而LMMD 通過(guò)深度特征自適應(yīng)和特征學(xué)習(xí)來(lái)匹配源域和目標(biāo)域特征之間的分布，減少了相關(guān)子域的差異分布，實(shí)現(xiàn)了子域級(jí)別細(xì)粒度的對(duì)比。 LMMD 的表達(dá)式如式（2）：

其中，p，q代表源域和目標(biāo)域分布概率；xsi代表源域第i樣本數(shù)據(jù)；xtj代表目標(biāo)域第j樣本數(shù)據(jù)；wsic代表源域樣本C類(lèi)的權(quán)重；wtjc代表目標(biāo)域樣本C類(lèi)的權(quán)重。

2 WWRESE-IDALM 遷移學(xué)習(xí)網(wǎng)絡(luò)模型

2.1 改進(jìn)的WWRESE 模型

雖然CNN 能夠自動(dòng)提取軸承故障特征，但CNN網(wǎng)絡(luò)不僅容易出現(xiàn)梯度彌散現(xiàn)象，而且無(wú)法全面提取各個(gè)時(shí)頻域尺度的軸承故障信息。 因此，本文結(jié)合張偉等［12］提出的寬卷積核深度卷積神經(jīng)網(wǎng)絡(luò)（WDCNN），提出了一種基于WPT 寬度SE 殘差網(wǎng)絡(luò)模型（WWRESE）。 首先，利用4 層小波包分解獲得到16 個(gè)不同節(jié)點(diǎn)重構(gòu)的時(shí)頻域信號(hào)；其次，經(jīng)過(guò)一層32×1 的大卷積核消除冗余信息；經(jīng)過(guò)Resnet18網(wǎng)絡(luò)提取軸承故障特征；最后，在網(wǎng)絡(luò)中加入SE 注意力機(jī)制，反向傳播優(yōu)化網(wǎng)絡(luò)關(guān)鍵信息權(quán)重，提升網(wǎng)絡(luò)整體的故障分類(lèi)準(zhǔn)確率。 WWRESE 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如圖4 所示。

圖4 WWRESE 網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Fig.4 Parameter and structure of WWRESE network

2.2 改進(jìn)的域?qū)惯w移學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

DANN 網(wǎng)絡(luò)中的域判別器是減少源域數(shù)據(jù)與目標(biāo)域數(shù)據(jù)之間分布差異的關(guān)鍵，常規(guī)的域判別器采用3 層全連接網(wǎng)絡(luò)提取兩域之間的信息特征，但這會(huì)導(dǎo)致域判別器中的信息特征參數(shù)無(wú)法全部共享，從而造成一些關(guān)鍵信息的丟失。 為了解決這個(gè)問(wèn)題，本文利用4 層3×1 的卷積操作代替全連接層，小卷積核能夠充分遍歷兩域故障信息，同時(shí)卷積操作的權(quán)重共享能夠保留重要的信息參數(shù)，保證信息的完整性。 此外，還利用LMMD 對(duì)兩域中的子域特征進(jìn)行細(xì)粒度的對(duì)比，減少模型在子域中的分類(lèi)誤差，提升了模型整體的故障分類(lèi)能力。

本文提出的改進(jìn)域?qū)惯w移學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)（WWRESE-IDALM）如圖5 所示。 兩域數(shù)據(jù)首先經(jīng)過(guò)WPT 提取不同尺度的時(shí)頻域信息后送入WRESE網(wǎng)絡(luò)中；其次，利用SE 注意力模塊對(duì)關(guān)鍵故障信息賦予更高的權(quán)重，提高網(wǎng)絡(luò)的特征表達(dá)能力；將提取的源域特征送入標(biāo)簽分類(lèi)網(wǎng)絡(luò)Gy，對(duì)源域數(shù)據(jù)進(jìn)行精準(zhǔn)分類(lèi)，同時(shí)將源域與目標(biāo)域共同提取的特征經(jīng)過(guò)梯度反轉(zhuǎn)層送入域判別器Gd，讓源域特征與目標(biāo)域特征進(jìn)行激烈對(duì)抗，使得域判別器無(wú)法區(qū)分兩域故障特征的歸屬；最后，結(jié)合LMMD 共同減小子域分布中的結(jié)構(gòu)差異并對(duì)齊兩域之間分布，完成最終的故障分類(lèi)。

圖5 WWRESE-IDALM 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 WWRESE-IDALM network structure

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)選用德國(guó)帕德伯恩大學(xué)（Universit?t Paderborn，PU）中轉(zhuǎn)速為1 500 rpm 下的3 種不同扭矩和徑向力的軸承數(shù)據(jù)。 PU 軸承數(shù)據(jù)集3 種工況數(shù)據(jù)見(jiàn)表1。

表1 PU 軸承數(shù)據(jù)集3 種工況數(shù)據(jù)Tab.1 PU bearing dataset with three operating conditions data

PU 數(shù)據(jù)集由10 組不同損傷程度和類(lèi)型的故障數(shù)據(jù)和1 組健康的數(shù)據(jù)組成，PU 軸承數(shù)據(jù)設(shè)置見(jiàn)表2。

表2 PU 大學(xué)軸承數(shù)據(jù)Tab.2 PU bearing data

3.2 PU 數(shù)據(jù)集實(shí)驗(yàn)診斷

本次WWRESE-IDALM 網(wǎng)絡(luò)模型超參數(shù)設(shè)置：batch_size 為64，epoch 為300，優(yōu)化器為Adam。 為了驗(yàn)證本文提出方法的優(yōu)越性，設(shè)置了消融實(shí)驗(yàn)進(jìn)行證明，消融實(shí)驗(yàn)?zāi)Ｐ驮O(shè)置如下：

（1）WWRESE-DALM 與本文提出的方法相比沒(méi)有對(duì)DANN 網(wǎng)絡(luò)的域判別器進(jìn)行改進(jìn)；

（2）WWRE-IDALM 與本文提出的方法相比在特征提取網(wǎng)絡(luò)中沒(méi)有加入SE 注意力模塊。

三種模型的實(shí)驗(yàn)結(jié)果見(jiàn)表3 和圖6 所示，相較于WWRESE-DALM 和WWRE-IDALM，本文提出的模型不僅平均準(zhǔn)確率要高于其他兩種模型，而且在各個(gè)工況的分類(lèi)準(zhǔn)確率也高于其他兩種模型。 與WWRESE-DALM 模型相比，改進(jìn)后的域判別器通過(guò)卷積操作能夠充分保留兩域數(shù)據(jù)重要信息參數(shù)，同時(shí)結(jié)合LMMD 減少相關(guān)子域和全局域之間的結(jié)構(gòu)差異，更好地判斷軸承數(shù)據(jù)所屬域；與WWREIDALM 模型相比，缺少SE 注意力機(jī)制對(duì)關(guān)鍵信息加權(quán)后，會(huì)導(dǎo)致軸承關(guān)鍵故障特征信息的丟失，造成WWRE 網(wǎng)絡(luò)的特征提取能力不足。

表3 PU 消融實(shí)驗(yàn)?zāi)Ｐ瓦w移結(jié)果Tab.3 Results of PU transfer model %

圖6 消融實(shí)驗(yàn)?zāi)Ｐ偷倪w移分類(lèi)結(jié)果圖Fig.6 Results of transfer classification

為了進(jìn)一步研究3 種方法在特征空間的可視化情況，對(duì)1-0 遷移任務(wù)進(jìn)行t-SNE 可視化分析，3 種模型可視化情況如圖7 所示。

圖7 工況1-0 遷移分類(lèi)t-SNE 結(jié)果Fig.7 Results of transfer classification on Condition 1-0

從圖7 中可以看出，WWRESE-IDALM 模型的聚類(lèi)效果明顯優(yōu)于其他兩種模型，在結(jié)合SE 注意模塊和IDALM 模型后，遷移學(xué)習(xí)模型的特征分類(lèi)效果更加明顯，錯(cuò)誤分類(lèi)的數(shù)據(jù)大大降低，進(jìn)一步驗(yàn)證了本文提出的模型有較強(qiáng)的變工況故障分類(lèi)能力。

4 結(jié)束語(yǔ)

針對(duì)滾動(dòng)軸承特征提取能力不足、源域與目標(biāo)域數(shù)據(jù)分布差異過(guò)大等問(wèn)題，本文提出了一種基于小波包域?qū)棺⒁饬w移學(xué)習(xí)的故障診斷方法，并在PU 軸承數(shù)據(jù)集上進(jìn)行了驗(yàn)證，通過(guò)實(shí)驗(yàn)可以得出以下結(jié)論：

（1）WWRESE-IDALM 診斷模型通過(guò)SE 注意模塊在通道上對(duì)關(guān)鍵特征賦予更高的權(quán)重，提升了網(wǎng)絡(luò)模型整體的特征提取能力；

（2）WWRESE-IDALM 診斷模型利用卷積網(wǎng)絡(luò)代替全連接網(wǎng)絡(luò)，能夠充分保留兩域數(shù)據(jù)之間重要的信息參數(shù)；同時(shí)結(jié)合LMMD 減少相關(guān)子域和全局域之間的結(jié)構(gòu)差異，能夠更好的判斷軸承數(shù)據(jù)所屬域。