基于殘差連接和1D-CNN的滾動(dòng)軸承故障診斷研究

趙敬嬌， 趙志宏,2， 楊紹普,2

(1. 石家莊鐵道大學(xué) 信息科學(xué)與技術(shù)學(xué)院，石家莊 050043；2. 石家莊鐵道大學(xué) 省部共建交通工程結(jié)構(gòu)力學(xué)行為與系統(tǒng)安全國家重點(diǎn)實(shí)驗(yàn)室，石家莊 050043)

隨著智能化時(shí)代的到來，機(jī)械設(shè)備作為眾多生產(chǎn)領(lǐng)域的關(guān)鍵設(shè)備，對(duì)于制造業(yè)的發(fā)展十分關(guān)鍵[1]。旋轉(zhuǎn)機(jī)械設(shè)備中滾動(dòng)軸承是十分重要的部件，因長期工作在惡劣的環(huán)境下而極易出現(xiàn)損傷。相關(guān)資料顯示，旋轉(zhuǎn)機(jī)械故障40%以上的原因是由軸承故障引起的[2]。軸承一旦出現(xiàn)故障，如果未能及時(shí)發(fā)現(xiàn)可能使整個(gè)設(shè)備停擺，甚至導(dǎo)致重大經(jīng)濟(jì)損失和安全事故，為此對(duì)滾動(dòng)軸承故障診斷方法的研究十分必要。

軸承故障診斷的研究至今已有多種方法，如基于頻譜分析、沖擊脈沖的故障診斷等[3-4]。隨著機(jī)器學(xué)習(xí)的發(fā)展，越來越多的專家和學(xué)者將目光放在智能診斷上，通過不同手段進(jìn)行特征提取，再用一定方法進(jìn)行狀態(tài)識(shí)別。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，而近幾年由于其在計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域的優(yōu)異成就，逐漸被應(yīng)用到更多的領(lǐng)域解決不同的問題。在故障診斷方面，Tamilselvan等[5]采用深度信念網(wǎng)絡(luò)，對(duì)發(fā)動(dòng)機(jī)振動(dòng)信號(hào)及其故障模式建模，實(shí)現(xiàn)了飛機(jī)發(fā)動(dòng)機(jī)故障的診斷，識(shí)別正確率達(dá)到 92%以上。楊宇等[6]以經(jīng)驗(yàn)?zāi)B(tài)分解的方法得到本征模態(tài)函數(shù)(intrinsic mode functions，IMF)分量，再提取部分分量能量特征參數(shù)輸入BP(back propagation)網(wǎng)絡(luò)中進(jìn)行分類。杜小磊等[7]用多個(gè)小波卷積自編碼器堆疊后提取故障特征，輸入LSTM(long short-term memory)網(wǎng)絡(luò)后進(jìn)行分類。眾多研究表明，通過建立多層神經(jīng)網(wǎng)絡(luò)進(jìn)行軸承故障診斷是可行并且有效的方法。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[8]是深度學(xué)習(xí)中的一種具有表征學(xué)習(xí)能力的前饋神經(jīng)網(wǎng)絡(luò)，被廣泛應(yīng)用于機(jī)器視覺領(lǐng)域。李恒等[9]用短時(shí)傅里葉變化對(duì)振動(dòng)信號(hào)進(jìn)行處理后輸出到卷積神經(jīng)網(wǎng)絡(luò)中，經(jīng)過網(wǎng)絡(luò)訓(xùn)練最后進(jìn)行分類得到故障類型。Pan等[10]建立基于LSTM和CNN的模型進(jìn)行軸承的故障診斷，取得較好的試驗(yàn)結(jié)果。張立智等[11]提出用卷積降噪自編碼實(shí)現(xiàn)特征提取，用CNN進(jìn)行模式識(shí)別的軸承故障診斷方法。以上方法均取得了較好的診斷結(jié)果，但是有些并沒有發(fā)揮CNN強(qiáng)大的特征提取能力，或是由于維度變換損失了部分時(shí)序信息，或是只使用了淺層的網(wǎng)絡(luò)結(jié)構(gòu)。一般來說，網(wǎng)絡(luò)越深表達(dá)能力越強(qiáng)，在處理大量數(shù)據(jù)時(shí)能夠取得更好的效果，而殘差網(wǎng)絡(luò)在精度和收斂等方面都展現(xiàn)出了很好的特性[12]。因此本文提出一種基于殘差連接和一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network，1D-CNN)的深層故障診斷模型，通過多層1D-CNN提取不同層次特征，通過殘差連接將深層特征信息與淺層特征信息結(jié)合，使網(wǎng)絡(luò)學(xué)習(xí)到更多的軸承故障特征信息。

1 一維卷積神經(jīng)網(wǎng)絡(luò)

1.1 一維卷積網(wǎng)絡(luò)

CNN具有局部連接和權(quán)值共享的特性[13]，參數(shù)共享能夠有效削弱過擬合的問題，稀疏連接能夠讓網(wǎng)絡(luò)學(xué)習(xí)局部特征。一維卷積神經(jīng)網(wǎng)絡(luò)[14]是運(yùn)用一維卷積對(duì)一維時(shí)序序列進(jìn)行特征提取的卷積神經(jīng)網(wǎng)絡(luò)，能夠保證在不損失時(shí)序特征的同時(shí)提取局部特征，對(duì)于軸承振動(dòng)信號(hào)這樣的周期的時(shí)間序列分析是非常有效的。

卷積神經(jīng)網(wǎng)絡(luò)通常包括以下三層：①卷積層，通過卷積核對(duì)輸入的特征進(jìn)行掃描，在“感受野”內(nèi)對(duì)輸入特征進(jìn)行矩陣運(yùn)算并疊加偏差量[15]，從而實(shí)現(xiàn)特征提取的作用；②池化層，池化操作就是利用一個(gè)矩陣窗口在張量上進(jìn)行掃描，將最大值或者平均值作為特征的輸出，以減少參數(shù)數(shù)量和計(jì)算量；③全連接層，對(duì)提取的特征進(jìn)行非線性組合輸出到其他全連接層。卷積層和池化層能夠達(dá)到自動(dòng)提取數(shù)據(jù)局部特征的目的，而全連接層能夠?qū)崿F(xiàn)特征學(xué)習(xí)。

一維卷積公式為

(1)

最大池化公式為

(2)

1.2 殘差連接

已有研究發(fā)現(xiàn)構(gòu)建的網(wǎng)絡(luò)越深，越容易出現(xiàn)梯度消失、網(wǎng)絡(luò)過擬合的現(xiàn)象，殘差連接能有效解決網(wǎng)絡(luò)退化和梯度消失的問題。殘差連接的思想源于LSTM的門控思想，將輸入做非線性變換，再和輸入進(jìn)行線性疊加輸出[16-17]，如圖1所示。

圖1 殘差塊Fig.1 Residual block

網(wǎng)絡(luò)的一層通常可以看作y=H(x)，而殘差網(wǎng)絡(luò)的殘差塊的輸出上可以表示為H(x)=x+F(x)，也就是說殘差為預(yù)測值H(x)與觀測值y=x的差值，即F(x)=H(x)-x。殘差網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)由學(xué)習(xí)H(x)變?yōu)閷W(xué)習(xí)殘差F(x)，網(wǎng)絡(luò)只需要學(xué)習(xí)輸入、輸出差別的部分，從而降低學(xué)習(xí)的難度。

殘差塊的輸出公式為

xl+1=xl+F(xl,wl)

(3)

式中：xl+1為第l+1層的輸出；xl為第l層的輸入；F(xl,wl)為第l層的殘差。

跳躍連接能夠在某個(gè)網(wǎng)絡(luò)層激活后迅速反饋給另外一層甚至更深層，從而避免傳統(tǒng)卷積層和全連接層在信息傳遞時(shí)的信息丟失和損耗。利用跳躍連接可以構(gòu)建深層網(wǎng)絡(luò)來訓(xùn)練更深的網(wǎng)絡(luò)，可在確保網(wǎng)絡(luò)參數(shù)不變、計(jì)算量不增加的同時(shí)，保證網(wǎng)絡(luò)有足夠的能力去處理更加復(fù)雜的數(shù)據(jù)。

1.3 批量標(biāo)準(zhǔn)化

在深度網(wǎng)絡(luò)中，輸入數(shù)據(jù)的均值和標(biāo)準(zhǔn)差會(huì)隨著網(wǎng)絡(luò)層數(shù)的增加在逐級(jí)傳遞中發(fā)生改變，即協(xié)變漂移現(xiàn)象[18]，協(xié)變漂移也是導(dǎo)致深度網(wǎng)絡(luò)出現(xiàn)梯度消失的原因之一。批量標(biāo)準(zhǔn)化(batch normalization，BN)以引入部分額外學(xué)習(xí)參數(shù)為代價(jià)解決了此類問題：首先將特征標(biāo)準(zhǔn)化，然后標(biāo)準(zhǔn)化的特征會(huì)被2個(gè)線性參數(shù)放大，成為新的輸入，BN參數(shù)在學(xué)習(xí)過程中不斷更新。

卷積神經(jīng)網(wǎng)絡(luò)中的BN參數(shù)與卷積核參數(shù)具有相同的性質(zhì)，即特征圖中同一個(gè)通道的像素共享一組BN參數(shù)[19]。此外，偏差項(xiàng)的功能可由BN參數(shù)代替，使用BN層時(shí)卷積層不必添加偏差項(xiàng)。通過加入BN層能夠：改善流經(jīng)網(wǎng)絡(luò)的梯度，允許更大的學(xué)習(xí)率，大幅提高訓(xùn)練速度；減少對(duì)初始化的強(qiáng)烈依賴；改善正則化策略，并且減少了對(duì)Dropout的需求。

2 故障診斷模型設(shè)計(jì)

在實(shí)際的軸承故障診斷中，振動(dòng)信號(hào)數(shù)據(jù)量巨大，網(wǎng)絡(luò)單純采用CNN會(huì)耗費(fèi)很大的時(shí)間，并且深層網(wǎng)絡(luò)也會(huì)導(dǎo)致梯度消失問題出現(xiàn)和泛化性能的下降。利用批量標(biāo)準(zhǔn)化技術(shù)的BN層代替部分池化層，能在一定程度上解決梯度消失問題；添加Dropout層能夠有效減小過擬合問題[20]，使模型的診斷精度提升，提高泛化能力；Softmax層是進(jìn)行分類的常用網(wǎng)絡(luò)，能夠輸出概率分布圖；最終根據(jù)概率分布確定軸承信號(hào)的振動(dòng)信號(hào)類型，并根據(jù)數(shù)據(jù)標(biāo)簽的診斷結(jié)果輸出正確率。

本文構(gòu)建的軸承故障診斷模型，如圖2所示。模型主要包括輸入層、特征提取層以及輸出層三部分。其過程為：①一維滾動(dòng)軸承振動(dòng)數(shù)據(jù)輸入網(wǎng)絡(luò)輸入層。②特征提取部分。首先對(duì)輸入進(jìn)行一次卷積，然后將此次卷積輸出分成兩部分：一部分保存為identity；另一部分繼續(xù)輸入到殘差塊部分。殘差塊部分由3個(gè)BN層和卷積(Conv1D)層組成，經(jīng)過其中的三次卷積的結(jié)果與保存的identity相加，得到殘差輸出。運(yùn)用2個(gè)殘差塊并進(jìn)行兩次跳躍連接構(gòu)成整個(gè)殘差連接部分。得到的結(jié)果再經(jīng)過1層BN層、Conv1D層和最大池化層，最終得到提取的特征。③將池化層得到的輸出經(jīng)過扁平層“壓平”，再添加Dropout層防止過擬合，最終通過Softmax層進(jìn)行分類。

圖2 軸承故障診斷模型圖Fig.2 Bearing fault diagnosis model

3 試 驗(yàn)

3.1 試驗(yàn)數(shù)據(jù)

試驗(yàn)數(shù)據(jù)采用美國凱斯西儲(chǔ)大學(xué)負(fù)載為0，轉(zhuǎn)速為1 797 r/min的6205-2RS JEM SKF深溝球型軸承試驗(yàn)臺(tái)數(shù)據(jù)。利用電火花加工技術(shù)對(duì)軸承進(jìn)行加工，以48 kHz的頻率采樣，人為地在內(nèi)圈、外圈以及滾動(dòng)體加工出損傷直徑分別為0.177 8 mm，0.355 6 mm，0.533 4 mm的單點(diǎn)故障。本文數(shù)據(jù)集共7 000個(gè)，按70%，20%和10%的比例劃分為訓(xùn)練集、測試集和驗(yàn)證集。數(shù)據(jù)集共包含10類樣本、9種類型的故障和1類正常數(shù)據(jù)，將標(biāo)簽數(shù)字從0～9按順序分別命名為“B007”，“B014”，“B021”，“IR007”，“IR014”等，詳細(xì)數(shù)據(jù)及標(biāo)簽如表1所示。

3.2 試驗(yàn)設(shè)置

本試驗(yàn)的批大小設(shè)為128，學(xué)習(xí)率初始值為0.000 5，每隔50次的迭代降低為原來的20%，振動(dòng)信號(hào)的樣本輸入長度為1 024。試驗(yàn)共在訓(xùn)練集上迭代300次，最終用測試集輸入到模型得到準(zhǔn)確率。

表1 試驗(yàn)數(shù)據(jù)集Tab.1 Experimental dataset

網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置如下：第一層卷積層濾波器個(gè)數(shù)為64，卷積長度為2，卷積步長為1；殘差塊的每個(gè)BN層后的卷積層均設(shè)為由64個(gè)2*1的卷積核的濾波器組成的網(wǎng)絡(luò)層；再經(jīng)過一個(gè)BN層、卷積層，卷積層由32個(gè)2*1的卷積核的濾波器組成。以上網(wǎng)絡(luò)層的激活函數(shù)均選用“relu”函數(shù)，以及“same”的填充方式；最大池化層的池化塊尺寸為4，步長為4，填充方式為“valid”。經(jīng)過扁平層和一個(gè)拋棄率為0.5的Dropout層，最后以“Softmax”為激活函數(shù)的Dense層做分類。

3.3 試驗(yàn)結(jié)果及分析

軸承故障診斷的評(píng)價(jià)指標(biāo)有準(zhǔn)確率、損失率、召回率和F1值等，其中準(zhǔn)確率和損失率是判斷模型優(yōu)異的重要標(biāo)準(zhǔn)。經(jīng)過多次試驗(yàn)結(jié)果如圖3所示，準(zhǔn)確率和損失率分別如圖3(a)和圖3(b)所示，由于學(xué)習(xí)率設(shè)置，模型在前50次的學(xué)習(xí)速度很快，但波動(dòng)較大，50次之后準(zhǔn)確率緩慢變化，最終保持穩(wěn)定。本模型在數(shù)據(jù)集的1 000個(gè)測試集上的總準(zhǔn)確率達(dá)到98.6%，損失率為5.0%。圖3(c)為混淆矩陣表示的結(jié)果輸出，其中0.533 4 mm的滾動(dòng)體故障、0.177 8 mm的外圈故障和0.533 4 mm的外圈故障檢測出現(xiàn)錯(cuò)誤，其他故障均能有效識(shí)別。

圖3 試驗(yàn)結(jié)果Fig.3 Experimental results

3.3.1 不同殘差模型結(jié)構(gòu)對(duì)比

本文選用不同殘差塊以及跳躍連接設(shè)計(jì)建立多個(gè)故障診斷模型，在相同參數(shù)的設(shè)置情況下，試驗(yàn)中多個(gè)模型只改變圖2中殘差塊的結(jié)構(gòu)，其他網(wǎng)絡(luò)層不變。殘差塊設(shè)計(jì)如圖4所示，殘差部分設(shè)置如下：

(1) 將圖2模型中的殘差塊部分換為2個(gè)BN層與Conv1D層，不加跳躍連接，如圖4(a)所示，模型命名為2-C-1；在相同BN層和Conv1D層的情況下，加1個(gè)跳躍連接，如圖4(b)所示，模型命名為2-R-1。

(2) 殘差塊部分換為3個(gè)BN層與Conv1D層，不加跳躍連接，如圖4(c)所示，模型命名為3-C-1；在相同BN層和Conv1D層的情況下，加1個(gè)跳躍連接，如圖4(d)所示，模型命名為3-R-1。

(3) 殘差塊部分換為4個(gè)BN層與Conv1D層，不加跳躍連接，如圖4(e)所示，模型命名為2-C-2；在相同的BN層和Conv1D層的情況下，加2個(gè)跳躍連接，如圖4(f)所示，模型命名為2-R-2。

(4) 殘差塊部分換為6個(gè)BN層與Conv1D層，不加跳躍連接，如圖4(g)所示，模型命名為3-C-2；在相同的BN層和Conv1D層的情況下，加2個(gè)跳躍連接，如圖4(h)所示，模型命名為3-R-2。

圖4 殘差塊結(jié)構(gòu)Fig.4 Residual block structure

不同殘差模型結(jié)構(gòu)的故障診斷試驗(yàn)結(jié)果，如表2所示。在相同超參數(shù)設(shè)置情況下，3-R-2模型的殘差設(shè)計(jì)的診斷效果最佳。同時(shí)，本文嘗試比3-R-2模型更深的結(jié)構(gòu)進(jìn)行試驗(yàn)，診斷效果差異并不大。由表2可知：①使用殘差連接的模型的故障診斷效果有了一定的提升，這是由于殘差連接能夠?qū)\層特征和深層特征融合作為特征輸出，比起單一的深層特征更有效；②模型網(wǎng)絡(luò)層數(shù)增加，故障診斷結(jié)果有一定的提升，這是因?yàn)槟Ｐ图由睿軌蛱崛≥S承故障信號(hào)的一些深層特征信息。但并不是模型越深，故障診斷效果越好，網(wǎng)絡(luò)層數(shù)過多會(huì)出現(xiàn)學(xué)習(xí)參數(shù)的成倍增長和過擬合嚴(yán)重現(xiàn)象。因此，基于殘差連接的1D-CNN模型能夠有效判斷各故障類型，并且在此8個(gè)模型中，最優(yōu)模型為本文圖2所采用的滾動(dòng)軸承故障診斷模型結(jié)構(gòu)。

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)的診斷準(zhǔn)確率和損失率Tab.2 Accuracy and loss rate of different network structures %

3.3.2 不同參數(shù)取值對(duì)試驗(yàn)結(jié)果的影響

軸承故障診斷模型的參數(shù)有學(xué)習(xí)率、批大小、濾波器個(gè)數(shù)等，這些參數(shù)的選擇會(huì)引起診斷效果的不同。本文對(duì)學(xué)習(xí)率、濾波器個(gè)數(shù)選擇進(jìn)行了對(duì)比試驗(yàn)。

(1) 學(xué)習(xí)率。如果學(xué)習(xí)率設(shè)置過大，可能導(dǎo)致參數(shù)更新幅度非常大，網(wǎng)絡(luò)難以收斂，使損失值過大；如果學(xué)習(xí)率設(shè)置太小，則網(wǎng)絡(luò)需要訓(xùn)練更長時(shí)間才能達(dá)到穩(wěn)定，或者只收斂到局部最優(yōu)點(diǎn)，無法達(dá)到全局最優(yōu)。

本文選擇先使用0.000 5的大學(xué)習(xí)率快速學(xué)習(xí)特征，使學(xué)習(xí)率快速提升。但是大學(xué)習(xí)率情況下準(zhǔn)確率波動(dòng)大，因此在每50次的訓(xùn)練后改變學(xué)習(xí)率，變?yōu)樵瓉淼?0%，使學(xué)習(xí)率平穩(wěn)提升。經(jīng)過多次試驗(yàn)證明此方法較為有效。

(2) 濾波器個(gè)數(shù)。濾波器是CNN網(wǎng)絡(luò)的一個(gè)重要參數(shù)，數(shù)量多了會(huì)拖慢訓(xùn)練且易過擬合，少了會(huì)丟失特征，特征學(xué)習(xí)不好。因此本文在不同濾波器個(gè)數(shù)下進(jìn)行了對(duì)比試驗(yàn)，根據(jù)試驗(yàn)結(jié)果選擇適合本文模型的濾波器參數(shù)設(shè)置。模型在不同濾波器數(shù)量下的準(zhǔn)確率，如表3所示，濾波器個(gè)數(shù)為32和64的診斷效果較好，但濾波器個(gè)數(shù)為64的情況下?lián)p失率更小，準(zhǔn)確率更高，因此本文選用濾波器個(gè)數(shù)為64。

表3 不同濾波器數(shù)量下模型的準(zhǔn)確率和損失率Tab.3 Accuracy and loss rate of different filter number

3.3.3 可視化分析

采用t-SNE(t-distributed stochastic neighbor embedding)算法[21]提取各層輸出向量的前二維以顯示模型不同網(wǎng)絡(luò)層特征提取的結(jié)果。原始輸入信號(hào)以及其經(jīng)過部分網(wǎng)絡(luò)層的特征圖，如圖5所示。圖5(a)為原始輸入信號(hào)的t-SNE可視化圖，可以看到原始信號(hào)比較雜亂，各類數(shù)據(jù)相互混雜，難以區(qū)分。經(jīng)過第1個(gè)殘差塊的卷積層后的t-SNE可視化圖，如圖5(b)所示，標(biāo)簽5的數(shù)據(jù)被分類出來，其余部分的各類樣本并沒有聚攏，而是十分混亂地聚在一起。經(jīng)過第1個(gè)殘差塊的第3個(gè)卷積層后的t-SNE可視化圖，如圖5(c)所示，雖然各類并沒有完全分散，但是聚集的不同種類的數(shù)據(jù)較之前分散，并且各類數(shù)據(jù)成聚集的趨勢(shì)，其中標(biāo)簽9和標(biāo)簽5已經(jīng)完全聚集，標(biāo)簽0、標(biāo)簽1、標(biāo)簽2、標(biāo)簽4、標(biāo)簽6、標(biāo)簽8等成聚集的形式匯聚。試驗(yàn)結(jié)果表明，模型各層能提取故障特征用于分類，最終分類準(zhǔn)確率在98%以上。

圖5 原始信號(hào)及網(wǎng)絡(luò)層輸出可視化圖Fig.5 Visualization diagram of original signal and different network layers

4 結(jié) 論

對(duì)于滾動(dòng)軸承的故障診斷，本文提出了基于殘差連接的深層1D-CNN模型，解決了傳統(tǒng)故障診斷方法人工提取特征的不足。試驗(yàn)結(jié)果表明，本文提出的模型能夠根據(jù)輸入的軸承振動(dòng)信號(hào)有效識(shí)別滾動(dòng)軸承故障狀態(tài)。

(1) 基于殘差連接的1D-CNN能夠提取軸承故障特征，軸承故障識(shí)別率較高。

(2) 與無殘差連接的卷積神經(jīng)網(wǎng)絡(luò)相比，使用殘差連接的1D-CNN能夠提取多層次故障特征，診斷效果更好。

(3) 深層網(wǎng)絡(luò)模型較淺層網(wǎng)絡(luò)表達(dá)能力更強(qiáng)，在“大數(shù)據(jù)”時(shí)代，本文提出的深層故障診斷模型具有一定的應(yīng)用價(jià)值。

故障診斷模型中各參數(shù)的取值會(huì)不同程度地影響診斷效果，而依據(jù)人工調(diào)參十分繁雜。因此，本文下一步的研究重點(diǎn)在參數(shù)選擇算法方面，并建立自適應(yīng)的故障診斷模型。