基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)及LightGBM的滾動軸承故障診斷

楊瑞雙，寧芊，雷印杰，陳炳才

(1.四川大學(xué) 電子信息學(xué)院，成都 610065；2.大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連 116024)

近年來，深度學(xué)習(xí)理論在故障診斷等領(lǐng)域取得了很大的進(jìn)展[1-4]，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)作為深度學(xué)習(xí)理論重要的模型之一，在軸承故障診斷領(lǐng)域也不斷展現(xiàn)出其自身的價(jià)值與巨大的潛力。文獻(xiàn)[5]使用離散小波變換對軸承振動信號進(jìn)行預(yù)處理后通過卷積神經(jīng)網(wǎng)絡(luò)提取深層次特征并得到了較好地診斷結(jié)果；文獻(xiàn)[6]提出了一種基于一維多尺度卷積自編碼的軸承故障診斷模型，利用并行、多尺度的卷積核和反卷積對原始信號進(jìn)行特征提取與重構(gòu)，將提取到的特征圖輸入到分類器中取得了較好的分類結(jié)果；文獻(xiàn)[7]利用深度一維殘差卷積自編碼器對齒輪箱振動信號進(jìn)行特征提取，并使用少量有標(biāo)簽數(shù)據(jù)對自編碼器進(jìn)行微調(diào)從而實(shí)現(xiàn)了齒輪箱的故障診斷。雖然卷積神經(jīng)網(wǎng)絡(luò)在故障診斷領(lǐng)域已經(jīng)取得了不錯(cuò)的成績，但使用softmax層對卷積層提取的特征進(jìn)行分類不能很好的分離模型的特征提取與分類功能，可能會導(dǎo)致模型的分類和泛化能力不強(qiáng)。

SVM[9]，KNN[10]等單一學(xué)習(xí)算法和隨機(jī)森林[11]、XGBoost[12]等集成學(xué)習(xí)算法在機(jī)械故障診斷領(lǐng)域取得了不錯(cuò)的成就，但是在現(xiàn)今大數(shù)據(jù)和高維度的環(huán)境下，這些分類算法在效率、精確度等方面不能滿足需求，輕量級梯度提升機(jī)(Light Gradient Boosting Machine，LightGBM)是一種基于決策樹的梯度提升算法[8]，其在Boosting算法的基礎(chǔ)上針對分類準(zhǔn)確率和計(jì)算效率等方面進(jìn)行了優(yōu)化，比較適用于大樣本環(huán)境下的分類。然而，如果將原始信號直接輸入LightGBM，將會夾雜很多未經(jīng)處理的冗余信號，在模型訓(xùn)練時(shí)會消耗過多的內(nèi)存空間并容易引起LightGBM分類器過擬合。

針對以上問題，采用全局平均池化(Global Average Pooling，GAP)層代替全連接層對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)(下文簡稱GCNN)，與LightGBM算法相結(jié)合提出了一種軸承故障診斷模型，并構(gòu)建了同負(fù)載和變負(fù)載工況下的2種數(shù)據(jù)集，通過與其他模型的對比分析證明全局平均池化層對模型泛化能力的改進(jìn)效果，以及GCNN-LightGBM模型的有效性。

1 GCNN-LightGBM模塊簡介

1.1 卷積層和池化層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)中的最基本的結(jié)構(gòu)，其主要功能是對輸入數(shù)據(jù)進(jìn)行特征提取。相對于一般的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，卷積層最顯著的特征是局部感知、參數(shù)共享，這一特性大大減少了模型參數(shù)，保證了網(wǎng)絡(luò)稀疏性。卷積層公式為

(1)

卷積的操作是線性的，但大部分樣本都是線性不可分的，為解決線性模型不能有效處理非線性樣本這一問題，向卷積層中引入非線性激活函數(shù)。常見的激活函數(shù)有tanh,sigmoid和ReLU等，本文采用ReLU函數(shù)，其表達(dá)式為

al(i,j)=max{0,yl(i,j)}，

(2)

式中：al(i,j)為ReLU函數(shù)激活卷積輸出yl(i,j)后的值。

池化層也稱欠采樣層或下采樣層，主要用于特征選擇和信息過濾，同時(shí)減少過擬合，提高模型的容錯(cuò)性。常用的池化方式為最大池化和平均池化。相比于平均池化，最大池化能夠選取區(qū)域中最顯著的特點(diǎn)，因此本文使用最大池化，選取區(qū)域中的最大值作為該區(qū)域池化后的值，其表達(dá)式為

pl(i,j)=max{al(i,j)};(j-1)n+1≤t≤jn，

(3)

式中：pl(i,j)為池化后的輸出；n為池化區(qū)域的寬度。

1.2 全局平均池化層

經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)在若干次卷積和池化后往往會接一層或多層全連接層，最后再采用softmax層進(jìn)行分類。全連接層的每一個(gè)神經(jīng)元與上一層的所有神經(jīng)元相連，用來把卷積層提取到的特征融合起來。由于全相連的特點(diǎn)，全連接層的參數(shù)量非常龐大，不僅會降低模型訓(xùn)練速度，而且很容易引起過擬合。為彌補(bǔ)全連接層的缺陷，文獻(xiàn)[13]提出了全局平均池化層的概念，其對卷積輸出的每個(gè)特征圖求平均值，使每個(gè)特征圖只得到一個(gè)輸出且不需要訓(xùn)練調(diào)優(yōu)的參數(shù)，從而極大減少了網(wǎng)絡(luò)參數(shù)，得到的模型更加健壯，抗過擬合效果更佳。

全連接層與全局平均池化層的對比如圖1所示，其中：在使用全連接層之前先用Flatten函數(shù)將每個(gè)特征圖的所有特征展開，假設(shè)最后一層卷積輸出的是4*2*2的特征圖，全連接層輸出神經(jīng)元為4，則總共需訓(xùn)練4*2*2*4=64個(gè)參數(shù)；全局平均池化層只需對每個(gè)特征圖求平均值即可，在沒有使用任何參數(shù)的情況下同樣得到4個(gè)輸出；因此，僅從這個(gè)簡單的對比結(jié)構(gòu)圖很容易看出全局平均池化層代替全連接層可以大大降低經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)計(jì)算量。

圖1 全連接層與全局平均池化層的對比Fig.1 Comparison between FC and GAP

1.3 LightGBM

LightGBM算法巧妙解決了傳統(tǒng)boosting算法在大樣本環(huán)境下非常耗時(shí)的問題，其關(guān)鍵是在傳統(tǒng)Boosting算法基礎(chǔ)上融合了基于梯度的單邊采樣(Gradient-based One-Side Sampling，GOSS)和互斥特征捆綁(Exclusive Feature Bundling，EFB)這兩種新方法。

1.3.1 GOSS算法

GOSS是一種減少數(shù)據(jù)量但保持精度的算法。每個(gè)數(shù)據(jù)都有不同的梯度值，梯度值越小表示數(shù)據(jù)訓(xùn)練誤差越小。如果完全丟掉梯度小的數(shù)據(jù)，就會改變數(shù)據(jù)的分布，從而影響訓(xùn)練模型的精確度。GOSS提出了一種巧妙的采樣方式，具體算法步驟如下：

1)將要進(jìn)行分裂的特征的所有數(shù)據(jù)按照絕對值從大到小排列；

2)選取最大的前a%個(gè)數(shù)據(jù)；

3)在剩下的較小梯度中隨機(jī)選擇b%個(gè)數(shù)據(jù)，將其乘以一個(gè)常量系數(shù)(1-a)/b。

上述采樣方式在保留所有大梯度實(shí)例的同時(shí)，也保證了一部分小梯度樣本得到訓(xùn)練。通過對小梯度數(shù)據(jù)引入常量系數(shù)的方式，盡可能使其與總數(shù)據(jù)分布一致，從而在減少訓(xùn)練樣本的情況下保證了訓(xùn)練樣本的精確度，提高了訓(xùn)練速度。

1.3.2 EFB算法

EFB是一種減少特征量但保持精度的算法。實(shí)際應(yīng)用中的高維數(shù)據(jù)一般具有稀疏性，EFB利用稀疏性設(shè)計(jì)了一種巧妙無損的方法減少特征維度。通常，被捆綁的稀疏特征都是互斥的，例如像one-hot特征一樣不會同時(shí)為非零值，這樣的特征捆綁起來不會丟失特征信息，但也會存在一些不完全互斥的特征，EFB算法新穎的提出了沖突比這個(gè)指標(biāo)對其不互斥程度進(jìn)行衡量，當(dāng)沖突比較小時(shí)，將這些不完全互斥的特征也進(jìn)行融合綁定，從而可以得到更少的特征包，大大減少特征數(shù)量，提高計(jì)算效率。

2 GCNN- LightGBM模型

2.1 模型結(jié)構(gòu)圖

如圖2所示，GCNN-LightGBM模型主要由卷積池化層、全局平均池化層和LightGBM分類器組成。在原始的一維振動信號輸入卷積層之前，對其進(jìn)行了概率為0.2的隨機(jī)失活處理，可以提高訓(xùn)練模型的泛化能力和變負(fù)載條件下故障診斷的穩(wěn)定性。卷積池化層共2層，第1層采用大卷積核用于獲取原始信號中低頻段更多有效的信息[14]；經(jīng)過2層卷積池化操作得到的特征圖被輸入到全局平均池化層中，通過對每個(gè)特征圖求平均值實(shí)現(xiàn)二次特征提取與數(shù)據(jù)降維；最后，將提取出的低維特征輸入到LightGBM分類器中進(jìn)行分類。

圖2 GCNN- LightGBM模型Fig.2 GCNN-LightGBM model

2.2 模型參數(shù)的設(shè)定

GCNN-LightGBM模型利用改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)對軸承振動信號進(jìn)行自適應(yīng)特征提取，其中卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)的選取對于特征提取效果至關(guān)重要，因此借助于softmax分類器對卷積神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練(表1)，訓(xùn)練好卷積部分后用LightGBM取代softmax層。LightGBM參數(shù)的選取利用貝葉斯調(diào)參算法進(jìn)行處理，一些重要參數(shù)的含義與取值見表2。

表1 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)的設(shè)定Tab.1 Hyperparameter setting of GCNN

表2 LightGBM重要參數(shù)的含義與取值Tab.2 Meaning and value of important parameters of LightGBM

3 試驗(yàn)與性能分析

3.1 數(shù)據(jù)集

試驗(yàn)數(shù)據(jù)選自美國凱斯西儲大學(xué)(CWRU)軸承數(shù)據(jù)中心，選用了不同負(fù)載工況下的正常軸承數(shù)據(jù)，以及驅(qū)動端損傷直徑分別為0.178，0.356和0.534 mm的內(nèi)圈、鋼球和外圈故障軸承數(shù)據(jù)，一共10種軸承運(yùn)行狀態(tài)。設(shè)置采樣頻率為12 kHz，每次采集1 024個(gè)數(shù)據(jù)點(diǎn)作為一個(gè)樣本。為加快卷積神經(jīng)網(wǎng)絡(luò)的收斂速度，在提取特征前采用Z-sore標(biāo)準(zhǔn)化方式對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化預(yù)處理，即

(4)

式中：x為原始樣本值；u為所有樣本數(shù)據(jù)的均值；σ為所有樣本的標(biāo)準(zhǔn)差；x′為標(biāo)準(zhǔn)化后的值。

將負(fù)載為1hp，2hp和3hp的數(shù)據(jù)設(shè)置為相應(yīng)的3個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含20 000個(gè)樣本，其中每種軸承狀態(tài)的樣本各2 000個(gè)，隨機(jī)選取70%為訓(xùn)練集，20%為驗(yàn)證集，10%為測試集，具體的數(shù)據(jù)集見表3。

表3 軸承試驗(yàn)數(shù)據(jù)集Tab.3 Data set of bearing test

一般情況下，不同工況下的振動信號會因幅值、波動周期、相位等不一致而導(dǎo)致其組成數(shù)據(jù)集的分布有所差異，這就需要所設(shè)計(jì)的分類器具備很強(qiáng)的泛化能力和魯棒性。然而，要收集和標(biāo)記足夠的訓(xùn)練樣本以使分類器對所有工況都具有魯棒性是不現(xiàn)實(shí)的，因此，采用了一種使用單一負(fù)載訓(xùn)練模型并使用其他負(fù)載下的測試集進(jìn)行故障診斷的方式，以保證所訓(xùn)練模型的魯棒性[14]。例如，在1hp負(fù)載下訓(xùn)練的模型要求不僅在1hp測試集中取得很高的分類準(zhǔn)確率，而且在2hp或3hp測試集上也能獲得很好的分類效果。為實(shí)現(xiàn)該目標(biāo)構(gòu)建的變負(fù)載自適應(yīng)數(shù)據(jù)集見表4。

建筑節(jié)能就是在保證建筑物較高舒適度的前提下，合理使用能源、不斷提高能源利用效率并達(dá)到節(jié)約能源、減少能耗的目的。建筑能耗是指建筑在正常使用條件下所消耗的總能量，包括采暖、空調(diào)、照明、熱水供應(yīng)、炊事、家用電器等方面的能耗，隨著居民生活水平的提高，住宅建設(shè)的迅速發(fā)展及人們對住宅室內(nèi)舒適度環(huán)境的追求，造成了能源的大量消費(fèi)，因此，推廣建筑節(jié)能對建設(shè)資源節(jié)約型社會有著十分重大的意義。要想達(dá)到節(jié)能效果，可通過合理的建筑規(guī)劃設(shè)計(jì)、單體設(shè)計(jì)，改善建筑物圍護(hù)結(jié)構(gòu)的保溫及隔熱性能，充分利用自然通風(fēng)、太陽能資源、余熱回收等措施，提高采暖、通風(fēng)及空調(diào)系統(tǒng)的能效。

表4 變負(fù)載自適應(yīng)數(shù)據(jù)集Tab.4 Variable load adaptive data set

3.2 模型驗(yàn)證

試驗(yàn)中，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模塊采用python語言中的深度學(xué)習(xí)框架Keras，分類模塊直接調(diào)用LightGBM軟件包，所用計(jì)算機(jī)的基本配置為CPU i7-6700，16 GB內(nèi)存，顯卡配置為RTX 2060 SUPER。利用搭建好的網(wǎng)絡(luò)分別使用不同數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，由于輸入數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)權(quán)值的初始化是隨機(jī)的，為保證試驗(yàn)結(jié)果的可靠性，每個(gè)數(shù)據(jù)集訓(xùn)練10次后求平均值。

為驗(yàn)證改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)具有更強(qiáng)的泛化能力，構(gòu)建了經(jīng)典CNN-LightGBM模型用于對比，該模型除了全連接層以外的其他部分網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練參數(shù)均與GCNN-LightGBM模型保持一致；同時(shí)，為驗(yàn)證LightGBM比softmax層具有更強(qiáng)的分類能力，也構(gòu)建了GCNN-softmax模型用于對比，該模型除softmax分類器以外的特征提取部分均與本文模型保持一致。

各模型在不同負(fù)載工況下的識別準(zhǔn)確率如圖3所示，由圖可知：

圖3 不同模型的分類準(zhǔn)確率Fig.3 Classification accuracy of different models

1)GCNN-LightGBM模型在同負(fù)載工況下的平均分類準(zhǔn)確率略高于CNN-LightGBM模型，但在變負(fù)載工況下的平均分類準(zhǔn)確率高出CNN-LightGBM模型2.39%，驗(yàn)證了改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)具有更好的抗過擬合效果，可以提高模型的泛化能力。

2)GCNN-LightGBM模型在同負(fù)載、變負(fù)載工況下的平均分類準(zhǔn)確率分別高出GCNN-softmax模型1.01%，0.75%，說明LightGBM相較于softmax具有更強(qiáng)的分類能力。

3)LightGBM分類器在同負(fù)載工況下也能取得不錯(cuò)的分類效果，但在變負(fù)載工況下的平均分類準(zhǔn)確率不到68%，說明LightGBM雖然是一個(gè)很強(qiáng)大的分類器，但直接用于訓(xùn)練原始數(shù)據(jù)很容易發(fā)生過擬合現(xiàn)象，有必要對原始數(shù)據(jù)進(jìn)行特征提取。

4)變負(fù)載工況下，相鄰工況之間的分類準(zhǔn)確率較高，間接反映了相鄰負(fù)載數(shù)據(jù)集的分布差異小，而非相鄰負(fù)載數(shù)據(jù)集分布差異大。

3.3 對比試驗(yàn)

由于GCNN-LightGBM模型對同負(fù)載測試集的分類準(zhǔn)確率接近100%，為突出其泛化能力和負(fù)載遷移能力的優(yōu)越性，選取幾個(gè)已經(jīng)在同負(fù)載工況下取得很好分類效果的深度學(xué)習(xí)模型[14-16]進(jìn)行變負(fù)載測試集的對比分析。不同深度學(xué)習(xí)模型對變負(fù)載自適應(yīng)數(shù)據(jù)集的分類準(zhǔn)確率如圖4所示。

圖4 變負(fù)載工況下各模型的分類準(zhǔn)確率Fig.4 Classification accuracy of each model under variable load condition

由圖4可知：

1)CNN-LSTM和WDCNN模型在1hp，2hp訓(xùn)練所得模型的自適應(yīng)能力較強(qiáng)，在其他變負(fù)載測試集上的分類準(zhǔn)確率可達(dá)90%以上，但在3hp訓(xùn)練所得模型的負(fù)載遷移能力不強(qiáng)，在1hp和2hp測試集下的分類準(zhǔn)確率最高只能達(dá)到80%左右；CNN-SVM在3hp訓(xùn)練所得模型在其他測試集的分類準(zhǔn)確率接近100%，但在1hp訓(xùn)練所得模型在其他變負(fù)載測試集上的分類準(zhǔn)確率甚至不到80%。說明這3個(gè)對比模型雖然能在某一變負(fù)載測試集上取得很好的分類效果，但整體的魯棒性和負(fù)載遷移能力并不是很強(qiáng)。

2)GCNN-LightGBM模型在變負(fù)載工況下最低的分類準(zhǔn)確率約為88.07%，相較于CNN-LSTM，WDCNN，CNN-SVM模型最差的情況分別提高了20.02%，9.71%，11.78%；GCNN-LightGBM模型的平均分類準(zhǔn)確率則高達(dá)95.04%，明顯高于其他模型的平均分類準(zhǔn)確率?？梢奊CNN-LightGBM模型在變負(fù)載工況下的整體分類效果較好，具有更好的泛化能力和負(fù)載遷移能力。

3.3.2 診斷效率

為進(jìn)一步突出GCNN-LightGBM模型在故障診斷效率方面的優(yōu)越性，在對比試驗(yàn)的過程中分別記錄了各個(gè)模型的訓(xùn)練時(shí)間、診斷時(shí)間，以及深度學(xué)習(xí)模塊的訓(xùn)練參數(shù)量和所需訓(xùn)練參數(shù)的層數(shù)(不包括池化層)，見表5。其中，平均時(shí)長為各模型分別在不同負(fù)載工況下各訓(xùn)練10次的平均值再次求不同負(fù)載平均值的結(jié)果。

表5 各模型訓(xùn)練時(shí)間和診斷時(shí)間的分析表Tab.5 Analysis table of training time and diagnosis time of each model

由表5可知：由于GCNN-LightGBM模型所需訓(xùn)練的參數(shù)與網(wǎng)絡(luò)層數(shù)最少，尤其是訓(xùn)練參數(shù)量與其他3個(gè)網(wǎng)絡(luò)相差幾個(gè)數(shù)量級，因此所需的訓(xùn)練和診斷平均時(shí)長在4種模型中最小，與CNN-LSTM相比，訓(xùn)練時(shí)間縮短了89.65%，故障診斷效率更是提高了11.75倍。

這些數(shù)據(jù)說明模型所需訓(xùn)練的參數(shù)與層數(shù)越少，其模型訓(xùn)練與故障診斷時(shí)間越短，當(dāng)需要訓(xùn)練或診斷的樣本達(dá)到數(shù)十萬甚至幾百萬時(shí)，GCNN-LightGBM模型故障診斷時(shí)間短的優(yōu)越性將會更加顯著的體現(xiàn)出來，能夠節(jié)約大量的時(shí)間成本。

4 結(jié)論

提出了一種基于GCNN-LightGBM的軸承故障診斷模型，該模型融合了改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)和LightGBM模型各自的優(yōu)點(diǎn)，實(shí)現(xiàn)了對軸承健康狀況的高效診斷：

1)GCNN-LightGBM對同負(fù)載測試集的平均分類準(zhǔn)確率為99.72%，對變負(fù)載測試集的平均分類準(zhǔn)確率為95.04%。

2)與CNN-LSTM，WDCNN和CNN-SVM相比，GCNN-LightGBM模型在變負(fù)載測試集上具有更高的平均準(zhǔn)確率，具有較強(qiáng)的泛化能力和負(fù)載遷移能力。

3)GCNN-LightGBM模型所需訓(xùn)練的層數(shù)只有2層且參數(shù)計(jì)算量不足5 000，訓(xùn)練和故障診斷時(shí)長分別為44.64，0.08 s，遠(yuǎn)遠(yuǎn)低于文中其他對比模型，表明GCNN-LightGBM模型具有結(jié)構(gòu)簡單，參數(shù)計(jì)算量少，訓(xùn)練與故障診斷效率高等優(yōu)點(diǎn)。

本文主要是針對負(fù)載的變化提高模型的泛化能力，后續(xù)將通過向樣本中增加噪聲干擾進(jìn)一步提高模型的魯棒性。