引入動態調節學習率的SAE軸承故障診斷研究

唐 魏，鄭 源，潘 虹，徐晶珺

1.河海大學 水利水電學院，南京 210098

2.河海大學 創新研究院，南京 210098

3.河海大學 能源與電氣學院，南京 211100

1 引言

隨著互聯網、物聯網的快速發展，當前社會數據的增長十分迅速，在軸承故障診斷領域更是如此[1]，形成海量的各種設備來源、各種形式的故障和正常數據，這導致屬于淺層學習的傳統軸承故障診斷方法具有無法充分挖掘數據深層特征的局限性[2]。深度學習作為大數據時代的產物，由于其具有多個隱含層，能夠實現復雜非線性函數的表示，在特征自動提取上具有很多其他算法不可比擬的優勢[3]。

深度學習目前較為成熟的算法有4 種[4]：深度置信網絡（Deep Belief Network，DBN），卷積神經網絡（Convolutional Neural Network，CNN），循環神經網絡（Recurrent Neural Network，RNN），堆疊自編碼網絡（Stacked Auto-Encoder，SAE）。深度學習在軸承故障診斷領域也已經進行了大量的應用[5-9]，其中SAE網絡的應用研究方面，Sun等[10]利用SAE實現軸承故障診斷，并分析了Dropout 對于故障識別率的影響；張西寧等[11]運用帶標準化的堆疊自編碼網絡進行滾動軸承故障診斷研究；杜燦誼等[12]運用螢火蟲算法優化SAE網絡參數；侯文擎等[13]利用粒子群算法優化SAE 網絡超參數；鄭近德等[14]結合多尺度熵和自編碼器進行滾動軸承故障診斷。

可以看出目前SAE 在軸承故障診斷領域的應用研究主要集中在超參數的優化、輸入數據形式、不同樣本數據長度和網絡結構對準確率的影響的研究上，關于SAE網絡反向微調的有標簽數據量，文獻[10-14]中多表示為少量有標簽數據，很少有人進行量化研究和探究減少有標簽數據的措施，如果能減少所需要的有標簽數據量，則能大量減少人工標簽的時間，節約人力成本。普通的深度學習網絡采用一個固定的學習率，這樣對學習率的設置需要大量經驗，設置過大會導致難以收斂或跳過最優值，設置過小會導致收斂速度過慢，文獻[15-23]研究了動態學習率解決這個問題，但其研究主要集中在CNN 和DBN 上，利用動態調節學習率加快收斂速度和收斂精度。

本文基于堆疊自編碼網絡進行軸承故障診斷研究，提出動態調節學習率取代原始的固定學習率進行預訓練，通過不同有標簽數據量反向微調，研究不同學習率和有標簽數據量對于軸承故障分類識別的影響。

2 堆疊自編碼深度神經網絡

2.1 自編碼器

自編碼器（auto-encoder）是 Rumelhart 在 1986 年提出的一種單隱藏層神經網絡[24]，其結構如圖1所示，這種網絡是在無監督學習的方式下，使得輸入和輸出盡可能保持一致。假設輸入為n維的數據X，輸出為n維的數據Y，輸入數據通過全連接的方式加權求和，加上偏置之后在激活函數的作用下，得到隱藏層H，數據維度為k維，隱藏層再通過同種方式得到輸出層，然后利用反向傳播算法，以縮小輸入、輸出的差異為目標，對權值和偏置進行迭代更新，直到滿足誤差的要求或是迭代步數的要求。自編碼器數學表達如下：

式中，Wa∈ Rn×k、Ws∈ Rk×n、ba∈ Rk、bs∈ Rk為需要優化求解的權值和偏置，σa(?)、σs(?)為激活函數。

圖1 自編碼器結構示意圖

2.2 堆疊自編碼網絡

堆疊自編碼網絡（SAE）由 Hinton 于 2006 年對Rumelhart 提出的自編碼器進行改進而來[25]，其結構圖如圖2所示。將自編碼器的編碼部分進行堆疊，即第一層自編碼器的輸入為原始數據，自此下一層自編碼器的輸入為上一層自編碼器的隱藏層數據，最后給網絡加上分類器，就構成了SAE。堆疊自編碼網絡采用的是預訓練和反向微調相結合的訓練方式，即先用大量的無標簽數據進行無監督學習，自主提取特征，然后利用有標簽數據對網絡反向微調。預訓練和反向微調過程采用的均是梯度下降算法。

圖2 SAE結構示意圖

3 數據來源和數據處理

3.1 數據來源

實驗數據源于美國西儲大學（CWRU）軸承數據中心[26]，CWRU數據集是世界公認的軸承故障診斷標準數據集。所使用的軸承故障位置為外圈滾道、內圈滾道、滾動體，故障的程度為3 類，分別為0.18 mm、0.36 mm、0.54 mm，9 種故障數據加上正常的數據就得到了10 種狀態的軸承數據，數據集為用加速度傳感器采集的電機殼體的驅動端的振動，頻率為12 kHz。每種狀態使用中間位置的120 990 個節點的數據，取前50 990 個節點為訓練數據，其余為測試數據。

3.2 數據處理

3.2.1 歸一化

實驗使用原始的軸承數據，只對振動數據進行歸一化，歸一化公式如下[8]：

3.2.2 數據集增強

設置每個樣本的數據長度為1 000，為了得到更多的訓練樣本，采用滑動窗口重疊采樣數據增強技術[27]，原理如圖3 所示，偏移量設置為10，得到每種狀態的訓練數據的樣本量為5 000，測試數據不進行重疊，得到每種狀態的測試數據樣本量為70，這樣訓練數據樣本總和為50 000，測試數據樣本總和為700。

圖3 數據增強原理圖

4 實驗過程及結果

實驗在MATLAB2014b 平臺上進行，激活函數為sigmoid，輸出分類器為softmax，使用GPU進行加速運算。

4.1 網絡結構確定

設置恒定的預訓練學習率為0.1，預訓練迭代次數為700步，反向微調學習率為0.01，反向微調有標簽樣本占比為10%，迭代次數為1 000步，batchsize設置為100。根據文獻[22]BP 神經網絡關于隱含層節點數的經驗公式：

其中，m為輸入數據節點長度，n為輸出數據節點長度，k為[0，10]以內的常數。結合實例，確定隱含層節點數為105。

為研究不同隱含層層數對于軸承故障分類識別的影響，設置隱含層層數分別為1、2、3、4、5、6層的對比實驗，取十次結果的平均值作為最終結果，得到的準確率如表1。

表1 不同隱含層層數的結果對比

從表1可以看出，隱含層層數為3時準確率最高，當隱含層層數為6時，準確率隨著層數的增加下降速度變快。以上結果說明，網絡結構太淺不利于數據特征的表達，太深則會導致網絡特征的丟失。

采用下一層隱含層節點數為當前層節點數的一半的策略對網絡結構進行優化[28]，確定網絡結構為[1 000-500-250-125-10]，并與其他網絡結構進行對比分析，所有結果均為實驗十次取平均值。

從表2 可以看出，采用[1 000-500-250-125-10]網絡結構的準確率最高，在后續的研究中選取該網絡結構。

表2 不同網絡結構準確率對比

4.2 動態學習率

梯度下降法訓練SAE 網絡實質就是利用損失函數對權重的偏導數迭代調整網絡的權重，其中權值的更新計算公式如下：

式中，Wi和Wi+1是計算過程中第i次迭代和第i+1 次迭代過程中的權值，η為學習率，Li為損失函數。

學習率是訓練過程中一個非常重要的參數[18]。過大的學習率會導致收斂困難或跳過最優解，而過小的學習率則會導致收斂速度過慢，增加計算時間，不利于效率的提高，為了解決這一問題，需要采用非恒定的學習率。

由于損失函數對權重的偏導數較為復雜，選取預訓練中輸入數據的重構誤差作為學習率調整的依據，參考文獻[16]，確定如下的學習率調整策略：

其中，h(i)為迭代次數為i時的學習率，h(i+1)為迭代次數為i+1 時的學習率，ΔLi為迭代次數為i(i ＞2)次時重構誤差的梯度，采用向前差商法計算重構誤差的梯度，求解方法如式（9）所示：

通過式（9）的計算，當重構誤差波動下降時，得到的重構梯度為負，這樣學習率便以較慢的方式減小，避免學習率減小過快。為了避免學習率過低導致梯度消失的問題，將學習率的范圍限制在0.01～5范圍內。動態調節學習率的預訓練流程如圖4所示。

分別設置固定學習率為0.01、0.1、0.2、0.3與該動態調節的學習率進行對比實驗，動態調節的學習率初始值設置為0.2，其他網絡超參數保持一致，得到的重構誤差曲線如圖5所示。

從圖5 可以看出，學習率為0.2、0.1、0.01 和動態調節時，重構誤差整體都隨著迭代次數的增加而減小，在學習率為0.3時，在迭代初期網絡發散，最終會陷入局部最優解；網絡700 次迭代結束時，0.01 學習率并未穩定（未收斂），重構誤差具有明顯的下降趨勢，0.1、0.2和動態調節學習率曲線基本穩定（收斂），其中動態調節學習率曲線穩定值比其他三者都低，0.2 固定學習率的重構誤差穩定值小于0.1固定學習率對應的值。從重構誤差下降速度上來看，在最初階段，動態調節學習率和0.2固定學習率的重構誤差下降速度最快，在迭代進行到20步左右時，動態調節學習率的重構誤差下降速度超過0.2固定學習率，整體上，動態調節學習率達到穩定所需要的迭代步數最少。表3 展示了各種學習率網絡迭代過程耗時和收斂時的重構誤差，從表中可以看出采用動態調節學習率的收斂時間相比于較優的固定學習率要減少17.70%，重構誤差下降了22.92%。

圖4 動態調節學習率的預訓練流程圖

圖5 不同學習率下的重構誤差

表3 不同學習率對應的結果對比

4.3 不同有標簽樣本量

有標簽樣本占比為10%時，通過SAE預訓練和反向微調，達到了98.97%的正確率，為了探究有標簽樣本量對于SAE網絡反向微調過程的影響，進一步設置了有標簽樣本量分別占總樣本量1%、2%、3%、4%、5%、6%、7%、8%、9%九個不同組。為了保證有標簽樣本占比越大，包含的信息越多，有標簽樣本的增加規則如圖6 所示，圖中2%有標簽樣本由前面的1%有標簽樣本加上另外的1%有標簽樣本組成，3%有標簽樣本由前面的2%有標簽樣本加上另外的1%有標簽樣本組成，以此類推。

圖6 有標簽樣本的增加規則

分別采用0.1固定學習率和動態調節學習率的預訓練方式得到的權值和偏置進行有監督的反向微調，故障分類準確率結果為進行十次實驗得到的平均值，實驗結果如圖7 和圖8 所示，圖8 為動態調節學習率的結果。由圖7 可以看出，相比于固定學習率，動態調節學習率在相同的有標簽樣本量下得到的準確率更高，因此達到相同的準確率，動態調節學習所需的有標簽樣本量更少；準確率隨著有標簽樣本量變化可以分成兩段，第一段是在有標簽樣本量從10%減少到6%時，準確率隨著有標簽樣本量的減少下降較慢，第二段是在有標簽樣本量小于6%時，識別率隨著有標簽樣本量減少，下降速度比第一段快。從圖8 可以看出，有標簽樣本量越多，達到90%準確率所需要的迭代步數越少，網絡收斂所需要的迭代次數也減少，收斂也越來越容易，在綜合考慮迭代次數和準確率，當有標簽樣本量占比為8%左右時，所得到的結果最優。

圖7 兩種學習率準確率變化圖

圖8 不同有標簽樣本量準確率隨迭代步數變化圖

從表4可以看出，該動態調節學習率的SAE模型在故障識別準確率上較以往研究中所使用的模型高。

表4 準確率結果對比

5 可視化

t 分布隨機鄰域嵌入算法（t-distributed Stochastic Neighbor Embedding，t-SNE），由Laurens van der Maaten和 Geoffrey Hinton 于 2008 年提出，t-SNE 算法在降維、聚類、可視化的應用上取得了良好的效果。利用t-SNE對10%、5%、1%有標簽樣本量的第三隱含層的數據進行可視化，結果如圖9～圖11所示。

圖9 1%有標簽樣本可視化

圖10 5%有標簽樣本可視化

從圖9～11可以看出，圖11的故障區分效果最好，每種故障類型都能區分，圖10相對于圖11，有少數故障類型未能區分，圖9有較多的數據重疊。對比圖9、圖10以及圖11，三者都實現了故障的聚類，只是缺少有標簽樣本對各種故障進行區分，導致故障識別準確率的下降。

圖11 10%有標簽樣本可視化

6 結束語

本文從普通的SAE 模型出發，通過對比實驗的方法，確定了最優網絡結構，在此基礎上，從學習率的角度改進了普通SAE模型，并使用不同數量的有標簽樣本進行網絡的微調。通過以上研究得到如下結論：

（1）提出了一種動態調節學習率方法，改進了SAE網絡。該方法在初始時刻給予一個較大的學習率，并在迭代過程中依據重構誤差梯度的正負，確定不同學習率的減小策略，為SAE 網絡動態更新一個較合適的學習率。實驗表明，相比固定學習率的SAE網絡，該動態調節學習率的SAE 網絡預訓練收斂時間減少17.70%，重構誤差下降22.92%，相對于以往的普通模型，故障分類識別的準確率更高。

（2）對于SAE 網絡，反向微調過程中軸承故障有標簽樣本量越多，故障分類的準確率越高，模型更快或更容易收斂，當有標簽樣本量占超過6%時，隨著有標簽樣本量的減少，準確率降低幅度較小。

（3）相比于固定學習率方式，采用該動態調節學習率進行預訓練得到的SAE網絡權值和偏置，經過反向微調，在達到相同準確率下所需的有標簽樣本量更少。