自編碼器及其改進算法在滾動軸承故障診斷的應用

周建民，劉露露，楊曉彤，王云慶

（1.華東交通大學載運工具與裝備教育部重點實驗室，江西 南昌 330013；2.華東交通大學軌道交通基礎設施性能監測與保障國家重點實驗室，江西 南昌 330013）

滾動軸承在各類旋轉機械中被廣泛應用，而且在決定設備運行狀態方面起著重要作用。因此，對滾動軸承進行故障診斷和在線狀態監測具有重要的現實意義[1]。在實現滾動軸承的故障診斷和在線狀態監測的方法中，淺層機器學習的應用較多，但淺層機器學習的結構缺乏強大的表示能力，難以處理復雜非線性關系問題[2]。在這個情況下，深度學習作為研究領域中新的突破點，快速在各個領域中被廣泛地研究與應用[3-4]。深度學習能自主學習隱藏在原始數據中的主要信息，并在數據和設備運行狀態之間建立精確的映射關系[5]，故而在各種診斷模型中，基于深度學習的應用與研究也日漸增多。

將深度學習方法應用在滾動軸承故障診斷領域的研究中，一般都會針對不同的問題來實行不同的學習方式，如有監督學習、無監督學習等。在有監督學習模式下，算法需要大量的有標簽的訓練數據，這就導致算法在一定程度上受到數據的約束，在這種情況下，無監督深度學習在滾動軸承故障診斷上的發展及應用逐漸被重視起來，自編碼器（auto-encoder, AE）就是一種典型的無監督深度學習的網絡模型。

自編碼器的運行過程就是一個編碼解碼的過程，但是需要通過誤差反向傳播機制調整整體網絡[6-7]，近年來，基于AE 的研究與應用也越來越多[8-11]。Bengio等[8]提出在AE 的隱含層中引入稀疏性限制項的稀疏自編碼器（sparse auto-encoder，SAE）這一改進網絡，其目的旨在獲得高維且稀疏的特征。Vincent 等[9]在AE 中引入添加噪聲，提出了降噪自編碼器（denoising auto-encoder，DAE）這一改進網絡，從而減弱噪聲影響，此外堆棧降噪自編碼（stacked denoising auto-encoder，SDAE）網絡是深度自編碼網絡的另一種形式，它只是用DAE 代替AE。因此，目前基于自編碼器的滾動軸承故障診斷方面的應用主要有數據降維和數據降噪兩個方面[12]，可以通過Matlab、TensorFlow、Pytorch、Keras 等不同框架或平臺實現。

本文將介紹AE、SAE、DAE、SDAE 等算法的網絡結構及其理論理解，梳理自編碼器改進算法的創新點與實現方式。同時，結合相關文獻來總結上述幾類自編碼器在針對滾動軸承故障診斷的研究進展。最后，分析當前自編碼器及其改進算法仍存在的問題，探討解決這些問題的思路。

1 自編碼器及其改進

在深度學習中，自編碼器是一種典型的無監督網絡模型，它在學習輸入數據隱含特征的同時，還可以利用學習到的特征來重構原始輸入數據，從而形成一種無監督模型的特征提取方法。

1.1 自編碼器

AE 是一種典型的單隱層神經網絡，它以無監督的方式學習參數并提取特征，使輸入和輸出保持一致性，從輸入到隱含層和從隱含層到輸出層的過程分別稱為編碼和解碼，AE 的網絡結構如圖1 所示。

圖1 AE 網絡結構圖Fig.1 AE network

如圖1 所示，自編碼器通過全連接的方式將輸入信號進行加權求和，經過偏置矩陣與激活函數計算后輸入到隱含層，而隱含層也以同樣的相同方式輸入到輸出層中，最后通過設置目標函數來得到最優的權值和偏置。自編碼器的計算公式如下

常規自編碼器一般采用反向傳播算法來優化調整網絡的權值和偏置，從而使更新后的網絡輸出樣本更加接近輸入樣本，同時還能提取出更具樣本表征的抽象特征。

與一些無監督學習算法相比，AE 不僅能降低提取的特征維度，還保存了更多的信息表示度，它可以綜合地利用各種特征信息來進行數據降維和特征提取，因此可以更有效地實現滾動軸承的故障分類任務。

目前，自編碼器已成為故障診斷領域的一個熱點[13-14]。Mao 等[15]結合自編碼器和極限學習機的方法提出一種新的算法，實現了自適應挖掘識別滾動軸承故障特征并且提高了診斷速度。張西寧等[16]將標準化的自編碼網絡運用到滾動軸承故障診斷，通過實驗證明該網絡不僅可以提高網絡在噪聲環境下的識別能力, 而且能夠有效地減少網絡的訓練時間。Pei 等[17]針對數據不平衡問題提出了一種增強少鏡頭瓦瑟斯坦自編碼器的數據增強方法，結果表明該模型在不平衡程度的恢復能力方面非常優異，且具有較好的精度。

1.2 降噪自編碼器

DAE 在自編碼器的基礎上進行了改進，在編碼過程中以隨機置零神經元的方式來添加噪聲，然后再進行后續的解碼過程。DAE 通過這樣的方式來增強網絡泛化能力，并降低噪聲影響，其網絡結構如圖2 所示。

圖2 DAE 網絡結構圖Fig.2 DAE network

降噪自編碼器的計算公式為

式中：hW，b（·）為輸入數據的重構函數。

對于含有多個樣本的樣本集，為了使輸出逼近原始數據，DAE 的目標函數一般表示為

此外，為避免網絡訓練過擬合，提高網絡的泛化性，還可對DAE 的學習參數設置正則化約束項[18]，如使用L2正則化約束，則目標函數可改寫為

式中：θ=｛W，b｝；W 為兩連接層間的權重；b 為各層的偏置；λ 則用于度量數據重構程度和正則化約束之間的權重。

通過上述改進后，DAE 在AE 的基礎上，不僅可以對數據進行有效的降維，還能在一定程度上解決原始數據存在噪聲的問題，從而對數據進行降噪和降維的雙重處理。

針對降噪自編器在滾動軸承故障診斷上的改進與應用中，Meng 等[19]將權重衰減中的L2范數懲罰改為彈性懲罰，以改善參數的稀疏性，通過進行滾動軸承的故障診斷試驗發現，該方法相較傳統的自編碼器更具優越性。Tong 等[20]采用多尺度分析方法從滾動軸承的原始振動信號中提取多尺度特征，再使用稀疏懲罰項和壓縮懲罰項對自編碼器的損失函數進行正則化，在具體實驗中可以有效地區分不同工況下滾動軸承的故障類型和嚴重程度，提高了DAE 在復雜工況下的性能。Liu 等[21]提出了一種基于非線性預測降噪自編碼器進行滾動軸承故障診斷，實驗證明該方法魯棒性強，準確度高，但由于存在監督學習過程，該方法不能很好地識別新的故障類型，也不能很好地識別具有更嚴重裂紋的同一故障類型。宋威等[22]首先對一維振動信號進行圖像灰度化處理，對降噪自編碼器的特征提取網絡進行改進，即自編碼器網絡由4 層卷積神經網絡和兩層全連接神經網絡構成，在每個卷積層后均添置歸一化層，提升神經網絡的訓練速度。

1.3 稀疏自編碼器

SAE 在自編碼器的基礎上，通過在隱含層中加入稀疏限制項進行了改進，這種限制會使得隱含層中的節點被抑制激活，而被抑制的節點數量則會因所選取的激活函數發生改變，從而達到增強所提取特征的稀疏性效果，SAE 網絡結構圖如圖3 所示。

圖3 SAE 網絡結構圖Fig.3 SAE network

在SAE 的各類應用中，常用的稀疏性限制采用L1范數或KL 散度等正則化項。以這兩種稀疏性限制為例，當采用L1范數作為正則化項時，SAE 的損失函數可表示為

式中：aj（xi）表示隱含層節點j 對輸入xi的激活值；λ表示控制懲罰程度的L1正則化系數。

當采用KL 散度正則化項時，SAE 的損失函數可表示為

相較于基礎的自編碼器，SAE 能夠更有效地學習主要特征，通過降低對次要特征的需求來使提取的特征更具稀疏性。然而，SAE 需要通過參數影響實驗來判斷該節點是否被抑制，無法直接對某個特定節點進行抑制行為。所以，合理利用SAE 中的稀疏準則、DAE 的降噪機理以及AE 的信號重構能力，將各類自編碼器的功能進行點對點的設計有助于挖掘輸入的基本信息，提高故障模式分類的魯棒性。

Dai 等[23]為了挖掘滾動軸承的代表性故障特征，提出了一種結合SAE 和DAE 的疊層稀疏降噪自編碼器診斷模型，實驗證明該方法診斷準確率、重構誤差和迭代時間方面都具有優勢，不過該方法非常依賴于數據的驅動。Sun 等[24]建立了一種基于堆疊稀疏自編碼器的深層神經網絡來挖掘數據間的連接關系，結果顯示該方法能夠自適應地學習到滾動軸承振動信號的復雜關系，所重構的數據適用于各種故障類別。Jia 等[25]提出了一種基于歸一化稀疏自編碼器的本地連接網絡，來實現自編碼器的自動化特征提取功能，結果表明該方法所提取的特征在齒輪箱和滾動軸承的故障診斷上都具有優越性。湯芳等[26]提出了一種基于稀疏自編碼的深度神經網絡來實現無監督學習自動提取特征的功能，結果表明使用該網絡所提取的特征進行故障診斷后能更準確地識別滾動軸承故障類型。袁憲鋒等[27]利用堆棧稀疏自編碼器實現了滾軸軸承故障信號頻域深層特征的自適應學習，通過將降維后的特征可視化可以觀察到不同故障類型特征向量之間的重疊程度被降低，分類模型對不同滾動軸承故障類型的判斷更準確。

1.4 堆棧降噪自編碼器

SDAE 網絡是由多個DAE 堆棧組成的深度神經網絡，因此其結構也與DAE 有很多相似，其主要目的也是將數據進行壓縮重構，然后將重構特征輸入到后續的分類模型或回歸模型中，SDAE 也存在一定的降噪特性，從而提高預測模型的準確度和魯棒性[28-29]。SDAE 的網絡結構如圖4 所示。

圖4 SDAE 網絡結構圖Fig.4 SDAE network

如圖4 所示，SDAE 網絡需進行逐層訓練和微調才能被訓練成更加符合目標函數的網絡，即遵循“逐層訓練”的原則才能訓練得到一個完整的符合目標期待值的SDAE 網絡。需要注意的是，在訓練某一層超參數時，其他各層超參數需為固定值，并且逐層訓練后的網絡也需利用樣本數據和標簽對整個網絡進行有監督的微調，該過程可表示為

式中：α 為學習速率，Wij為連接層間權重；bi為第i 層的偏置；l 表示層數；L（W，b；x）為上節所述目標函數。當目標函數達到一定閾值時則表示整體網絡已訓練完成，訓練后的SDAE 網絡模型不僅學習了數據之間分布關系，還保留了數據之間的時間相關性特征，從而可以提高數據的優越性，增加分類模型的準確識別率。

Yang 等[30]融合了多變量多尺度樣本熵和SDAE，通過引入具有不同分布中心的高斯噪聲，實驗證明該模型具備良好的去噪能力，此外，對于軸承的故障診斷還具備較高的識別率和較強的魯棒性。余萍等[31]利用新設計的人工變性天牛算法對SDAE 網絡的超參數進行自適應選取從而訓練出最優的網絡模型，提取滾動軸承更深層次的故障特征，與傳統方法相比，該方法具有更好的網絡泛化能力、更高的診斷精度和更好的分類性能。杜先君等[32]利用學生心理優化算法對SDAE 網絡的超參數進行優化，結果表明優化后的網絡模型有效的提升了對滾動軸承進行故障診斷的診斷正確率與診斷速度，但無法有效解決數據缺失、數據類別不均衡、數據分布不均勻等問題。

1.5 其他改進的編碼器

除上述幾種常用于滾動軸承故障診斷中的自編碼器類型外，還有許多關于其他基于自編碼器的改進模型在實際故障診斷中的應用。

Shi 等[33]提出了一種基于滑動窗口疊加降噪自編碼器的模型來描述具有時間相關特征的數據分布，通過對滾動軸承進行故障診斷實驗，驗證了所提模型在診斷初始故障類型中具有顯著的優越性。Shao 等[34]提出了一種基于集成深度自編碼器的網絡來解決對于自動特征提取的有效性低的問題，實驗證明該網絡用于滾動軸承故障診斷方面可以有效地提高準確率，然而，這些新函數的輸出有時會不穩定。Li 等[35]將SAE、DAE 和線性解碼器分別構造多個深度自編碼器來進行滾動軸承故障特征的自適應提取，該方法比單個深度模型和其他集成學習方法更有效，但訓練過程耗時久，對實驗訓練環境要求高。石懷濤等[36]提出了一種基于滑動窗堆棧降噪自編碼器和長短時記憶網絡的貝葉斯優化的早期故障預測模型來優化針對于滾動軸承的特征提取，從而實現對滾動軸承的早期故障診斷。Yan 等[37]將變分自編碼器（variational auto-encoder，VAE）和DAE 相結合來提取具有魯棒性和判別性的潛在故障特征，實驗表明所提模型能對不同的滾動軸承健康狀態實現較高的識別精度。張西寧等[38]提出了一種深度卷積自編碼網絡，通過將卷積網絡與自編碼器相結合來實現滾動軸承故障復雜特征提取，實驗證明該方法能取得更好的故障識別效果，還解決了卷積神經網絡權值只能隨機初始化的問題。陳志剛等[39]提出了一種改進的深層自編碼器集成方法，實現了滾動軸承振動信號的特征自動提取和故障類型自動識別的功能。Shen 等[40]提出了一種基于收縮自編碼器的滾動軸承故障診斷方法來獲得信號的隱藏的魯棒特征，從而使診斷模型可以得到更高的準確率。Zhang 等[41]在噪聲環境下使用集成深度收縮自編碼器進行機械故障診斷，利用集成深度收縮自編碼器能自動從輸入信號中提取更具代表性和鑒別能力的高層特征的特點來獲得更好的故障診斷結果。此外，關于自編碼器改進算法及其應用近年來還有很多研究[42-51]，表1 歸納了一些自編碼器改進算法的優點及改進方式。表1 中相關縮寫如下：regularized auto-encoder（RAE），deep convolutional auto-encoder（DCAE），adaptive sparse contractive auto-encoder（ASCAE），hybrid ensemble auto-encoder（HEAE），wasserstein autoencoder（WAE），convolutional auto-encoder（CAE），full convolutional denoising auto-encoder（FCDAE），multi-scale convolutional auto-encoder（MSCAE）。

表1 自編碼器各改進算法的分析與比較Tab.1 Analysis and comparison of improved self encoder algorithms

2 存在的問題及解決思路

隨著現代技術信息化和自動化的發展，對故障診斷算法的需求和要求也愈加高，而基于自編碼器的故障診斷技術具有很強的表示學習能力，所以在大數據環境下變得更加自動化和高效。但是，數據樣本存在的特征維數高有效信息卻有限、傳感器的觀測值有缺失、數據類別不均衡、數據分布不均勻等問題，造成了特征提取和故障診斷的不確定特性，也限制了自編碼器的表示學習能力。因此，基于自編碼器的改進及應用仍有很大的研究空間，其理論依據有待完善[52]。

1）故障特征提取的限制。目前，利用自編碼器對滾動軸承進行故障診斷應用在已知故障類型下判斷故障種類。因此，在半監督或有監督條件下如何使自編碼器更具適應性的進行特征提取仍是一個問題，例如稀疏自編碼由于在隱藏層中增加了稀疏性限制，其對于隨機數據的壓縮學習較為困難，而一些堆棧式自編碼器雖然具有強大的非線性擬合能力，但處理數據的時間卻很長。因此，可考慮重構輸入樣本及其標簽，使自編碼器在訓練過程中考慮標簽損失，或在損失函數中添加帶有隱藏標簽的正則化項，從而提升特征提取能力。

2）難以適應小樣本條件以及數據不充分、不平衡問題。自編碼器及其深度結構由于模型結構復雜，在樣本數據不充分不平衡和小樣本情況下，會產生過擬合現象，例如稀疏降噪自編碼器在對數據進行降噪處理時就沒有考慮輸入與輸出間的局部相似性，而卷積稀疏自編碼雖然可在短時間內獲得最有效特征，但卻需要大量的樣本進行訓練與測試，如何克服樣本問題仍是自編碼器的一個研究熱點。在小樣本條件下，可考慮以數據增強為一個解決方法，利用流信息、遷移學習、生成式對抗網絡等方法解決該條件下模型的整體設計問題。在數據不充分、不平衡條件下，可考慮以對數據進行預處理為思路，采用欠采樣和過采樣的方法，或利用代價敏感學習、不平衡學習等模型來解決數據問題。此外，隨著寬度學習的發展與應用，還可以考慮將自編碼器與寬度學習相結合，使自編碼器的結構由深度發展改為寬度發展，達到速度與準確度的雙重提高。

3）缺乏有效超參數設置方法。由于基于自編碼器的學習模型具有隱含層層數、節點數、權值、偏置等超參數，因此模型的特征提取能力、訓練速度、診斷精確度等具有不穩定性[53]。如邊緣降噪自編碼的噪聲強度參數就嚴重影響其降噪能力與實驗成本，特別是一些堆棧形式的改進自編碼器和其他深度學習模型相結合的自編碼器，由于具有更多的層數與超參數，其模型效果更容易受到影響。超參數數量較少且范圍小時，可通過調試實驗人工選出最優的超參數設置，但在其他復雜情況時，就應當使用一些優化算法來優化模型中的超參數（如遺傳算法、模擬退火算法、學生心理優化算法、灰狼算法等），從而尋找出能夠滿足最優目標函數的自編碼器模型。如何尋找出一個準確率高、適應性強的優化后的自編碼器模型仍是一個值得研究的問題。

4）噪聲對于網絡初始化的影響。信號的有效特性往往淹沒在工業背景噪聲中，這會導致自編碼器對信號的重構能力、降噪能力等性能下降。在自編碼器的網絡初始化中，噪聲的產生是一個不可忽略的問題，絕大多數自編碼器及其改進算法對網絡參數均采用隨機初始化，而診斷模型的訓練速度、診斷精確度等也受其影響[54]。L21范數自編碼器通過在損失函數中增添正則化項來降低這個影響，又存在處理時間較長這一問題。因此，可考慮在損失函數上引入正則化項來降低網絡初始化產生的噪聲影響，還可以從網絡初始化的角度出發來優化網絡降低噪聲影響，提高自編碼器訓練的穩定性，從而提升診斷模型的準確性。

3 結束語

深度學習作為機器學習領域的突破，受到了各個領域的廣泛關注，且在滾動軸承故障診斷中的應用也日益增多，自編碼器作為一種無監督的深度學習的網絡模型，在數據降噪和數據可視化降維方面具有明顯的優勢。本文介紹了AE 及其一些改進算法的網絡結構及其理論理解，梳理了相關算法的創新點與實現方式，最后，通過分析當前仍存在的問題，提供了一些解決問題的思路。