基于特征擴展CapsNet的軸承故障診斷模型

周益天，孔軍偉，張新良*

(1.舟山洋旺納新科技有限公司，浙江 舟山 316000；2.河南理工大學 電氣工程與自動化學院 河南省煤礦裝備智能檢測與控制重點實驗室，河南 焦作 454003)

卷積神經網絡可以同時利用目標的低層次和高層次特征來完成目標識別任務，非常適用于時序振動信號的軸承故障診斷研究[1-3]。Zhuang等[4]基于特征和時域數據之間分布概率的一致性，給出了一種用于多尺度聚合上下文的離散卷積，保證了在提取軸承故障特征時，不降低分辨率且得到了較好的預測性能。馮浩楠等[5]構建了并行通道的一維卷積網絡，同時獲取軸承振動信號的時-頻域信息。實驗結果證明，相比單通道的一維卷積神經網絡，并行的模型具有更強的泛化能力，提高了特征信息的利用率。對于軸承故障診斷模型應用時面臨的多工況和噪聲干擾的問題，Shenfield等[6]提出了一種結合循環神經網絡和卷積網絡的RNN-WDCNN模型，用于診斷機械系統中重復出現的振動信號，采用寬卷積核捕獲時間序列的距離相關性，抑制輸入信號中的高頻噪聲。Chen等[7]使用不同尺寸卷積核，從原始數據中提取不同頻率的信號特征，利用長短時記憶網絡(Long Short-Term Memory,LSTM)識別故障類型，使模型對噪聲環境具有適應性。Zhao等[8]使用軟閾值收縮函數實現深層網絡的非線性轉換，消除噪聲的相關特征，有效提高了高噪聲振動信號中識別故障特征的能力。

然而，傳統的卷積神經網絡診斷模型需要大量訓練數據，且在結構上其卷積層之后采用下采樣操作來降低參數量，對于含有噪聲的小樣本故障數據，往往會導致有效故障特征提取不完備，影響故障診斷精度[9]。膠囊網絡(Capsule Network,CapsNet)利用以膠囊形式體現的特征向量，通過線性組合生成預測向量，使用動態路由機制篩選與目標最接近的預測輸出，摒棄了傳統卷積神經網絡的深層次結構和池化層，因此非常適合小樣本學習，為基于圖像的故障診斷提供了新的研究思路[10-12]。Zhu等[13]使用短時傅里葉變換將軸承振動信號轉換為二維圖像，通過在初級膠囊層并聯多尺度卷積核實現特征擴展，實驗結果表明，該模型具有良好的泛化性能，可以適應不同負載下的軸承故障診斷需求，且具有較高的運行效率。為了彌補噪聲干擾造成的特征損失，Liang等[14]將門結構和空洞卷積引入CapsNet網絡中，通過增強網絡的全局特征提取能力，抑制噪聲的影響。

本文考慮CapsNet處理小樣本數據集的優勢，結合軸承故障診斷在實時性和抗噪性方面的應用需求，通過擴展多尺度故障特征和改進數字膠囊迭代條件，提高模型的預測性能。

1 初級膠囊故障特征擴展網絡

CapsNet將多組卷積層提取到的特征向量按通道、位置點索引，構造用于數字膠囊故障診斷的初級膠囊，如圖1所示。因此，初級膠囊中故障特征的完備程度直接決定了整個故障診斷模型的預測精度，本文通過將通道內約束改進為通道內-通道間混合約束，擴展膠囊特征向量，為數字膠囊層預測網絡提供更完備的故障特征。

圖1 膠囊網絡軸承故障診斷模型

設初級膠囊層的輸入特征圖為F，大小為M×M×C，M為特征圖的寬度和高度，C為特征圖的通道數。通過并行c個多尺度通道的L個卷積塊，生成特征映射f為

f=[f1,f2,…,fi,…，fL]

(1)

式中：fi為每其中每個卷積塊的特征映射輸出，大小是N×N×c。初級膠囊u通過遍歷f中的特征圖fi的所有元素生成，可得：

u=[u1,u2,…，uj,…,uS]T

(2)

式中：S=N×N×L。每個初級膠囊元素uj描述為

u(i-1)N2+(m-1)N+n=Conc(fi(m,n))

(3)

式中：m=1,2,…，N；n=1,2,…，N；i=1,2,…，L；(m,n)為像素在fi中水平和垂直方向上的位置；函數Conc(·)實現將特征圖中的像素fi重排為向量形式。

同一通道內的元素點組成的初級膠囊層內約束為uI，即

(4)

(5)

不同通道間、相同位置特征元素組成的層間約束uC為

(6)

(7)

式中：mC=1,2,…，NC；nC=1,2,…，NC；jC=1,2,…，cC；l1=1,2,…，S1；i1=1,2,…，LC；uC大小為S1×cC。

初級膠囊由層內-層間構成的混合約束共同構造：

u=uC?uI

(8)

層內約束補充了網絡對目標局部信息的提取，即以少數的層數，采用多維向量參與計算的方式，完成深層網絡提取目標特征的任務。層間約束對目標全局信息進行補充，對于具有時序特征的故障數據，尤其在噪聲干擾下，網絡具有了更強的捕捉目標全局特征的能力。

2 余弦相似度度量的數字膠囊層動態路由

對于CapsNet的故障分類實現，數字膠囊層輸出膠囊向量的方向描述預測的類別，向量的模值描述類別的概率。經典的CapsNet以向量的內積作為當前膠囊向量和目標膠囊的度量，會導致同一投影，有兩種不同方向和不同模值的向量與之對應，如圖2所示。

圖2 向量投影示意圖

從圖2中可以看出，向量u1在向量v上的投影與向量u2在向量v上的投影所存在關系為

‖u1‖cos(u1,v)=‖u2‖cos(u2,v)

(9)

向量u1、u2與v的夾角不同，即cos(u1,v)≠cos(u2,v)。

若僅使用向量模值度量當前預測膠囊和目標膠囊的接近程度并作為動態路由的依據，面對足夠大的向量模值時，向量夾角余弦值貢獻度變小，此時判別器會將本不屬于同類別的u1、u2判定為同一類別，造成誤判。誤判會影響故障分類的準確度，尤其在診斷模型處于收斂的平緩階段，導致模型訓練過程出現振蕩。

為此，在數字膠囊層，使用向量的余弦相似度代替向量的內積來描述膠囊向量的相似性，即

(10)

(11)

vj為目標膠囊，其向量模表征故障類型存在的概率：

(12)

(13)

(14)

進而，利用向量夾角作為衡量向量相似性的標準，并將其應用到預測膠囊的迭代篩選依據中。數字膠囊層的動態路由過程描述為

(15)

3 膠囊網絡軸承故障診斷模型

帶有混合通道約束和余弦相似度迭代依據的軸承故障診斷模型iCapsNet如圖3所示。在CapsNet模型的卷積層，采用寬卷積核的空洞卷積與常規卷積，多尺度并聯提取特征。特征向量送至初級膠囊層構造具有混合約束關系的初級膠囊，為數字膠囊層提供特征向量。膠囊的輸出通過轉換矩陣W加權后，以相同的向量維度拼接，在數字膠囊層動態路由到高維膠囊。路由過程通過余弦相似度描述預測膠囊和目標膠囊的相似性，輸出每個數字膠囊向量的模值，判定輸入數據的類別。

圖3 iCapsNet診斷模型的網絡架構

訓練模型的損失函數定義為數字膠囊輸出標簽與目標實際標簽偏差的泛函，即

λ(1-Tk)(max(0,‖vk‖-m-))2

(16)

式中：Lk為單個數字膠囊的邊緣損失，描述為預測準確與預測不準確的加權組合；λ為權重參數；Tk為標簽系數，即

(17)

式中：函數label(·)為通過數字膠囊vk給出的預測輸出標簽；符號“LABEL”為輸入樣本的實際標簽。

因數字膠囊vk的模值‖vk‖為預測的概率，此處設置膠囊之間連接強度的上限和下限分別為m+和m-。在m-<‖vk‖m+以確保其屬于該故障類型；vk模值足夠小時，‖vk‖

4 實驗結果分析

4.1 實驗參數設置

在凱斯西儲大學(Case Western Reserve University,CWRU)的軸承數據集中對提出的膠囊網絡軸承故障診斷模型的有效性進行驗證。實驗使用PyThon 3.5編程語言和PyTorch深度學習框架編寫網絡模型代碼，并在Ubuntu 16.04操作系統、torch 1.2.0版本機器學習框架和帶有GTX 1080Ti×2 GPU的Intel i7-8700K CPU上進行。

考慮到輸入尺寸的設置對網絡模型診斷的準確性影響不大，以及目前用于故障診斷的網絡模型常用的輸入大小為32×32，在本文實驗中選擇輸入大小為32×32，并通過實驗確定網絡模型各層的參數，卷積核大小設置為23×23，空洞卷積核大小設置為13×13(空洞率為2)，CapsNet模型參數設置如表1所示。時序數據樣本長度為1024，將其重排為32×32的矩陣送入網絡模型，兩種卷積核大小分別設置為23×23和12×12(空洞率為2)，步長為1。特征提取網絡生成兩個分支特征圖，輸出通道數設置為128，即兩分支輸出特征圖大小均為10×10×128(M= 10和C= 128)。

表1 CapsNet模型參數設置

初級膠囊層中，特征圖的兩個分支進行8組卷積，卷積核大小為4×4，步長為2，通道數為9，即產生的特征圖大小為4×4×9×8。遍歷特征圖的元素生成初級膠囊，其中層間約束初級膠囊大小為2×8×16×9，層內約束的初級膠囊為2×8×8×16，維度為16。兩種初級膠囊的權重矩陣Wk1、Wk2大小分別設置為9×16、16×16。數字膠囊層輸出10個膠囊，即vk(k=1,2,…,10)，維度為16。利用式(16)描述的損失函數誤差反傳訓練網絡模型。

4.2 實驗過程與分析

在凱斯西儲大學軸承數據集中選擇10種故障類型進行實驗，包括正常軸承的振動信號、損傷尺寸分別為0.007、0.014和0.021的滾動體振動信號、發生內圈(Inner Ring,IR)和外圈(Outer Ring,OR)故障的軸承振動信號。選取4600個矩陣樣本，其中3600個用于模型訓練，每種故障類型對應360個訓練樣本；1000個用于模型測試，每種故障類型對應100個測試樣本。

為了對比模型的故障診斷性能，實驗中同時采用了常用的其他4種故障診斷模型,即CNN、ResNet18[15]、LSTM和經典CapsNet[11],進行了故障診斷實驗。各個診斷模型的訓練誤差變化曲線如圖4所示。

圖4 CWRU數據集上診斷模型的誤差損失曲線

卷積層空洞卷積的添加不僅可以作為補充提取特征，并且相比常規卷積核，其利用少量的參數，引導著模型向收斂方向學習；其次，采用余弦相似度作為路由的迭代依據，使模型更加客觀地、準確地輸出高維數字膠囊。二者的結合，為模型決策提供了完備的特征向量。從實驗結果來看，本文所提出的模型可在短時間內收斂，且相對穩定，克服了膠囊網絡在訓練計算方面的不足。

從圖4中可以看出，CNN模型、LSTM模型、ResNet18模型分別在第12000次、22000次和27000次迭代訓練后達到穩定的訓練損失，而經典CapsNet模型及本文提出的iCapsNet在1000次迭代后達到穩定，其網絡收斂能力具有突出優勢。

所得5種軸承診斷模型在1000個測試樣本上的分類精度如圖5所示。可以看出，CNN在30個訓練周期后達到穩定值，分類精度約為97.2%；LSTM模型在60個訓練周期后達到穩定值，分類精度為99.2%；ResNet18模型預測精度曲線波動較大，在第100個訓練周期時分類精度為99.1%。對比可見，基于膠囊網絡故障分類模型精度最高，精度值最穩定。其中經典CapsNet模型在15個訓練周期后達到穩定值，分類精度為99.5%；而iCapsNet在35個訓練周期后達到穩定值，分類精度為99.7%，所提出的iCapsNet診斷模型比其他4個模型具有更高的預測精度。

圖5 CWRU數據集上診斷模型的精度曲線圖

在測試數據中添加不同信噪比的噪聲信號，測試5種軸承診斷模型在噪聲環境下的預測能力，如表2所示。可以看出，隨著信噪比逐漸變小，原始軸承振動數據受干擾情況逐漸加重，上述5種診斷模型的分類精度都有所下降。其中，CNN模型在SNR<8 dB時，模型的故障分類能力近乎失效。從SNR= 10 dB到SNR=0 dB，其故障分類精度下降了55.1%。ResNet18模型的分類精度同樣下降明顯，在SNR=10 dB時，預測精度為52.7%，模型對噪聲干擾十分敏感，噪聲環境下泛化能力差。

表2 CWRU數據集不同信噪比下診斷模型精度

與之形成鮮明對比的是，經典CapsNet模型以較淺的網絡層數，在信噪比4 dB的噪聲干擾下，仍達到了79.3%的分類精度，相比較于CNN模型和ResNet18模型，具有更好的泛化性。但是當噪聲信號與振動信號能量相當時，即SNR=0 dB的噪聲干擾情況下，精度下降至46.1%，失去故障分類能力。同等實驗條件下，表現較好的是LSTM模型和本文所提出的iCapsNet模型。LSTM模型從SNR=10 dB到SNR=0 dB，模型的分類精度下降了17.7%，在信噪比為4 dB的時候精度仍保持在93%以上。而iCapsNet模型從SNR=10 dB到SNR=0 dB網絡的分類精度僅下降8.7%；其中，信噪比為0 dB的情況下，精度為90.9%，保持了較高的預測能力；信噪比為10 dB和8 dB下的分類精度分別為99.6%和99.4%，與無噪聲干擾下的分類精度99.7%相差無幾。綜上，在不同信噪比噪聲干擾情況下，iCapsNet故障診斷模型均顯示出了較高的故障預測精度，未出現預測性能失效的情況，模型對噪聲環境具有良好的泛化性能。

圖6為iCapsNet模型在不同信噪比下故障分類的混淆矩陣。同時，iCapsNet各故障類型的預測結果如表3所示。混淆矩陣包括10種軸承故障類型，每種類型100個測試樣本，直觀地給出了誤判的故障類型和誤判個數。

圖6 iCapsNet模型在不同信噪比下診斷結果混淆矩陣

表3 iCapsNet各故障類型預測表 單位：%

由圖6和表3可以看出，所提出的iCapsNet故障診斷模型可以有效地診斷10種故障狀態的存在，所產生的誤判僅存在于不同的故障類型中。當噪聲影響較大時，可觀察到預測精度的下降主要出現在OR_014故障類型中，例如SNR=0 dB。

綜合5種模型在CWRU數據集上的診斷結果可以看出，ResNet18模型作為殘差網絡的代表，其網絡結構中包括可用于篩選故障特征的注意力機制，因此，在一定程度上適用于噪聲條件下的故障診斷。CNN模型和CapsNet模型本質上都是通過增加網絡的深度來增強故障特征的提取能力，進而保證故障診斷模型的泛化性，因此這兩種模型的預測性能變化規律一致，但CapsNet模型由于本身的結構特點，能夠以少量的隱藏層捕捉故障目標特征，在故障診斷應用中具有時效性優勢。LSTM模型作為一種循環神經網絡，其內部含有具有記憶功能的門結構，在樣本充足的條件下具有抑制噪聲的優勢，但其模型訓練依賴離散信號片段的時間序列或頻譜，忽略了局部片段的連接即準周期性特性，因此在處理含有噪聲影響的故障診斷任務時，雖未出現模型失效的情況，但LSTM模型的預測性能不足以與其他4種網絡模型相比。與CNN、ResNet18、LSTM和經典CapsNet模型相比，iCapsNet 模型表現出了更好的故障預測性能，模型對噪聲條件下的故障診斷具有良好的適應性和泛化性能。

5 結束語

針對軸承故障診斷模型在噪聲環境泛化性方面的應用需求，提出了一種基于混合通道約束特征擴展的膠囊網絡診斷模型iCapsNet，用于噪聲干擾環境下的軸承故障診斷。在膠囊網絡的初級膠囊層采用通道內-通道間混合約束，有效提取故障信號特征，為數字膠囊層提供更完備的特征向量。同時，采用余弦相似度度量預測膠囊和目標膠囊的相似性，并作為迭代依據篩選預測膠囊，克服經典CapsNet網絡動態路由機制中使用內積相似度度量的不足，使得模型在噪聲干擾下仍能準確地對軸承故障進行決策分類。實驗結果表明，提出的iCapsNet模型具有良好的抗噪聲能力和泛化性能。