改進膠囊網絡優化分層卷積的亞健康識別算法

張 利，邱存月，張凱鑫，張大波，羅 浩

遼寧大學信息學院，沈陽 110036

隨著工業應用的不斷發展，工廠設備都趨向大型化和智能化，安全問題一直備受關注。滾動軸承是旋轉設備必不可少的關鍵性部件，由于其工作時間較長且工作負荷較大，不免會有零部件的損壞，輕則會影響工廠效益，重則會對操作者的生命安全產生一定損害。在醫學上“亞健康”是形容一種帶病的狀態，因此，考慮到軸承故障也不是一瞬間形成的，可以借鑒醫學上的“亞健康”狀態表征軸承帶病運行狀態，處于這個狀態的設備不會馬上發生故障，但是繼續運行下去而不更新零件就會帶來嚴重的后果，因而對“亞健康”設備的健康狀態監測很有經濟意義和安全意義[1-4]。

鑒于人工智能學者不斷對故障檢測及診斷技術的鉆研，軸承亞健康狀態識別已經達到比較成熟的地步，且隨著深度學習的發展，一種端到端的深度學習模型——卷積神經網絡也被廣泛應用于諸多領域。雖然有很多專家和學者將深度學習的知識應用到軸承的亞健康識別中，并取得較好的亞健康識別效果，但其仍處于發展階段，需要不斷地進行學習與探索[5-7]。

2019 年國外兩位學者在進行故障診斷時應用的基本模型都是卷積神經網絡。韓國的Hoang 等學者將一維振動信號轉換為二維圖像，利用卷積神經網絡在圖像分類中的優越性，取得了很好的識別效果，具有魯棒性，忍受嘈雜環境的能力且不需要特征提取步驟[8]。Islam 以卷積神經網絡為基本模型，提出適應性較好的深度卷積神經網絡，利用原始聲發射信號的二維可視化來提供方位健康狀態信息，用離散小波變換作為2D 可視化工具，通過定義新的評估指標來精確表示每種故障情況，自動學習有用的軸承故障特征[9]。

雖然卷積神經網絡（convolutional neural network，CNN）在一定領域取得了很好的效果，但是仍存在特征提取時一些神經元的標量活動降低，池化層會使具體的空間信息丟失等問題。2017 年Hinton 等人提出的膠囊網絡解決CNN 的問題[10]，鑒于膠囊網絡的優勢，有很多故障診斷領域的專家也開始進行研究。

Zhu 等學者將原始信號經過短時傅里葉變換把信號轉換為二維圖像，在動態路由膠囊網絡的啟發下，將二維圖形輸入到具有Inception 模塊和回歸分支的新型膠囊網絡，膠囊的長度即為對應的故障類別，另外的兩個分支，一個用最長膠囊來回歸膠囊的損傷大小，另一個分支重建輸入圖，實驗表明提出的模型泛化能力很強，且識別結果準確率較高[11]。Chen等學者提出隨機delta規則的深膠囊網絡，目的是克服使用原始振動信號帶來工作負載變化和噪聲影響的挑戰，其提出的模型具有很深的結構，無需池化操作的一維卷積層可提取更高級別的特征并擴展膠囊的接收區域，輸入為原始的振動信號，且將噪聲注入到第一寬層中以用來提高抗噪聲的能力，實驗表明這種方法在負載不同的情況下也達到了非常高的精度[12]。

上述相關研究學者為獲得高準確率設計深度卷積神經網絡，模型結構深且復雜，而使用膠囊網絡的學者對膠囊內部特征冗余沒有提出解決的方法，因而在國內外相關學者現有研究的基礎上，本文提出改進膠囊網絡優化分層CNN 的亞健康識別模型，將原始振動數據經過小波降噪和小波包降噪后輸入到分層CNN 中進行特征提取，然后輸入到改進膠囊網絡中進行亞健康識別，減少膠囊向量中的特征冗余，提出的模型在保證識別準確率的同時加快了亞健康的識別時間。

1 相關理論基礎

1.1 卷積神經網絡

卷積神經網絡（CNN）是由YannLeCun 在1989 年提出的，最開始是應用在手寫數字的識別，而后廣泛地應用在圖像處理領域，由于其不需要進行特征提取的預處理，輸入原始圖像就可以直接輸出結果，因而被廣泛使用，這種處理模式也被稱作是一種“端到端”的處理模式[13-14]。簡單的CNN結構示意圖如圖1所示。

典型的卷積神經網絡體系是由卷積層、池化層、全連接層構成的，不同種類的層扮演者不同的角色。卷積層是CNN 的最主要的模塊之一，使用卷積核對輸入信號的局部區域進行卷積操作，利用卷積核的滑動操作來卷積整個上一層的輸入數據，在進行卷積操作的時候，最重要的一點是權重共享。卷積過程可以用式（1）表示：

其中，N是在第l-1 層的卷積核樹，是卷積核的輸入，是卷積核的輸出，k和b是對應卷積核和偏差，f()是非線性激活函數，用來通過非線性操作提高特征的表達能力。

Fig.1 Schematic diagram of CNN圖1 CNN 示意圖

池化層用于減少網絡的參數并實現平移不變性，最常用的池化函數有均值池化和最大池化[15]。均值池化就是將卷積核內部的均值作為輸出值，而最大池化就是將卷積核內部的最大值作為輸出值，公式分別如式（2）、式（3）所示：

其中，w為池化寬度，為第l+1 層神經元對應的值，為第l層中第i個特征面內第t個神經元的激活值。

全連接層用于分類。具體操作是：首先將前一層的神經元展成一維特征向量，然后將輸入與輸出進行全連接[16]。

1.2 膠囊網絡

膠囊網絡（capsule network，CAPSNET）主要有卷積層、主要帽層、數字帽層、解碼器，在膠囊網絡中應用一種名為動態路由的算法來不斷更新參數[17-18]，其模型圖如圖2 所示。

Fig.2 Schematic diagram of capsule network圖2 膠囊網絡示意圖

膠囊網絡的結構包括四個部分[19-22]：

（1）卷積層：就是對輸入的數據進行簡單的處理以提取特征，卷積的公式如式（1）所示，膠囊網絡的卷積操作與卷積神經網絡的卷積操作類似。

（2）主要帽層：作用是將不同的特征化分為向量值膠囊，該層可以捕獲輸入的實例化參數，用公式可以表示成式（4）：

其中，ul(i,j)是主要膠囊，是卷積層的激活輸出，并且fs表示“擠壓”功能。

（3）數字帽層：這一層主要應用壓縮和動態路由，在進行一次“擠壓”操作和三次動態路由算法后，將結果輸出到分類中。

由于膠囊是由長度表示概率的，那么就要將其壓縮在0-1 范圍內，因而有“擠壓”函數如式（5）所示：

其中，sj是“擠壓”函數的輸入，vj是“擠壓”函數的輸出。通過“擠壓”函數可以將長度擠壓在0-1 之間，且表示方向，表示縮放倍數，因此可以很好地保存方向特征到更高級別的膠囊。

動態路由是一個不斷更新的過程，有：

其中，uj|i是預測向量，cij是耦合系數，且有耦合系數由Softmax 函數確定：

其中，bij是預測的uj|i與高級膠囊sj耦合對數先驗概率。

其中，ui是第i個輸入膠囊，Wij是權重矩陣。

bij公式如式（9）所示：

其中，uj|i?vj對應于膠囊uj|i和vj之間的對數似然。

以上式（5）到式（9）就是動態路由更新的過程，完成動態路由過程也即完成了兩個膠囊層之間的參數更新。

（4）分類層：用于對最后輸出結果進行分類。

2 改進膠囊網絡優化分層CNN 的亞健康識別模型

2.1 多輸入數據處理

傳統輸入信號的降噪處理都僅僅是采用單一的小波變換、傅里葉變換、快速傅里葉變換等，而本文采用兩種數據降噪處理方式，即小波包降噪和小波降噪。根據學者研究了解到小波變換、小波包變換分別對信號中的低頻信息、高頻信息提供自己獨有的精細分解，保留相應的部分[23]。因此對原始信號采用兩種降噪處理方式，分別輸入到卷積層中訓練，解決單一降噪算法導致的亞健康識別信息丟失問題，更好地保留原始信號中有用信息，為之后的多層卷積操作特征提取做準備。

小波變換的主要過程是分析和綜合，通過分析過程進行信號分解獲得近似信號和細節信號，近似信號是主信號較低分辨率的近似值，細節信號確保可以通過合成過程回復高分辨率信號。而小波降噪的過程就是先進行小波分解，分解為近似信號和細節信號，然后進行降噪處理，最后恢復成降噪后的振動信號，完成降噪的處理[24-25]。具體包含以下3個步驟：

（1）信號分解：選擇合適的小波基函數和分解層數，通過小波變換將原始信號進行分解，可以得到相應的近似系數（即信號中的低頻部分）和詳細系數（即信號中的高頻部分）。

（2）閾值降噪：對于分解得到的高頻信號，選擇合適的閾值，對高頻部分進行量化處理，也即降噪處理。

（3）信號重構：通過執行逆小波變換從分解的最低層到第1 層，將量化后的高頻信號和未處理的近似信號進行重構，得到降噪處理后的信號。

在進行閾值降噪時，一般選擇的處理方式有兩種，即軟閾值和硬閾值，公式分別如式（10）和式（11）所示：

其中，wi,k′是wj,k的降噪版本；sign(?)是符號函數；λ是閾值。

這兩種方法都是在實踐中被廣泛使用的降噪方法，雖然經過軟閾值處理后的降噪次信號整體連續性更好，但是會產生一定的偏差，甚至會影響重構信號的真實性，而硬閾值處理后的信號雖然不具有原始信號的平滑性，但是其在均方差方面要優于軟閾值，為了保證降噪后的信號更加貼近原始的振動信號以及誤差小，最終選取硬閾值法。

小波包降噪的過程跟小波降噪的過程類似，對高頻信號進行降噪，最終執行小波包逆變換得到降噪后的信號，此處不再贅述。

2.2 分層CNN

傳統的卷積神經網絡為獲得更高精度，不斷地堆疊卷積層、池化層，從而使網絡結構十分復雜、訓練時間長、網絡結構深，且池化操作會迫使失去所有位置等有關信息的數據，導致最終診斷結果不準確。因此提出適合一維振動信號的一維分層卷積神經網絡，且在模型中減少池化層的使用，會盡量保留位置等有關信息的數據，其結構如圖3 所示。

Fig.3 Layered CNN圖3 分層CNN

從圖3 中看到，分層卷積的前一層為正常卷積層的輸出，分層卷積共有3 層，設計的卷積核大小分別為1×1、3×1、5×1，這樣做的目的是既可以多尺度、多角度地提取信號中有用的信息，同時由于并行操作，又可以減少訓練時間。

2.3 改進的膠囊網絡

膠囊網絡是模仿人類視覺系統的很有發展前途的架構，而最開始提出膠囊網絡的目的就是解決卷積神經網絡不能很好地根據部分與整體的關系來識別最終結果的缺點。與卷積神經網絡相比，膠囊網絡更加遵循人類的常識，輸出的識別結果也更加符合人們的預期。但是膠囊網絡也不是十分完美的，一直以來的問題是受大量參數學習的困擾，會使膠囊網絡更新參數十分慢且計算成本高，占用大量內存，從而那些對內存資源少或延遲要求嚴格的應用程序中就不是十分適用，這也是限制膠囊網絡發展的原因[26]。

針對膠囊網絡更新參數費時的問題，提出剪枝機制。為節約不必要參數的計算，也即低層與高層膠囊想要表達東西不一致的時候，耦合系數就會變得很小，當耦合系數小于一定閾值的時候，可以認為低層膠囊與對應的這個高層膠囊表達的東西完全不一致，在之后的動態路由策略中就不必要花費時間在二者更新的參數上，因此采用剪枝策略。cij剪枝示意圖如圖4 所示。

Fig.4 Pruning iteration diagram of parameter cij圖4 參數cij剪枝迭代圖

假設c12的值小于閾值，就進行剪枝操作，同時相應的權重矩陣中w12值被置為0，此后的反向傳播進行參數更新時就不再對其值進行更新，得到權重修剪示意圖如圖5 所示。

Fig.5 Pruning schematic diagram of parameter wij圖5 參數wij修剪示意圖

改進后動態路由的參數更新過程如算法1 所示。

算法1改進的動態路由算法

改進的動態路由算法與原始的動態路由算法相比，只是增加判斷語句，改進前后算法的時間復雜度均為O(n)，空間復雜度為O(1)。

2.4 改進膠囊網絡優化改進CNN 的亞健康識別算法

綜上所述，本文提出的改進膠囊網絡優化分層CNN 的亞健康識別模型如圖6 所示。

Fig.6 Sub-health recognition model of improved capsule network optimized layered CNN圖6 改進膠囊網絡優化分層CNN 的亞健康識別模型

從圖6 可知，改進膠囊網絡優化分層CNN 的亞健康識別算法可以看作是由兩部分組成的：

第一部分以卷積神經網絡為主要原型，為最大限度地保留原始信號中有用的特征，設計兩種數據降噪預處理方式，即小波降噪和小波包降噪，然后數據輸入到并行卷積層中進行卷積操作，該層并行三個不同大小的卷積核，可以多角度地進行特征提取，從而可以學習到數據中對分類有用的信息。

第二部分以膠囊網絡為原型，由于膠囊網絡能夠根據部分與整體的關系來進行識別，使識別結果更加準確。因此，在第一部分卷積提取特征后，輸入到膠囊網絡中進行處理，但由于動態路由算法更新參數十分費時，在膠囊網絡中使用剪枝策略，當耦合系數小于一定閾值的時候，就進行剪枝操作，使表達不一致的低層膠囊與高層膠囊之間的系數不再更新，可以加快動態路由算法，同時不會降低準確率。

3 實驗結果與分析

3.1 實驗數據采集

采集裝置由電動機、扭矩傳感器/編碼器、測功機和控制電子設備組成，對測試的軸承引入單點故障，故障直徑為0.007 in，使用放置在電機殼體驅動端的加速度計收集振動的數據，收集到的振動數據即為實驗所需的實測數據，采樣頻率為12 kHz，由于這種條件采集到的數據已標準化，且受到了很多學者的認可，具有較強的魯棒性，因此采用此數據來驗證本文算法的有效性，具體參數如表1 所示。

Table 1 Experimental device parameters表1 實驗裝置參數

3.2 數據預處理

本文提出的模型選擇兩種數據預處理方式共同作用，即小波降噪和小波包降噪。本文選擇的小波去噪參數分別為：閾值為“rigrsure”，硬閾值，分解層數為3 層，小波基函數為“sym4”。小波包去噪參數為：硬閾值，分解層數為3 層，小波基函數為“db4”。閾值為固定閾值形式，其公式如式（12）所示：

其中，n是信號長度。

原始數據集的數量比較龐大，為了可以方便、清楚地看清信號圖，以0負載正常狀態、內圈亞健康狀態的滾動軸承振動信號為例，選取1 s的振動數據12 000個，畫出其原始振動信號圖以及經過小波去噪和小波包去噪后的振動信號對比圖，具體如圖7、圖8所示。

Fig.7 Contrast diagram of normal state signal before and after denoising圖7 正常狀態信號降噪前后對比圖

Fig.8 Contrast diagram of inner loop sub-health state signal before and after denoising圖8 內圈亞健康狀態信號降噪前后對比圖

從圖中可以看出原始振動圖都比較不規則，經過小波去噪和小波包去噪后的圖形更加平滑，可以清楚地看出去噪效果。

為提高模型的泛化能力，借鑒文獻[13]的思想，采用滑動窗口的方式制作訓練樣本集，將原始信號進行重疊采樣以增強數據集。選取滑動窗口大小為3 000，偏移量為300，16 種不同負載、不同狀態的數據集則可制作10 388 個用于實驗的數據集，其中訓練集為8 656 個，測試集1 732 個，比例為5：1。

3.3 實驗參數的選取

為了加快訓練以及保證模型的泛化能力，本文采用分批次處理的方式，雖然使用大的batch_size 會縮短訓練數據集的時間，但是帶來的問題是其精度想要達到和batch_size 較小時相同的精度，可能就需要花費大量的時間，因此當batch_size 增大到一定值的時候，就會使時間最短，同樣達到一定值的時候，就會達到精度的最優。為了選取合適的batch_size，實驗結果如表2 所示。

Table 2 Selection of batch_size表2 batch_size的選取

從表2 的數據可以看出，在batch_size ≥200 時，隨著batch_size值的減小，訓練時間不斷增加，達到最高亞健康識別率的周期在逐漸變短且準確率也在不斷提升，損失值也在不斷減小。在batch_size 為100的時候，達到亞健康識別最佳的周期有所縮短且損失值較低。當batch_size 小于50 時，訓練時間大幅度提升但準確率沒有提升，因而對小于50 的batch_size不作考慮。當batch_size分別為100 和200 時，雖然識別精度不相上下，但是損失值和最佳識別周期在batch_size 為100 時，都取得較優的結果，相對于多花費的時間，以保證模型的準確率為原則，最終選擇100 為本文的batch_size值。

本文提出的改進膠囊網絡優化分層CNN 的亞健康識別算法的性能很大程度取決于卷積核大小、卷積步長以及剪枝的耦合系數閾值，因而這些參數的取值對最終的亞健康識別結果會產生很大的影響。亞健康識別模型詳細參數如表3 所示。

Table 3 Structural parameters of sub-health identification model表3 亞健康識別模型結構參數

亞健康識別模型結構參數在表3 中詳細介紹，選用的優化器是占用內存很小、計算高效的自適應學習率的Adam 優化器，激活函數為ReLU，設置學習率為0.001，損失函數為均方誤差。

剪枝操作的閾值也是實驗要選取的參數，閾值會直接影響最終實驗結果的準確率，當耦合系數過大的時候，就會致使準確率有所下降，反之則起不到剪枝縮短訓練時間的目的。亞健康識別準確率與剪枝閾值的變化關系如圖9 所示。

Fig.9 Selection of pruning threshold圖9 剪枝閾值的選取

從圖9 可以看出當耦合系數的剪枝閾值在不斷減小時，識別的準確率在不斷上升。當耦合系數閾值在0.02 后達到最佳，且趨于穩定，且在實驗時也特別地注意時間的變化，當閾值逐漸減小時，亞健康識別的時間差異不大，因而準確率是選擇閾值的主要標準，因此最終選擇的剪枝閾值為0.02。

3.4 實驗結果分析

具體模型結構參數和耦合系數的選取已經在3.3節中詳細介紹。將原始數據變換維度后輸入到網絡模型中，就可以得到亞健康識別的準確率，實驗的準確率如表4 所示。

Table 4 Sub-health recognition accuracy表4 亞健康識別準確率%

從表4 可以看出，用膠囊網絡優化CNN 的亞健康識別算法取得較好的識別效果，改進后的膠囊網絡在識別準確率上與原始膠囊網絡不相上下，主要原因是因為原始膠囊網絡中存在特征冗余，無論底層膠囊與高層膠囊表達的內容是否一致，其都會使用動態路由策略進行更新。使用剪枝策略時，將低于一定閾值的耦合系數置0，因為這部分的耦合系數對最后識別結果不會產生影響，因而當使用剪枝策略時，會減少膠囊向量中的特征冗余且不會對識別的準確率造成影響。

雖然上述的數據已經充分地驗證本文改進CAPSNET 具有較好的識別效果，但是與原始的CAPSNET 相差不大，因此對提出模型進行亞健康識別的時間進行對比，選取3 次亞健康識別的時間進行對比，結果如表5 所示。

Table 5 Sub-health identification time表5 亞健康識別時間 s

表5 為算法改進前后的時間對比，選取前3 次的實驗結果進行取均值處理，使用原始CAPSNET進行亞健康識別時間均值是4.54 s，使用改進后的CAPSNET 進行亞健康識別時間均值為3.25 s，可知改進后的膠囊網絡比原始膠囊網絡識別時間快1.29 s，可見本文算法在保證準確率的同時，識別時間有所加快。

為驗證本文提出剪枝策略的有效性，特別地注意了剪枝參數的變化，整個模型要訓練的參數為2 344 340，當剪枝閾值發生變化時，剪枝參數的變化如表6 所示。

Table 6 Change of pruning parameters表6 剪枝參數變化

從表6可以看出，當剪枝閾值設置為0.02時，剪枝的參數個數為612 648個，可以驗證本文算法的有效性。

將本文算法與近幾年學者提出算法的識別準確率進行比較，如表7 所示。

Table 7 Contrast of accuracy表7 準確率對比

由表7 知本文提出的改進膠囊網絡優化分層卷積的亞健康識別算法比加權排列熵-特征選擇型極限學習機（weighted permutation entropy-filter &wrapper extreme learning machine，WPE-FWELM）、改進雞群算法優化RBF 神經網絡（growth chicken swarm optimization-radial basis function neural network，GCSORBFNN）在識別的準確率上分別提高7.58 個百分點、5.77 個百分點。在識別時間上，WPE-FWELM 和GCSO-RBFNN 算法的識別時間為識別200 個樣本的時間，而本文算法的識別時間為識別3 000 個樣本的時間，可得識別單個長度為3 000 信號的時間約為1.876 ms，驗證本文提出的亞健康識別算法是有效的。

同時，為驗證本文算法是有效的，將本文算法與基本模型為CNN 的亞健康識別算法進行對比，如表8所示。

Table 8 Comparison with basic model being CNN表8 與基本模型為CNN 的對比

表8將本文提出的改進膠囊網絡優化分層卷積的亞健康識別算法與使用Softmax分類器的傳統卷積神經網絡、使用支持向量機（support vector machine，SVM）作為分類器的卷積神經網絡相比較，其中傳統的卷積神經網絡模型均使用三層卷積、三層池化。可以看出本文算法相較于其他兩個傳統CNN 在識別的準確率上分別提高1.21 個百分點、0.10 個百分點；在識別時間的對比上，雖然本文識別時間花費較高，但是因為本文采取的數據處理方式為滑動窗口，測試時間為識別1 732 個長度為3 000 的數據集的時間，識別單個長度為3 000 的信號時間約為1.876 ms，可以看出識別時間較快，從而驗證提出的亞健康識別算法是有效的。

t 隨機鄰居嵌入（t-distributed stochastic neighbor embedding，t-SNE）是機器學習中用于降維的一種算法。它基于多維縮放和等距特征映射更改了距離不變性的概念，并在將高維映射到低維的同時確保了它們之間的分布概率不變[27]。為了更好地看清實驗結果，使用t-SNE 可視化工具，對亞健康識別的結果進行可視化，具體的實驗結果如圖10、圖11 所示。

Fig.10 Visualization of original capsule network identification results圖10 原始膠囊網絡識別結果可視化

Fig.11 Visualization of improved capsule network identification results圖11 改進膠囊網絡識別結果可視化

圖10、圖11 分別是原始膠囊網絡重構CNN 的亞健康識別結果的可視化結果和改進膠囊網絡重構CNN 的亞健康識別結果的可視化結果，其中正常狀態、內圈亞健康狀態、滾動體亞健康狀態、外圈亞健康狀態分別用藍色“○”、橙色“?”、綠色“△”、紅色“?”表示，可以看出改進膠囊網絡相較于原始的膠囊網絡，識別準確率并未下降，從而驗證提出的改進膠囊網絡優化分層卷積的亞健康識別算法可以較好地進行亞健康識別。

4 結束語

針對傳統的CNN 為獲得高準確率需要不斷地堆疊卷積層和池化層，數據處理方式單一以及CNN 不能很好地根據部分與整體關系來進行識別的問題，本文提出改進膠囊網絡優化分層CNN 的亞健康識別算法。由于膠囊網絡使用動態路由算法更新參數費時，提出剪枝策略以及參數修正的動態路由策略，加快動態路由算法的更新過程。實驗證明，本文算法可以對軸承的亞健康狀態進行準確識別，但是本文只是針對軸承實驗數據，對電機、風機等其他對象還有待進一步實驗，遷移學習能力較弱，同時本文提出的軸承亞健康診斷方式為離線，今后可以考慮進行實時亞健康識別研究以及遷移模型研究。