多傳感器信息深度融合的諧波減速器健康狀態評估

陳仁祥, 張 勇， 胡小林， 楊黎霞， 陳 才， 謝文舉

(1. 重慶交通大學 交通工程應用機器人重慶市工程實驗室， 重慶 400074；2. 重慶工業大數據創新中心有限公司， 重慶 400056； 3. 重慶華數機器人有限公司， 重慶 400714)

隨著制造業水平的不斷提高，工業機器人由于具有工作穩定可靠、工作效率高等優勢，被廣泛應用于傳統制造業中。諧波減速器作為工業機器人關節的核心部件，對工業機器人能夠穩定可靠地運行發揮著至關重要的作用[1]，對其進行健康狀態評估非常必要。

工業機器人的使用場景和工作特點使其諧波減速器工況呈現出循環往復運動、轉速變化快、工作節拍不一的特點，增加了刻畫其運行狀態和評估其健康狀態的難度。針對該問題，陳仁祥等[2]提出了基于整周期數據和卷積神經網絡的諧波減速器健康狀態評估方法，將諧波減速器振動信號分割構造整周期數據樣本并分解獲得時頻圖，最后通過卷積神經網絡學習其瞬變特征并輸出評估結果。該方法雖取得了較好的效果，但工業機器人諧波減速器結構復雜且精密，啟動、加速、減速、制動循環往復，導致單一傳感器不足以反映諧波減速器運動狀態的全貌。同時，安裝于工業機器人上的傳感器會隨著機器人的運動而運動，加劇了單一傳感器對工業機器人運行狀態反映的不全面性。因此，僅依靠單一傳感器會導致健康狀態評估結果不確定性高。

近年來，國內外眾多學者將信息融合技術應用到故障預測與健康管理領域中，且取得了較好效果。張明等[3]提出徑向基神經網絡與加權證據融合理論結合的方法對往復式壓縮機進行診斷；王秀青等[4]提出了一種多傳感器信息融合與支持向量機相結合的方法對機器人進行故障診斷；Cai等[5]利用貝葉斯神經網絡對熱泵進行故障診斷；李松柏等[6]提出基于多傳感器振動信號融合及堆棧降噪自編碼的齒輪故障診斷方法；向丹等[7]提出了基于經驗模態分解熵特征融合的方法來對滾動軸承進行故障診斷；Saflzadeh等[8]利用多源信息融合方法對滾動軸承振動故障進行了診斷研究。這些方法的成功運用，為工業機器人人諧波減速器健康狀態評估提供了啟發。但是，以上信息融合方法主要融合人工提取特征，依賴于人的經驗以及專業知識，同時需要復雜的信號處理技術支持，難以適應復變工況下工業機器人諧波減速器的健康評估問題。

卷積神經網絡(convolutional neural network，CNN)作為深度學習模型中一種經典而應用廣泛的網絡結構，由于其的局部連接、權值共享及池化操作等特性[9]，被廣泛應用于故障預測與健康管理領域。如：宮文峰等[10]將全局均值池化技術代替CNN的全連接層部分對滾動軸承進行故障診斷；陳仁祥等[11]將信號經過離散小波變換得到的時頻圖輸入到CNN對滾動軸承進行故障識別；Chen等[12]提出了一種將循環譜相干和CNN相結合的方法以對軸承故障進行故障診斷。CNN自動學習數據樣本特征為諧波減速器的健康狀態評估提供了有益借鑒。然而，這些方法僅用于針對單一傳感器信息進行特征學習，諧波減速器特點決定了僅依靠單一傳感器不能全面刻畫其運行狀態。

綜上，為克服單一傳感器不能反映工業機器人諧波減速器運行狀態全貌導致健康狀態評估不確定性高的問題，利用卷積神經網絡對多傳感器融合信息進行特征學習實現諧波減速器健康狀態的可靠評估，提出了多傳感器信息深度融合的諧波減速器健康狀態評估方法。即，利用連續小波變換(continuous wavelet transform，CWT)多分辨率的特點對諧波減速器振動信號進行分解獲得時頻圖描述其運行狀態特征；再運用基于小波變換的圖像融合將多傳感器的時頻信息進行融合以全面刻畫諧波減速器運行狀態；最后，利用卷積神經網絡對融合后的時頻圖像進行自動學習以獲得能準確表征諧波減速器健康狀態的深度特征，從而實現對諧波減速器健康狀態可靠評估。

1 理論基礎

1.1 連續小波變換的原理

對于任意時域信號y(t)∈L2(R)，其連續小波變換(wavelet trarsform, WT)表達式為[13]

(1)

式中,gm,n(t)是由母小波g(t)經過尺度伸縮和平移得到的

(2)

式中:m為尺度因子;n為平移因子。

連續小波逆變換表達式為

(3)

其中

(4)

式中，G(ω)為母小波g(t)的傅里葉變換。

由于Morlet小波波形與齒輪嚙合時產生的沖擊特征相似，且ComplexMorlet小波(cmor小波)是Morlet小波的復數形式，自適應性能更好，故在此采用的是cmor小波。

1.2 基于小波變換的圖像融合

基于小波變換的圖像融合利用小波變換具有多分辨率的特點，將圖像分解到不同頻段上,然后融合各圖像的低頻分量與高頻分量得到融合圖像的低頻分量與高頻分量，最后通過小波逆變換得到融合圖像，保證了圖像在分解過程中信息的完整性[14]。因此,將基于小波變換的圖像融合應用到多傳感器下的諧波減速器健康狀態評估，有利于綜合各個傳感器下信號的振動特征，得到能夠充分表征諧波減速器在各個運轉周期內振動特點的時頻特征。基于小波變換的圖像融合方法流程如圖1所示。具體步驟如下：

圖1 基于小波變換的圖像融合流程圖

(1) 將各圖像進行小波分解，得到各自的低頻分量與高頻分量。

(2) 分別將各圖像的低頻分量和高頻分量融合。融合的作用是充分表征諧波減速器在各個傳感器采集通道下的振動特征，更完全地反映諧波減速器的狀態，從而有利于CNN學習。

(3) 通過小波逆變換得到融合圖像。

圖像經小波分解后，絕對值較大的小波系數對應于圖像中對比度變化較大的邊緣等特征，而人眼對于這些特征比較敏感[15]。所以，高頻分量選取基于極大值的融合規則，即兩幅圖像相同位置的高頻分量中絕對值較大者作為融合圖像對應位置的高頻分量，即

DF=max{|Di|}i=1,2，…，n

(5)

式中：DF為融合圖像的高頻分量；Di為待融合圖像的高頻分量；n為待融合圖像數目。

低頻分量選取均值的融合規則，即各圖像相同位置低頻分量的均值作為融合圖像對應位置的低頻分量。

SF=∑Si/ni=1,2，…，n

(6)

式中:SF為融合圖像的低頻分量；Si為待融合圖像的低頻分量。

1.3 卷積神經網絡

CNN是一種深度神經網絡，具有局部感知、權重共享和多卷積核的特點，主要由卷積層、池化層以及全連接層組成[16]，如圖2所示。輸入的二維信號經過交替出現的卷積層及池化層提取特征后，最終通過分類器分類輸出。

圖2 卷積神經網絡結構

(1) 卷積層

卷積層由多個卷積核構成，每個卷積核與輸入信號進行卷積運算，然后經過激活函數得到特征圖。激活函數為sigmoid函數，其函數表達式為

(7)

卷積過程數學表達式為

(8)

(2) 池化層

池化層通常位于卷積層之后，對卷積層得到的特征圖進行降維，并保證了特征尺度的不變性。常用的池化方式有均值池化、最大值池化和隨機池化。

(3) 全連接層

在全連接層，將卷積層和池化層得到的特征圖展開為一列構成特征向量，特征向量與輸出層全連接。選用的是softmax分類器。

2 多傳感器信息深度融合的諧波減速器健康狀態評估方法

所提出的多傳感器信息深度融合的諧波減速器健康狀態評估方法原理如下：首先構造諧波減速器振動信號樣本集，為描述諧波減速器往復工作過程對采集數據進行整周期分割(分割方法見參考文獻[2])。利用連續小波變換對樣本進行分解，構造時頻圖以描述諧波減速器運行狀態特征；再利用基于小波變換的圖像融合方法將多個傳感器的時頻信息進行融合，以全面刻畫諧波減速器的運行狀態；最后利用卷積神經網絡對融合后的時頻圖像進行自動學習從而實現對諧波減速器健康狀態評估。方法流程如圖3所示。具體步驟如下：

(1) 將多個傳感器的振動信號分割構造整周期數據樣本以描述往復工作過程中諧波減速器的運行狀態信息；

(2) 利用CWT對各個傳感器下的整周期數據進行分解以獲得時頻圖；

(3) 利用基于小波變換的圖像融合將各個傳感器下的時頻信息進行融合獲得融合圖像以全面刻畫諧波減速器運行狀態；

(4) 設置網絡參數，構建CNN模型；

(5) 將訓練樣本以批量的方式輸入到CNN模型中輸出評估結果；

(6) 計算網絡輸出結果與預期目標間的誤差，誤差反向傳播更新權重和偏置；

(7) 重復步驟(5)、(6)，直至將訓練樣本全部訓練完畢且達到了迭代次數，得到訓完成CNN網絡；

(8) 將測試樣本輸入到已訓練完畢的CNN模型中從而得到諧波減速器健康狀態評估結果。

3 試驗驗證

3.1 試驗數據

以型號為LHSG-17-80的諧波減速器來驗證所提方法的有效性，諧波減速器振動信號數據采自工業機器人末端關節。諧波減速器共有三種狀態：間隙過大(諧波減速器柔輪與剛輪出現較大間隙)、卡頓(諧波減速器轉動時卡塞)和正常。間隙過大和卡頓狀態的諧波減速器為工業機器人使用單位對工業機器人維修、保養時更換下來的減速器。

圖3 方法流程圖

傳感器布置如圖4所示，傳感器1、2、3為單向傳感器，各一個采集通道；傳感器4為三向傳感器有三個采集通道，共六個采集通道。采樣頻率10 240 Hz，在工作節拍為30%滿轉速及100%滿轉速的工況下重復采集多組數據并進行整周期樣本分割，每種狀態樣本數為90，每個樣本包含35 500個采樣點，每種狀態樣本數為90。分別從三種不同狀態中隨機選取70個樣本構成訓練樣本，余下樣本為測試樣本，如表1所示。

圖4 傳感器布置圖

表1 諧波減速器數據樣本集

圖5為三種不同健康狀態的諧波減速器一個運轉周期振動信號時頻圖及其融合結果。觀察融合時頻圖，三種不同健康狀態下諧波減速器振動信號的能量幾乎連續分布于所有頻段內，且低頻段內相對于高頻段內能量明顯較高，整個時間段呈現明顯的能量波動，且間隙過大減速器的能量明顯大于另外兩類減速器，其中紅色標記為時頻圖主要能量分布。由于工業機器人的使用場景和工作特點使其諧波減速器工況呈現出周期性循環往復運動、轉速變化快的特點，一個運轉周期內啟動-加速-平穩運行-減速-停止-反向的時頻特征在融合時頻圖中得以明顯體現，并呈現周期性的特點，即合圖時頻圖準確地表征了諧波減速器的運行狀態。

圖5 間隙過大、卡頓及正常時頻圖融合結果

3.2 試驗結果及分析

本文的CNN網絡共有2個卷積層：分別有10、20個卷積核，卷積核的大小皆為5×5；池化層大小為2×2。采用最值池化，學習率0.01，批量大小64，迭代次數k=25。所有任務均在工作站(Intel(R)Xeon(R)CPU E5-2678 v3 @ 2.5 GHz)上進行，軟件環境為MATLAB 2018b。

將所提方法與各采集通道、文獻[2]所提方法(未區分各采集通道)以及將各通道整周期數據S變換后融合(簡稱ST融合)進行對比，以驗證所提方法的有效性和優勢。圖6為諧波減速器在30%滿轉速的工作節拍下不同健康狀態下的分類準確率，表2為融合結果的準確率對比。

圖6 不同方法準確率對比

表2 融合結果準確率

根據圖6及表2，所提方法隨著迭代次數的增加，分類準確率不斷提高。當迭代次數k=8時，分類準確率已達到了91.67%；當k=11時，分類準確率達到了100%。說明了所提方法所使用的基于小波變換的圖像融合全面地表征了各個傳感器下的多個采集通道諧波減速器在各個運轉周期內的時頻特征，證明了所提方法是可行的、有效的。

觀察圖6及表2，各個采集通道隨著迭代次數的增加，分類準確率逐漸升高。但在迭代次數較少的情況下，所提方法分類準確率更高，收斂更快。在迭代次數k=8時，所提方法分類準確率已達到了91.67%，反觀其他單個采集通道，準確率最高的僅為通道6的73.33%，而其余通道健康狀態評估結果更劣，精度均不足70%。當迭代次數k=11時，所提方法分類準確率已達到了100%，而單個采集通道效果最佳的為通道1和通道5，但也僅為85%。這是由于工業機器人諧波減速器運行工況復雜，單個采集通道的振動信號難以準確刻畫諧波減速器的運行狀態信息全貌，從而導致單個采集通道評估效果不佳。

同時，文獻[2]所提方法也具有較好的評估結果，但在迭代次數較少時，文獻[2]精度不佳，在迭代次數k=8時，文獻[2]分類準確率僅為61.39%，當迭代次數k=20時，精度達到了99.44%；而所提方法在迭代次數k=11時精度已達到了100%。ST融合方法也能達到較好的評估結果，但收斂性略差于本文所提方法，在迭代次數k=8時ST融合方法分類準確率僅為85%，這是由于S變換對高頻帶模糊，從而導致健康狀態評估效果不佳。而所提方法分類準確率已達到了91.67%，說明所提方法不僅評估效率更高，而且收斂性更好。

表2中各方法耗時為從樣本截取至得到健康狀態評估結果共消耗時間。根據表2，由于所提方法需要分解得到6個采集通道下的時頻圖(即：270×6=1 620),由于整周期截取每個樣本數據長度為35 500，CWT耗時較長，致使所提方法耗時較多。而各單個采集通道方法僅需得到當前采集通道下的時頻圖，耗時較少。同時文獻[2]所提方法及ST融合方法均需分解得到6個采集通道下的時頻圖，所需時間亦較多。需要說明，表2中耗時主要為網絡訓練所需時間，待測樣本輸入網絡輸出結果耗時非常短，在實際應用中，通常為預先完成網絡訓練后再進行健康狀態評估，能滿足實時性要求。

為進一步驗證所提方法的有效性，在100%滿轉速的工作節拍下重復試驗。圖7為諧波減速器在100%滿轉速的工作節拍下不同健康狀態下的融合結果分類準確率對比結果。根據圖7，在100%滿轉速的工作節拍下，所提方法依然具有較好的評估結果，在迭代次數k=5時，分類準確率達到了100%。與此同時，其他單個采集通道、文獻[2]所提方法以及ST融合，雖然在迭代次數較多后也能達到較好的分類準確率，但是收斂速度遠低于所提方法。進一步說明所提方法是有效的。

圖7 融合結果準確率對比

為驗證所提方法的穩健性，采用非整周期數據進行多傳感器信息深度融合試驗。圖8為非整周期數據時頻圖經基于小波變換的圖像融合后融合圖像與各單個采集通道的分類準確率。

根據圖8，所提方法隨著迭代次數的增加，分類準確率不斷提高。當迭代次數k=25時，分類準確率已達到了86.67%。反觀其余未經融合的單個采集通道的評估結果均不佳，各通道分類準確率均為60%左右。由此可知，對于非整周期數據，基于小波變換的圖像融合依然能夠充分表征諧波減速器的時頻特征，證明了所提方法具有較好的穩健性。

圖8 非整周期數據準確率對比

4 結 論

所提方法利用CWT分解整周期數據提取振動時頻圖像以充分展現諧波減速器各運轉周期內的時頻特征，然后運用基于小波變換的圖像融合方法融合多個傳感器下的時頻圖，最后通過CNN充分學習融合圖像的時頻特征從而實現對諧波減速器的健康狀態評估。有如下結論：

(1) CWT相較S變換具有多分辨率的特點，更有利于刻畫諧波減速器瞬變特征，最終評估更好。

(2) 相對于僅利用單個傳感器信息，多傳感器深度信息深度融合能更全面地表征諧波減速器健康狀態，其評估結果準確率更高、更可靠。

所提方法為運動往復、轉速瞬變的旋轉機械狀態評估提供了一種新的思路。