基于聯合領域自適應卷積神經網絡的多工況故障診斷

韓樹發， 于穎， 唐堂， 陳明， 王亮, 夏躍利

(同濟大學 1a. 機械與能源工程學院； 1b. 中德工程學院，上海 201804；2. 云內動力股份有限公司 昆明 201804)

0 引言

如今，基于數據驅動的智能故障診斷算法取得了優異的結果。數據驅動算法從大量歷史數據中自主學習故障數據的內在特征，替代傳統的手工特征提取。近年來，深度神經網絡(DNN)展現出強大的分層特征提取能力。其中卷積神經網絡(CNN)是一種特殊的神經網絡形式。由于其稀疏連接性，參數共享性及平移不變性，CNN能夠提取更為魯棒的特征，在圖像分類領域取得了顯著的成果[1]。近兩年來，基于CNN的故障診斷方法吸引了大量學者研究[2-5]。這些研究結果顯示，相比與其他數據驅動算法，CNN表現出更為優異的效果，具有良好的研究前景。

盡管基于深度學習的故障診斷取得了如此高的理論準確率，目前提出的算法仍存在巨大缺點，難以滿足實際應用要求。目前基于深度學習的故障診斷算法都基于一個共同的假設，即訓練數據(也稱為源數據)與測試數據(也稱為目標數據)必須具有相同的概率分布。然而在實際工業應用中設備的工況復雜多變，這一假設很難滿足。當訓練數據與測試數據分布不同時，深度學習模型的識別準確率往往會顯著下降，識別的效果也變得不穩定。這是由于不同工況的故障數據特征分布不同，傳統的深度學習算法在訓練數據中提取的特征在測試數據中不適用。為此需要引入一種新方法解決源數據與目標數據特征分布差異的問題。

遷移學習(Transfer learning, TL)是一個可以解決跨域問題的機器學習方法。廣泛應用與源數據與目標數據來自不同分布的情況。遷移學習從源域中學習知識，并通過這些知識協助目標域的分類問題。微調(Fine-tune)是一個有效的遷移學習方法[6]，適用于當源數據與目標數據都有標簽的情況。然而，在實際工業的故障診斷中，難以收集到足夠的標簽目標數據。為了解決目標數據無標簽時的分類問題，領域自適應(domain adaptation)技術被大量地研究[7-10]。

相對于傳統的數據驅動的故障診斷方法，領域自適應技術在多工況故障診斷方面展現了巨大的潛力。然而，當前該方面的研究仍處于初步階段。目前應用在故障診斷中的領域自適應算法的共同點是最小化源數據與目標數據在潛在特征空間中特征分布的差異[11-13]。但這些方法只考慮到減小邊緣分布的距離。然而文獻[14]指出，同時將邊緣分布與條件邊緣分布相匹配，可以提高模型遷移的魯棒性?？紤]到實際工業應用情況，目標域大多為無標簽數據，因此估計目標域的條件邊緣分布十分困難。本文在原有的領域自適應的基礎上，提出了在無標簽目標域內估算條件邊緣分布的方法，進而提出了一種同時匹配邊緣分布與條件邊緣分布的領域自適應方法，即為聯合領域自適應算法。將聯合領域自適應算法與CNN結合，設計了一種端到端的多工況故障診斷模型，命名為JDACNN(Joint domain adaptation convolutional neural network)。在本文的實驗中，與當前的故障診斷深度遷移模型相比，該模型展示出了更強的遷移學習能力。

1 相關研究

(1) CNN特征提取

基本的CNN結構主要由3種類型的分層構成，即卷積層、池化層和全連接層。在卷積層中，卷積核掃描全部輸入得到特征圖；在池化層中，通過下采樣運算來減小輸出的大小并保持平移不變性。

目前基于CNN的故障診斷研究主要著眼于提取特征的泛化性[15-17]。文獻[15]提出了隨機卷積和深度信念網絡(SCDBN)的端到端模型，該模型通過隨機卷積核從不同類別的軸承數據中提取更為泛化的特征。文獻[16]提出了Lifting-Net這一新型CNN架構，在多轉速高噪音的工況下對故障數據進行分類。文獻[17]提出的CNN模型不依賴目標數據信息，在負載變化的工況下對故障的識別取得較好的效果。

(2) 領域自適應

遷移學習是一種解決在源數據和目標數據來自不同特征分布時分類準確率下降的機器學習方法[18]。 在遷移學習中，領域自適應是一個能夠從大量的源域數據學習到知識轉移至無標簽目標域的有效技術。領域自適應通過減少源域與目標域之間的差異，在目標域無標簽的情況下完成了知識的遷移。領域自適應的目的是找到一個源域與目標域共享的特征空間，并在這個特征空間內訓練分類器。在故障診斷領域，領域自適應技術被初步地應用。為了解決跨域的特征提取問題，文獻[11]將遷移成分分析(TCA)算法應用于故障領域中，旨在減少不同工況下故障信號的特征分布差異。為了學習遷移性的故障數據特征，文獻[12]將深度神經網絡與領域自適應技術結合，提出了一個新型深度神經網絡模型。該模型適用自編碼器提取源數據的特征，同時通過減小最大均值差異(MMD)來縮小源域與目標域特征分布的距離。最終，采用支持向量機(SVM)作為分類器來對自適應的特征進行分類。文獻[13]提出了一個深度遷移學習模型來提高模型在無標簽目標數據上的表現。在該文章中，首先利用源數據預訓練一個3層的稀疏自編碼器(SAE)，然后通過同時最小化源數據的分類損失與MMD對模型進行微調。下面將對領域自適應做出定義：

其中，源域與目標域的定義如式(1)。

(1)

Ds,Dt分別表示源域和目標域。xs,xt分別表示源數據和目標數據。ys表示源數據的標簽。ns,nt分別表示源域和目標域的樣本數量。

領域自適應技術認為源域和目標域來自不同的邊緣分布，即P(xs)≠P(xt)。

領域自適應的主流方法是通過源域和目標域訓練一個特征映射，使得映射后的共享特征子空間中源域和目標域之間的差異最小，從而將目標數據的分類問題轉移到源數據上。最大均值差異(MMD)評估源域和目標域分布差異的常用方法[19]。MMD越小說明差異就越小。

(2)

(3)

其中M表示MMD矩陣，Mij表示MMD矩陣中的元素；H表示轉換矩陣，h(·)表示數據特征的一個非線性變換。

2 改進的深度遷移學習方法

在本章，我們提出了一個基于CNN的聯合領域自適應模型(JDACNN)。通過最小化源域與目標域之間的邊緣分布、條件邊緣分布的距離，通過自適應層的映射可以將源域與目標域映射到特征子空間。在這個特征子空間中，源域與目標域的特征分布相同。從而將源域上有標簽的分類問題遷移到目標域中，提高模型在目標域中的表現。

與CNN類似，本文提出的JDACNN從源域中通過監督學習的方式提取數據的分層特征。而與CNN不同之處在于，JDACNN將底部神經層參數固定，頂部神經層設置為自適應層。自適應層在源域和目標域上進行訓練，通過減少MMD使自適應層上特征的分布差異減少，訓練后的自適應層可以將源域與目標域特征映射到共同的特征子空間，從而完成知識的遷移。

(1) CNN結構

模型的結構是基于LeNet-5[20]進行的改進，該模型與LeNet-5不同之處在于：減少了卷積核尺寸以提高計算效率，增加卷積核數量以提高特征抓取能力，增加了一層全連接層，采用dropout技術，使用不同形式的激活函數與損失函數等。該模型包含2個卷積層，2個池化層與3個全連接層。故障信號的輸入圖尺寸為3232。模型的結構如圖1所示。

圖1 JDACNN結構

第1層，卷積核尺寸為，步長為1，卷積核數量為16；第2層，池化范圍為，池化步長為2；第3層卷積核尺寸為，步長為1，卷積核數量為32；第4層池化范圍為，步長為2；第5層到第6層為全連接層，節點數量為500。第7層為輸出層，節點數為4。

為了防止卷積與池化操作導致的維度損失，零填充(zero-padding)被應用于卷積層與池化層。Drop-out技術與正則被應用在全連接層，以避免模型的過擬合。Drop-out技術[21]以一定概率通過設置神經元參數為0的方式，移除非輸出的神經元。因此drop-out等價于訓練多個子網絡的集合體，是一種計算量小但功能強大的模型正則化技術。在我們的模型中，drop-out的概率被設置為0.5。

線性整流函數(ReLU)函數被選作為本文模型的激活函數，定義如式(4)

ReLU(x)=max(0,x)

(4)

本文中CNN的損失函數被設為交叉熵損失函數與l2正則損失，如式(5)。

(5)

公式5中yi表示獨熱碼(one-hot)標簽的第i個元素，ai表示預測的概率，λ代表l2損失的權重，n表示全連接層參數w的數量。

(2) 聯合領域自適應技術

為了解決多工況下故障診斷準確率下降的問題，本文提出了改進的領域自適應技術——聯合領域自適應技術。為了提高模型的遷移能力，本文提出的聯合領域自適應技術，不僅考慮源域和目標域來自不同的邊緣分布，同時也考慮到源域和目標域來自不同的條件邊緣分布，即：P(xs|ys)≠P(xt|yt)。

嘗試在源域和目標域上訓練自適應層的參數，通過降低自適應層的MMD來減少特征分布之間的距離，最終通過自適應層將源域與目標域映射到一個共同的特征空間。如圖2所示。

1到4層為共享層，共享層從源域中提取泛化的特征。5到6層為全連接層，被設置為自適應層。自適應層的權重將由源數據與目標數據共同訓練。本文模型的目的是通過降低MMD，減小自適應層所表示的特征的邊緣分布差異與條件邊緣分布的差異。

設h(·)為自適應層的特征映射函數。源域與目標域在潛在特征空間下邊緣分布的MMD如上述式2所定義。

受到文獻[14]的啟發, 為了提高模型的遷移能力。本文提出的模型同時考慮邊緣分布與條件分布。對于任意類別c，條件邊緣分布的MMD估計的是P(hs|y=c)與P(ht|y=c)之間的距離，如式(6)、式(7)。

(6)

(7)

為了獲得無標簽目標數據的條件邊緣分布，我們在預訓練的網絡中預測目標數據，獲得偽標簽，并通過迭代的方式更新目標數據的偽標簽，進而不斷提高網絡的表現。

圖2 本文模型結構

(3) 最終損失函數

通過最小化邊緣分布與條件邊緣分布的MMD，經過自適應層的特征映射，源域與目標域的特征分布被匹配起來。從而源域的分類問題被遷移到目標域上。

將公式(2)，(5)，(6)結合，模型的損失函數定義如式(8)。

L=J+λ1MMDmar+λ2MMDcon

(8)

公式(8)中，λ1,λ2分別控制邊緣分布MMD與條件邊緣分布MMD的權重。

在訓練階段，只有源域的樣本用于最小化分類損失，源域與目標域的樣本共同用于最小化MMD。優化算法選為小批量的隨機梯度下降法。訓練網絡的算法如算法1所示。

3 實驗與結果分析

為了驗證模型的效果，本文采用了西儲大學(CWRU)的滾動軸承故障集進行了測試。西儲大學故障數據集包含4種工作負載(0HP，1HP，2HP，3HP)。數據標簽包括正常(NO)，內圈損壞(IF)，外圈損壞(OF)與滾子損壞(RF)。該滾動軸承故障集使用加速度傳感器采集振動信號，采樣頻率為12 Hz。本文選擇的是加速度傳感器安裝在電機驅動端采集的數據。

算法1:JDACNN訓練輸入:源數據,源數據標簽,目標數據輸出:最優的JDACNN模型1. 用源域數據Xs預訓練JDACNN,預訓練的損失函數如公式5所示;2. 固定層1到層4的參數;3. 循環: 用最新的JDACNN模型預測目標數據,獲得偽標簽yt; 將Xs, Xt, ys, yt投入模型中,訓練的損失函數為公式(8); 每訓練一步,更新參數,直到收斂。

(1) 準備階段

本文提出的模型是一種端到端的故障診斷模型，采用源數據作為模型的輸入。本文中提出了一個將原始信號轉換為M×M圖片的方法，如圖3所示。

圖3 原始信號轉換圖片

首先沿著原始信號以Sd的步長選擇M2個信號節點，如式(9)。

Sd=M-o×M

(9)

公式(9)中，o∈[0，1]為覆蓋率。o越大，會產生更多的樣本，如式(10)。

P(i,j)=N((i-1)×M+j)

(10)

公式(10)表示了圖片像素點與原始數據的對應關系，P(i,j)代表圖片中第i行第j列的像素點。N(i)表示所選M2個原始數據節點中的第i個節點。

(2) 參數敏感性

本文中，MMD是對特征分布差異的估計。MMD越大，說明特征分布差異越大，需要設置為自適應層減少特征差異。CNN提取的底層特征為泛化特征，因此表現為MMD很小，無需對MMD很小的網絡層進行自適應處理。本文中，依據每層的MMD來選擇自適應層，如圖4所示。

圖4 各層的MMD

圖4展示了層4到層6的MMD大小。注意到第5層與第6層的MMD明顯大于第4層的MMD。因此層5與層6被設為模型的自適應層。

在網絡設計確定后，模型的超參數包括MMD權重λ1,λ2與訓練批量大小(Batch size)S。在本段，對不同的超參數的選擇進行了測試，以獲得模型最佳表現。

λ1,λ2分別控制了邊緣分布MMD與條件邊緣分布MMD的權重。權重越大，源域與目標域的特征分布差異越小。但權重過大也會導致分類損失難以收斂，影響分類準確率，如圖5所示。

(a) λ1,λ2灰度圖

(b) 批量大小

圖5(a)展示了λ1,λ2從[0, 0.1, 1, 10]這4個數值取值時模型的表現，圖中灰度值代表模型測試的準確率。最終我們選擇λ1=1，λ2=1。

當網絡訓練時，故障數據的分布在小批量數據中被估計。一個小批量數據需要包含足夠多的源域與目標域的樣本。批量大小決定了MMD估計的準確程度，因此S需要足夠大。然而，過大批量會消耗大額的計算機內存。圖5(b)展示了S在[200-1500]取值時模型的表現。最終我們選擇S=1 000。

(3) 測試結果

為了展示聯合領域自適應深度學習算法的有效性，本文的JDACNN模型與相同結構的CNN做比較，即只在源域數據上訓練的CNN模型。JDACNN也與相同結構的傳統的深度遷移神經網絡做比較，即缺少匹配條件邊緣特征分布的領域自適應CNN模型，驗證聯合領域自適應算法相較于傳統的領域自適應算法的優越性。

JDACNN也與其他數據驅動算法比較來證明其良好的研究前景。相比較的算法包括傳統的機器學習算法SVM，傳統的深度學習算法人工神經網絡(ANN)與經典的遷移學習算法TCA[7]、聯合分布適配(JDA)。

在實驗中，將0HP的數據作為源域數據，1HP到3HP的數據作為目標域數據。這3中情況下的測試分類準確率，如表1所示。

表1 CWRU數據集測試準確率

從檢測的結果來看，當3HP數據集是目標域時，JDACNN的識別準確率達到97.57%。JDACNN平均準確率是93.01%。在所有情況下，JDACNN的識別準確率均超過傳統的DTN和有著同樣結構的CNN。相對于CNN，JDACNN平均提高了8.68%，與傳統的DTN相比，JDACNN平均提高了5.08%。這充分證明了JDACNN在領域自適應的有效性。與其他數據驅動算法相比，JDA平均達到了86.67%的準確率，比其他算法要高。然而，仍相對于JDACNN低6.34%，這充分證明了JDACNN在提升遷移能力與特征提取方面的有效性。

4 總結

當訓練數據與測試數據來自不同分布時，傳統的深度學習算法分類準確率將明顯下降。本文提出的JDACNN模型，通過減小數據特征的邊緣分布、條件邊緣分布的MMD，提高了模型的遷移能力，解決了傳統深度學習算法準確率下降的問題。本文的主要貢獻如下：

1. 本文提出的模型減少了多工況故障診斷下的準確率損失。模型在西儲大學滾動軸承故障數據集中進行測試。結果顯示應用提出的聯合領域分布算法后，模型的表現有明顯的提高。

2. 成功地解決了聯合領域分布算法中估計無標簽目標數據的條件邊緣分布的難題。通過迭代設置偽標簽估計條件邊緣分布，提高了模型的遷移能力。

3. 為了提高模型的遷移能力，依據MMD選擇自適應層，固定共享層參數，保留了模型從源域學習到的底層泛化特征。測試了模型的參數敏感度，以提高模型能力。最終設計了基于CNN的端到端的網絡結構。

經過實驗測試，聯合領域自適應技術表現出更強的遷移能力，展現了在多工況故障診斷方面良好的潛力。本文提出的JDACNN，仍有許多需要改進的地方。

在CNN架構方面，未來的研究方向將致力于提高CNN提取泛化特征的能力。更為泛化的底層特征將有助于聯合領域自適應的知識遷移。此外，本文提出的JDACNN，在訓練優化時，容易發生收斂失敗。這是因為Relu被用作激活函數，，當未正確設置超參數時，一些神經元將被過度激活，導致softmax函數指數值過大，易導致softmax層值的溢出。因此，應進一步研究一種適用的數據預處理方法，以避免神經元過度激活的現象發生。