一種新聯(lián)合損失函數(shù)優(yōu)化的遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)磨粒識(shí)別研究*

趙春華 李 謙 胡恒星 陳小甜 譚金鈴，3

(1.三峽大學(xué)水電機(jī)械設(shè)備設(shè)計(jì)與維護(hù)湖北省重點(diǎn)實(shí)驗(yàn)室 湖北宜昌 443002;2.三峽大學(xué)機(jī)械與動(dòng)力學(xué)院 湖北宜昌 443002;3.三峽大學(xué)大學(xué)生素質(zhì)教育中心 湖北宜昌 443002)

近年來(lái)對(duì)齒輪齒條故障的研究主要是基于磨粒鐵譜分析的狀態(tài)識(shí)別[1-3]和基于振動(dòng)信號(hào)的故障診斷[4]。而大模數(shù)齒輪齒條長(zhǎng)期處于正常的運(yùn)行狀態(tài)，監(jiān)測(cè)到的故障狀態(tài)數(shù)據(jù)較少，而且其運(yùn)行速度低，不利于使用振動(dòng)信號(hào)對(duì)其進(jìn)行故障診斷。因此，齒輪齒條的磨粒識(shí)別在其故障檢測(cè)中具有極其重要的作用。大模數(shù)齒輪齒條傳動(dòng)裝置潤(rùn)滑系統(tǒng)中的潤(rùn)滑油或者潤(rùn)滑脂中包含大量磨損故障顆粒信息，對(duì)這些磨粒進(jìn)行分析有助于發(fā)現(xiàn)異常磨損的部位和類(lèi)型。但大模數(shù)齒輪齒條實(shí)際工程應(yīng)用中監(jiān)測(cè)到的數(shù)據(jù)仍存價(jià)值密度低、可利用率低等問(wèn)題。

針對(duì)大模數(shù)齒輪齒條的磨粒數(shù)據(jù)收集困難、標(biāo)記成本高、訓(xùn)練數(shù)據(jù)少等問(wèn)題，本文作者采用了基于一種新的聯(lián)合損失函數(shù)優(yōu)化的遷移學(xué)習(xí)的集成模型，從而提升對(duì)磨粒的診斷能力。遷移學(xué)習(xí)主要通過(guò)對(duì)原域的學(xué)習(xí)解決目標(biāo)域問(wèn)題的一種新的方法，是一種能有效地把已經(jīng)在大規(guī)模帶注釋數(shù)據(jù)集上訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，轉(zhuǎn)移到有限訓(xùn)練數(shù)據(jù)量的磨粒圖像識(shí)別方法。集成模型是將多個(gè)模型的優(yōu)點(diǎn)集成到一個(gè)模型來(lái)提高目標(biāo)的識(shí)別結(jié)果，但是一般化的集成神經(jīng)網(wǎng)絡(luò)的成本較高，難以發(fā)揮其真正的效能[5-7]。通過(guò)文中的訓(xùn)練方法可以有效地實(shí)現(xiàn)2個(gè)預(yù)訓(xùn)練模型的集成。

1 理論基礎(chǔ)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種深度模型，其結(jié)構(gòu)分為輸入層、卷積層、激活層、池化層、全連接層及輸出層，如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積層是該結(jié)構(gòu)中的主要特征提取部分，卷積核與上一級(jí)輸入層的局部區(qū)域進(jìn)行逐一滑動(dòng)窗口的卷積運(yùn)算，經(jīng)過(guò)卷積過(guò)程提取到的特征稱為特征圖(Feature map)。為了提取更多的表示特征，使用多個(gè)不同的卷積核來(lái)獲取多個(gè)不同的特征圖。具體的卷積運(yùn)算如下：

(1)

1.2 遷移學(xué)習(xí)

在機(jī)器學(xué)習(xí)領(lǐng)域，傳統(tǒng)的機(jī)器學(xué)習(xí)方法要求訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)服從獨(dú)立同分布。當(dāng)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的特征分布不同時(shí)，就必須利用新數(shù)據(jù)集重新訓(xùn)練模型。然而，重新采集數(shù)據(jù)在實(shí)際應(yīng)用中需要耗費(fèi)巨大人力物力。自1995年遷移學(xué)習(xí)興起以來(lái)，不斷有學(xué)者將傳統(tǒng)機(jī)器學(xué)習(xí)應(yīng)用到遷移學(xué)習(xí)領(lǐng)域，并提出了包括基于核學(xué)習(xí)的遷移學(xué)習(xí)[8]、基于流形學(xué)習(xí)的遷移學(xué)習(xí)[9]、基于強(qiáng)化學(xué)習(xí)的遷移學(xué)習(xí)[10]和基于深度學(xué)習(xí)的遷移學(xué)習(xí)等方法[11-12]。

文中采用文獻(xiàn)[12]中關(guān)于遷移學(xué)習(xí)一些術(shù)語(yǔ)的定義。

定義領(lǐng)域：一個(gè)領(lǐng)域D可以形式化地表示為

D={X,p(X)}

(2)

式中：X表示特征空間；p(X)表示X={x1,......,xi,......,xn}∈X(i=1,2,......,n)的邊緣分布。

定義任務(wù)：給定某一個(gè)具體的領(lǐng)域D={X,p(X)}，可以將其任務(wù)T形式化地表示為

T={Y,f(·)}

(3)

1.3 一種新的聯(lián)合損失函數(shù)

(4)

式中：θD={w,b}為遷移學(xué)習(xí)模型待訓(xùn)練參數(shù)集。

將卷積核參數(shù)wD分為公共特征參數(shù)和具體域特征參數(shù)：

w=w0+vs+vt

(5)

式中：w0、vs和vt分別為遷移學(xué)習(xí)模型的公共特征參數(shù)、僅在源域出現(xiàn)的參數(shù)和僅在目標(biāo)域出現(xiàn)的參數(shù)。

遷移模型訓(xùn)練階段，源域Ds對(duì)應(yīng)的樣本中，vt對(duì)應(yīng)的特征取值均為0；目標(biāo)域Dt對(duì)應(yīng)的樣本中，vs對(duì)應(yīng)的特征取值均為0。2個(gè)領(lǐng)域通過(guò)共享w0來(lái)實(shí)現(xiàn)相互學(xué)習(xí)。

遷移學(xué)習(xí)在實(shí)際應(yīng)用中，Ds和Dt對(duì)應(yīng)的數(shù)據(jù)量通常存在較大差別，在模型迭代訓(xùn)練時(shí)，可以調(diào)整不同領(lǐng)域?qū)?yīng)的迭代輪數(shù)，或?qū)?shù)據(jù)進(jìn)行采樣，或通過(guò)定義代價(jià)敏感的損失函數(shù)來(lái)調(diào)節(jié)。同時(shí)需要注意的是，遷移學(xué)習(xí)僅關(guān)注目標(biāo)領(lǐng)域Dt的學(xué)習(xí)效果，文中通過(guò)修改損失函數(shù)，來(lái)重點(diǎn)學(xué)習(xí)Dt對(duì)應(yīng)的學(xué)習(xí)任務(wù)Tt。

修改后新的損失函數(shù)為

λ2‖w0‖2

(6)

對(duì)新的聯(lián)合損失函數(shù)采用AdamW優(yōu)化算法[13]，與Adam相比較，在實(shí)際更新參數(shù)時(shí)按照權(quán)重衰減的方式進(jìn)行更新，即添加權(quán)重衰減項(xiàng)。通過(guò)這一簡(jiǎn)單的改進(jìn)大大加強(qiáng)了Adam算法的泛化性能，且允許它在圖像分類(lèi)任務(wù)中獲得像帶動(dòng)量的SGD方法那樣的性能。另外，AdamW方法可以耦合學(xué)習(xí)率與權(quán)重衰減，即超參數(shù)之間不再相互依賴，這使得超參數(shù)優(yōu)化更加優(yōu)秀；它還將優(yōu)化器的實(shí)現(xiàn)和權(quán)重衰減的實(shí)現(xiàn)分離開(kāi)，因此能實(shí)現(xiàn)更簡(jiǎn)明與可復(fù)用的代碼。

2 優(yōu)化后的LCNNE模型

基于一種新聯(lián)合損失函數(shù)優(yōu)化的遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)LCNNE(Convolutional Neural Network Ensemble Based on the New Joint Loss Function)集成模型結(jié)構(gòu)與深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)基本結(jié)構(gòu)類(lèi)似，都是有卷積層、激活層、池化層、全連接層和Softmax作為最后分類(lèi)層，區(qū)別在于前者是基于新的聯(lián)合損失函數(shù)的VGG19[14]和GoogleNet[15]2個(gè)預(yù)訓(xùn)練模型的集成。該方法包括4個(gè)主要步驟：(1)先將VGG19和GoogleNet預(yù)訓(xùn)練模型獨(dú)立地微調(diào)；(2)使用單個(gè)微調(diào)網(wǎng)絡(luò)的權(quán)重和偏差對(duì)集成模型進(jìn)行初始化；(3)利用聯(lián)合損耗函數(shù)對(duì)CNN集成模型進(jìn)行磨粒圖像的微調(diào)；(4)最后利用所探討的基于聯(lián)合損失函數(shù)優(yōu)化的遷移學(xué)習(xí)網(wǎng)絡(luò)集成模型對(duì)磨粒進(jìn)行診斷分類(lèi)，也可以作為特征提取器提取特征輸入SVM進(jìn)行分類(lèi)。對(duì)于每個(gè)預(yù)訓(xùn)練CNN的微調(diào)過(guò)程，使用隱含層神經(jīng)元個(gè)數(shù)為100和Softmax層單元數(shù)為10的兩層替換網(wǎng)絡(luò)全連接層的最后兩層。新替換的層是隨機(jī)初始化的，在微調(diào)之后，最后一個(gè)隱含層可以得到特征維數(shù)為100的特征向量，可以將其輸入Softmax層進(jìn)行分類(lèi)，也可以利用SVM進(jìn)行分類(lèi)。其結(jié)構(gòu)如圖2所示。

圖2 優(yōu)化后的LCNNE模型結(jié)構(gòu)

3 磨粒診斷試驗(yàn)

文中試驗(yàn)使用的深度學(xué)習(xí)框架為Google公司的Tensorflow[16]。在Tensorflow環(huán)境中使用Python3構(gòu)建遷移學(xué)習(xí)網(wǎng)絡(luò)模型，利用磨粒數(shù)據(jù)訓(xùn)練模型，將訓(xùn)練好的模型對(duì)驗(yàn)證集和測(cè)試集磨粒圖像進(jìn)行識(shí)別。

3.1 試驗(yàn)數(shù)據(jù)與預(yù)處理

文中所使用的數(shù)據(jù)源是通過(guò)旋轉(zhuǎn)式鐵譜儀對(duì)齒輪齒條各類(lèi)磨粒圖像進(jìn)行采集而來(lái)。磨粒圖像是通過(guò)安裝在鐵譜議鐵鏡上的索尼3CCD彩色攝像機(jī)拍攝的。再利用Synoptics Grabber軟件加載到計(jì)算機(jī)上，在顯示器上生成實(shí)時(shí)圖像。

試驗(yàn)中共采集了64張?jiān)寄チD像，在文獻(xiàn)[17]探討的基礎(chǔ)上將磨粒劃分為正常磨粒、球狀磨粒、嚴(yán)重滑動(dòng)磨粒、疲勞塊磨粒、層狀磨粒、氧化物磨粒、切削磨粒、摩擦點(diǎn)蝕磨粒、非鐵有色金屬磨粒和非金屬磨粒共10種類(lèi)別，采樣數(shù)分別為6、6、5、5、6、5、10、7、7、7，并分別用0、1、2、3、4、5、6、7、8、9表示對(duì)應(yīng)的類(lèi)別標(biāo)簽。部分原始磨粒圖像如圖3所示。

圖3 部分原始磨粒圖像

為了防止擬合現(xiàn)象的發(fā)生，利用Python對(duì)所有原始磨粒圖像進(jìn)行隨機(jī)水平移動(dòng)、旋轉(zhuǎn)、翻轉(zhuǎn)、改變對(duì)比度、色度等處理對(duì)原始數(shù)據(jù)樣本進(jìn)行擴(kuò)充，最后共得到64×256=16 384張磨粒圖像。最終選取了12 400個(gè)樣本作為數(shù)據(jù)集，其中訓(xùn)練集為10 800個(gè)樣本，驗(yàn)證集為800個(gè)樣本，測(cè)試集為800個(gè)樣本。

3.2 試驗(yàn)設(shè)置

使用已經(jīng)在ImageNet數(shù)據(jù)集上訓(xùn)練好的預(yù)訓(xùn)練模型VGG19和GoogleNet，利用二者的集成模型針對(duì)目標(biāo)領(lǐng)域任務(wù)磨粒圖像數(shù)據(jù)集進(jìn)行診斷。將磨粒微批量大小設(shè)置為128，學(xué)習(xí)率為0.001，迭代訓(xùn)練次數(shù)為2 000。同時(shí)，設(shè)置了3組對(duì)照模型，分別為DCCN、單個(gè)VGG19與GoogleNet遷移模型。3個(gè)對(duì)照模型結(jié)構(gòu)如圖4所示。

圖4 3種對(duì)照模型的結(jié)構(gòu)

3.3 新的聯(lián)合損失函數(shù)對(duì)試驗(yàn)結(jié)果的影響

在保留遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)整個(gè)模型的結(jié)構(gòu)不變的情況下，分別測(cè)試使用新的聯(lián)合損失函數(shù)以及使用普通交叉熵?fù)p失函數(shù)2種情況下，模型在不同訓(xùn)練樣本數(shù)下對(duì)磨粒的診斷識(shí)別率。

試驗(yàn)結(jié)果如圖5所示，新的聯(lián)合損失函數(shù)對(duì)磨粒圖像測(cè)試集的識(shí)別率普遍比交叉熵?fù)p失函數(shù)高出0.5%左右，而誤差也更低一些，說(shuō)明使用新的聯(lián)合損失函數(shù)對(duì)遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型有較大影響。

圖5 LCNNE模型在不同模式下的識(shí)別率

3.4 性能比較

為比較LCNNE與深度神經(jīng)網(wǎng)絡(luò)模型DCNN、VGG19遷移模型以及GoogleNet遷移模型在不同訓(xùn)練樣本總數(shù)下對(duì)磨粒圖像的診斷識(shí)別率，訓(xùn)練集樣本總量分別設(shè)置為100，150，300，1 000，3 000，5 000，8 000，10 000和10 800，進(jìn)行了識(shí)別試驗(yàn)。由于神經(jīng)網(wǎng)絡(luò)的參數(shù)是隨機(jī)初始化的，為了驗(yàn)證模型的穩(wěn)定性，每個(gè)試驗(yàn)重復(fù)進(jìn)行10次，試驗(yàn)結(jié)果如圖6所示。

圖6 優(yōu)化后LCNNE與其他模型對(duì)磨粒測(cè)試集識(shí)別率對(duì)比

從圖6可以看出，模型DCNN、VGG19、GoogleNet以及優(yōu)化后的LCNNE模型都隨著訓(xùn)練樣本數(shù)的增加，識(shí)別率逐漸上升，10次試驗(yàn)標(biāo)準(zhǔn)差也逐漸下降;但是優(yōu)化后的LCNNE對(duì)磨粒圖像診斷識(shí)別率比另外3種模型都要高，當(dāng)訓(xùn)練樣本數(shù)為10 800時(shí)，對(duì)磨粒圖像測(cè)試集識(shí)別率能達(dá)到99.5%，并且誤差僅為0.13%，比DCNN的誤差0.42%、VGG19的誤差0.36%以及GoogleNet的誤差0.2%都要低，即優(yōu)化后的LCNNE的穩(wěn)定性最好。此外，當(dāng)訓(xùn)練樣本數(shù)為100時(shí)，DCNN、VGG19、GoogleNet以及優(yōu)化后LCNNE在測(cè)試集上的識(shí)別率分別為79.35%、82.5%、83.5%和85.63%，而誤差分別為9.88%、4.25%、3.88%和2.62%，即探討的集成模型LCNNE的性能要比基于單個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)的微調(diào)遷移模型好，單個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)微調(diào)遷移學(xué)習(xí)性能比DCNN好。

3.5 模型可視化分析

為了深入理解特征提取對(duì)模型性能的影響，利用t-SNE[18]將3.4中4個(gè)模型提取的最后一個(gè)隱含層的維度為100的特征降為二維后進(jìn)行可視化，如圖7所示。

圖7 t-SNE方法對(duì)4種模型的最后一個(gè)隱含層提取特征的可視化結(jié)果

可以看出，從模型DCNN、VGG19、GoogleNet到優(yōu)化后的LCNNE，最后一個(gè)隱含層提取特征的可分性越來(lái)越好，這也是文中所提出的模型對(duì)磨粒的診斷識(shí)別率要高于另外3種模型的原因，其提取的特征表達(dá)性最強(qiáng)，有利于分類(lèi)器對(duì)其進(jìn)行分類(lèi)。此外4張圖中的非金屬磨粒類(lèi)別可分性最強(qiáng)，這與實(shí)際操作中非金屬類(lèi)磨粒較其他磨粒類(lèi)別更易區(qū)分的情況是相符的。

4 結(jié)論

(1)提出了基于一種新的聯(lián)合損失函數(shù)優(yōu)化的LCNNE模型對(duì)大模數(shù)齒輪齒條的磨粒進(jìn)行識(shí)別，并通過(guò)試驗(yàn)，驗(yàn)證了優(yōu)化后的LCNNE模型處理磨粒圖像診斷識(shí)別問(wèn)題的強(qiáng)大性能，證明了利用該模型直接做分類(lèi)要比將單個(gè)預(yù)訓(xùn)練模型VGG19和GoogleNet提取的特征組成聯(lián)合特征輸入SVM分類(lèi)性能要好。

(2)通過(guò)t-SNE可視化技術(shù)，分析了優(yōu)化后的LCNNE模型能夠獲得高性能的原因。該模型利用遷移學(xué)習(xí)的方式，只需要小樣本就可以完成目標(biāo)域任務(wù)，為大模數(shù)齒輪齒條這種特殊設(shè)備的智能自動(dòng)診斷提供了新的思路。