基于無(wú)監(jiān)督特征表示深度Q學(xué)習(xí)的智能故障診斷方法

烏文揚(yáng)，陳景龍，劉莘，周子桐

(西安交通大學(xué)機(jī)械工程學(xué)院，陜西西安，710049)

近年來(lái)，我國(guó)軌道交通領(lǐng)域發(fā)展迅速，列車運(yùn)行的安全性成為軌道交通研究的重要方向。滾動(dòng)軸承是列車的關(guān)鍵零部件之一，但由于其工況復(fù)雜(變載荷、高速?zèng)_擊等)，更容易在滾動(dòng)體、內(nèi)圈、外圈和保持架等部位產(chǎn)生故障[1-2]，從而對(duì)列車安全運(yùn)行、乘客生命安全等造成危害。滾動(dòng)軸承的故障數(shù)據(jù)樣本很難獲取，難以建立一個(gè)理想的數(shù)據(jù)集用于診斷故障識(shí)別。這是因?yàn)閷?shí)際軌道交通設(shè)備運(yùn)行中，通常都保持在正常健康狀態(tài)，故障很少發(fā)生；實(shí)驗(yàn)室模擬故障實(shí)驗(yàn)而收集故障數(shù)據(jù)的成本很高；計(jì)算機(jī)模擬復(fù)雜工作環(huán)境的難度高，得到的仿真故障數(shù)據(jù)與實(shí)際情況存在一定的偏差。而在深度學(xué)習(xí)智能診斷中，若訓(xùn)練數(shù)據(jù)過(guò)少，則模型難以達(dá)到較高的準(zhǔn)確率。同時(shí)，數(shù)據(jù)的不均衡會(huì)讓模型被多數(shù)類過(guò)度訓(xùn)練，少數(shù)類的判定邊界區(qū)域縮小。因此，在小樣本條件下，軌道交通列車的軸承故障診斷研究十分必要。

傳統(tǒng)的滾動(dòng)軸承故障診斷方法是通過(guò)時(shí)頻分析處理振動(dòng)信號(hào)來(lái)進(jìn)行的。例如，ZHANG 等[3]提出一種基于連續(xù)小波變換和多Q因子Gabor小波的時(shí)頻分析方法來(lái)對(duì)軸承進(jìn)行故障診斷。然而，傳統(tǒng)方法的手動(dòng)故障特征提取僅限于特定的故障診斷問(wèn)題，并且需要相關(guān)的先驗(yàn)知識(shí)和專家經(jīng)驗(yàn)[4-6]。

近年來(lái)，智能故障診斷算法越來(lái)越受到重視，它能夠自適應(yīng)地提取振動(dòng)信號(hào)的特征，通過(guò)多個(gè)非線性變換層來(lái)實(shí)現(xiàn)故障分類，不再需要大量的先驗(yàn)知識(shí)和專家經(jīng)驗(yàn)。SHAO等[7]提出了一種集成深度自編碼器的方法，有效地識(shí)別滾動(dòng)軸承故障。CHANG 等[8]設(shè)計(jì)了一種多尺度核的并行卷積神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)風(fēng)力發(fā)電機(jī)組的智能故障診斷。然而，上述深度學(xué)習(xí)方法成功實(shí)現(xiàn)故障診斷的前提是需要大量的標(biāo)簽故障數(shù)據(jù)作為輸入，而工程上往往難以獲取大量有效的故障數(shù)據(jù)。

深度強(qiáng)化學(xué)習(xí)(DRL)是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的結(jié)合，為解決上述問(wèn)題帶來(lái)了新的可能。DRL 使智能體(agent)充分感知環(huán)境，并學(xué)習(xí)解決問(wèn)題的最優(yōu)決策來(lái)獲得最佳的長(zhǎng)期收益[9]。目前，DRL算法已經(jīng)在機(jī)器人和機(jī)器視覺(jué)等領(lǐng)域得到廣泛應(yīng)用。例如，LI 等[10]利用DRL 來(lái)實(shí)現(xiàn)端到端的機(jī)器人控制，使其可以自主學(xué)習(xí)。WOO等[11]提出了一種基于DRL 的視覺(jué)識(shí)別防撞方法，以解決無(wú)人水面車輛的相遇問(wèn)題。然而，目前DRL 要獲得良好的性能仍需要大量的訓(xùn)練時(shí)間和經(jīng)驗(yàn)，其樣本利用效率并不高，因此，DRL 在故障診斷領(lǐng)域仍然處于起步階段。

表示學(xué)習(xí)(RL)通過(guò)無(wú)監(jiān)督地學(xué)習(xí)數(shù)據(jù)的隱式特征，使模型獲得更高效的特征表達(dá)方式，再將學(xué)到的特征應(yīng)用于下游分類、回歸等任務(wù)。對(duì)比學(xué)習(xí)是一種通過(guò)比較來(lái)學(xué)習(xí)同類樣本的共同特征的表示學(xué)習(xí)。近年來(lái)，對(duì)比學(xué)習(xí)的預(yù)訓(xùn)練模型在自然語(yǔ)言處理(NLP)和計(jì)算機(jī)視覺(jué)(CV)領(lǐng)域獲得了一些應(yīng)用[12-13]。然而，表示對(duì)比學(xué)習(xí)需要很大的數(shù)據(jù)批量才能獲得較好的特征表示，同時(shí)單靠良好的特征表示并不能實(shí)現(xiàn)故障的準(zhǔn)確識(shí)別診斷。

為克服上述方法的缺陷，實(shí)現(xiàn)在小樣本條件下軌道交通軸承的準(zhǔn)確故障診斷，本文作者提出一種基于無(wú)監(jiān)督特征表示深度Q 學(xué)習(xí)的小樣本下的故障診斷方法。首先，利用數(shù)據(jù)增廣算法擴(kuò)充訓(xùn)練集，無(wú)參數(shù)化地構(gòu)建拓展數(shù)據(jù)集；其次，通過(guò)無(wú)監(jiān)督特征表示的對(duì)比學(xué)習(xí)對(duì)深度Q 學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，以優(yōu)化網(wǎng)絡(luò)對(duì)同類數(shù)據(jù)的特征提取能力；最后，采用基于殘差網(wǎng)絡(luò)的深度Q 學(xué)習(xí)算法實(shí)現(xiàn)故障分類，其中經(jīng)驗(yàn)回放功能可以改善訓(xùn)練樣本嚴(yán)重不足的問(wèn)題。通過(guò)2個(gè)不同的軸承故障識(shí)別任務(wù)以驗(yàn)證所算法的有效性。

1 無(wú)監(jiān)督特征表示和深度Q 學(xué)習(xí)原理

1.1 無(wú)監(jiān)督特征表示原理

無(wú)監(jiān)督學(xué)習(xí)無(wú)需人工標(biāo)注的類別標(biāo)簽，直接將輸入數(shù)據(jù)本身作為訓(xùn)練標(biāo)簽，通過(guò)學(xué)習(xí)樣本數(shù)據(jù)的特征表示，應(yīng)用于下游任務(wù)。表示學(xué)習(xí)希望能學(xué)習(xí)到從原始輸入數(shù)據(jù)到特征向量或張量的有效參數(shù)映射，提煉對(duì)原始輸入數(shù)據(jù)的更好表示，深度學(xué)習(xí)的發(fā)展使得有越來(lái)越多的算法模型可以更高效地學(xué)習(xí)特征表示[14]。

現(xiàn)有無(wú)監(jiān)督學(xué)習(xí)方法可分為生成式方法和對(duì)比式方法，對(duì)比式方法是通過(guò)對(duì)比正負(fù)樣本來(lái)學(xué)習(xí)特征表示，而生成式方法更注重網(wǎng)絡(luò)的空間映射來(lái)學(xué)習(xí)表示。設(shè)定樣本x，x+為正樣本對(duì)，x，x-是負(fù)樣本對(duì)，sim(·)為樣本間相似度，對(duì)比式方法的目的是學(xué)習(xí)網(wǎng)絡(luò)映射f使得sim(f(x),f(x+)) ?sim(f(x),f(x-))。特征表示對(duì)比學(xué)習(xí)通過(guò)比較特征表示來(lái)更新學(xué)習(xí)，通過(guò)網(wǎng)絡(luò)無(wú)監(jiān)督地得到樣本的特征表示，對(duì)比樣本之間的特征表示，將同類相似的樣本映射得更緊密，將不同類的樣本映射得更遠(yuǎn)[15]。因此，對(duì)比學(xué)習(xí)使用相似性的度量標(biāo)準(zhǔn)來(lái)衡量樣本的映射距離。對(duì)比學(xué)習(xí)在代理任務(wù)中無(wú)監(jiān)督地進(jìn)行訓(xùn)練從而優(yōu)化模型的特征提取能力，這一過(guò)程稱為特征表示預(yù)訓(xùn)練，特征表示預(yù)訓(xùn)練能夠提高網(wǎng)絡(luò)特征提取能力從而優(yōu)化后續(xù)算法的性能效果。SimCLR是一種特征表示對(duì)比學(xué)習(xí)算法，通過(guò)在隱空間中計(jì)算對(duì)比損失，不斷減小相似樣本數(shù)據(jù)間的度量距離來(lái)學(xué)習(xí)特征表示[16]，算法流程如圖1所示。

圖1 SimCLR算法流程圖Fig.1 Flowchart of SimCLR algorithm

1.2 深度Q學(xué)習(xí)網(wǎng)絡(luò)(DQN)原理

強(qiáng)化學(xué)習(xí)訓(xùn)練以神經(jīng)網(wǎng)絡(luò)為基本結(jié)構(gòu)的智能體學(xué)習(xí)如何獲得最大長(zhǎng)期回報(bào)獎(jiǎng)勵(lì)的行動(dòng)策略[17]。Q 學(xué)習(xí)(Q-Learning)是一種與模型無(wú)關(guān)的強(qiáng)化學(xué)習(xí)算法[18]，它以馬爾科夫決策過(guò)程(MDP)為理論基礎(chǔ)。馬爾科夫決策過(guò)程可以用一個(gè)五元組(s，a，P，R，γ)來(lái)表示，其中，s為狀態(tài)、a為動(dòng)作、P為狀態(tài)轉(zhuǎn)移概率函數(shù)、R為回報(bào)、γ為折扣因子，用于確定當(dāng)前回報(bào)和長(zhǎng)期回報(bào)的比例。Q學(xué)習(xí)中通過(guò)Q函數(shù)計(jì)算Q值作為每一步動(dòng)作的價(jià)值，從而評(píng)估并學(xué)習(xí)最優(yōu)動(dòng)作策略。Q學(xué)習(xí)的另一個(gè)理論基礎(chǔ)為貝爾曼方程(Bellman equation)。

根據(jù)每一次獲得的回報(bào)R和折扣因子γ，可以得到累積的回報(bào)公式[19]：

式中：Rt+n+1為當(dāng)前t步后第n+1 步的預(yù)期回報(bào)值。由此，狀態(tài)值函數(shù)的定義即期望的回報(bào)，價(jià)值隨著期望回報(bào)的上升而增加，從而對(duì)應(yīng)的動(dòng)作a也更值得執(zhí)行。狀態(tài)值函數(shù)V()s定義如下：

式中：E[]為條件期望。

式(2)為貝爾曼方程基本形態(tài)，它說(shuō)明當(dāng)前狀態(tài)s的價(jià)值與下一狀態(tài)st+1的價(jià)值以及當(dāng)前的回報(bào)R的關(guān)系。馬爾科夫決策的目標(biāo)是學(xué)習(xí)一個(gè)策略π，在每一個(gè)狀態(tài)s采取對(duì)應(yīng)的動(dòng)作a以獲得最優(yōu)的長(zhǎng)期累積回報(bào)。Q學(xué)習(xí)引入了Q函數(shù)來(lái)描述狀態(tài)s時(shí)采取動(dòng)作a后獲得累積回報(bào)的折算值，Q函數(shù)公式如下：

式中：π(a|s)為選擇每個(gè)動(dòng)作a的概率。因此，V(s)即為Q(s，a)的加權(quán)求和。根據(jù)貝爾曼最優(yōu)方程，采取最優(yōu)策略π得到V*和Q*值如下：

深度Q 學(xué)習(xí)(deep Q-Learning)利用深度神經(jīng)網(wǎng)絡(luò)DQN 來(lái)映射動(dòng)作與狀態(tài)之間的關(guān)系，從而解決Q 學(xué)習(xí)中面臨大量數(shù)據(jù)時(shí)所產(chǎn)生的維度問(wèn)題。同時(shí)，神經(jīng)網(wǎng)絡(luò)也不再依賴于傳統(tǒng)強(qiáng)化學(xué)習(xí)的手動(dòng)設(shè)計(jì)特征計(jì)，而是直接從原始數(shù)據(jù)中提取特征。此外，為消除樣本之間存在的關(guān)聯(lián)性，DQN 引入了經(jīng)驗(yàn)回放機(jī)制，隨機(jī)地采樣之前存儲(chǔ)的樣本來(lái)重新訓(xùn)練[20]。

DQN 模型使用深度神經(jīng)網(wǎng)絡(luò)逼近Q*值，權(quán)重θ作為網(wǎng)絡(luò)參數(shù)。通過(guò)減小均方誤差來(lái)迭代更新網(wǎng)絡(luò)參數(shù)θ，從而達(dá)到訓(xùn)練網(wǎng)絡(luò)的目的。損失函數(shù)L(θi)公式如下：

通過(guò)損失函數(shù)L(θi)對(duì)參數(shù)θ求導(dǎo)優(yōu)化網(wǎng)絡(luò)使得損失函數(shù)最小化，得到最優(yōu)策略π以收獲最大長(zhǎng)期回報(bào)。

2 基于無(wú)監(jiān)督特征表示深度Q 學(xué)習(xí)的故障診斷方法

為了能在小樣本條件下，端到端地實(shí)現(xiàn)滾動(dòng)軸承高精度故障識(shí)別，本文作者提出了一種基于無(wú)監(jiān)督特征表示深度Q 學(xué)習(xí)的故障診斷方法，方法的整體結(jié)構(gòu)框架如圖2所示。

圖2 所提故障診斷方法的整體結(jié)構(gòu)框圖Fig.2 Overall structure diagram of proposed fault diagnosis method

首先，基于數(shù)據(jù)增強(qiáng)算法實(shí)現(xiàn)訓(xùn)練集擴(kuò)充，通過(guò)無(wú)參數(shù)化剪切翻轉(zhuǎn)的方式，以極低的計(jì)算成本構(gòu)造了拓展數(shù)據(jù)集。其次，通過(guò)SimCLR算法無(wú)監(jiān)督地對(duì)比特征表示，對(duì)深度Q 學(xué)習(xí)殘差網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，從而優(yōu)化網(wǎng)絡(luò)提取特征的能力，對(duì)同類樣本的特征表示相似性更高。最后，利用預(yù)訓(xùn)練完成的殘差網(wǎng)絡(luò)作為深度Q 學(xué)習(xí)網(wǎng)絡(luò)，對(duì)振動(dòng)信號(hào)數(shù)據(jù)集進(jìn)行分類識(shí)別。利用強(qiáng)化學(xué)習(xí)經(jīng)驗(yàn)回放機(jī)制，消除樣本間的關(guān)聯(lián)并彌補(bǔ)樣本不足的缺陷。最終實(shí)現(xiàn)了小樣本下的高準(zhǔn)確率的軸承故障診斷。

2.1 數(shù)據(jù)增強(qiáng)算法對(duì)振動(dòng)信號(hào)訓(xùn)練集的擴(kuò)充

將原始的振動(dòng)信號(hào)整理劃分為訓(xùn)練集和測(cè)試集后，根據(jù)數(shù)據(jù)增強(qiáng)算法SDA[21]對(duì)振動(dòng)信號(hào)的剪切翻轉(zhuǎn)方法來(lái)對(duì)訓(xùn)練集進(jìn)行擴(kuò)充。剪切翻轉(zhuǎn)共5種方法，分別為水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、中心翻轉(zhuǎn)、數(shù)據(jù)鏡像和數(shù)據(jù)重復(fù)，將其應(yīng)用于同一標(biāo)簽下的數(shù)據(jù)，無(wú)需選擇參數(shù)。每條數(shù)據(jù)的樣本點(diǎn)數(shù)設(shè)定為N，振動(dòng)信號(hào)Y=[y1,y2,y3,…,yN]，并將其平均拆分成2段，表示為YL=[y1,y2,…,yN/2]和YR=[yN/2+1,yN/2+2,…,yN]。

1)水平翻轉(zhuǎn)。將振動(dòng)信號(hào)按豎直中心線左右翻轉(zhuǎn)，表示為

2)垂直翻轉(zhuǎn)。將振動(dòng)信號(hào)按水平中心線上下翻轉(zhuǎn)，表示為

3)中心翻轉(zhuǎn)。將振動(dòng)信號(hào)按中心點(diǎn)對(duì)稱翻轉(zhuǎn)，即同時(shí)水平與對(duì)稱翻轉(zhuǎn)，表示為

4)數(shù)據(jù)鏡像。以中心點(diǎn)為對(duì)稱，將YL或YR鏡像地復(fù)制到另一側(cè)，表示為

5)數(shù)據(jù)重復(fù)。以中心點(diǎn)為分界，將YL或YR平移復(fù)制到另一側(cè)，表示為

2.2 無(wú)監(jiān)督對(duì)比特征表示預(yù)訓(xùn)練深度Q網(wǎng)絡(luò)

深度Q學(xué)習(xí)下采用特征表示SimCLR算法對(duì)殘差網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，通過(guò)預(yù)訓(xùn)練學(xué)習(xí)樣本的高維特征表示。基于無(wú)監(jiān)督對(duì)比學(xué)習(xí)SminCLR 學(xué)習(xí)和構(gòu)建樣本的特征表示空間，將樣本映射到特征表示空間，從而為下游任務(wù)，即基于深度Q 學(xué)習(xí)的故障模式識(shí)別提供良好的特征表示，加快了深度Q學(xué)習(xí)訓(xùn)練速度，簡(jiǎn)化了計(jì)算成本，提高計(jì)算效率。

預(yù)訓(xùn)練過(guò)程由4個(gè)部分組成：

1)輸出正對(duì)樣本。深度Q 學(xué)習(xí)的環(huán)境根據(jù)擴(kuò)充訓(xùn)練集，隨機(jī)采樣并輸出2 個(gè)同類正對(duì)樣本批次。

2)提取表示向量。利用神經(jīng)網(wǎng)絡(luò)f(·)對(duì)批次樣本進(jìn)行特征提取，得到表示向量hi和hj，采用深度Q學(xué)習(xí)的殘差網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)。

3)映射表示向量。將表示向量映射到計(jì)算對(duì)比損失的空間。

4)計(jì)算對(duì)比損失。通過(guò)定義的對(duì)比損失函數(shù)代入zi和zj，反向傳播更新殘差網(wǎng)絡(luò)參數(shù)，優(yōu)化網(wǎng)絡(luò)的特征表示能力，以提高同類樣本特征表示之間的相似度。

在深度Q學(xué)習(xí)環(huán)境中隨機(jī)采樣得到2個(gè)N批次共2N條樣本，同類樣本相似度用zi和zj的點(diǎn)積表示：即余弦相似度。因此，正對(duì)樣本(i，j)的對(duì)比損失函數(shù)定義為

式中：Qk≠i∈{0,1}為指標(biāo)函數(shù)，當(dāng)k≠i時(shí)，取值為1；δ為溫度參數(shù)。最后采用2N條樣本計(jì)算所有的正對(duì)樣本(i，j)和(j，i)的對(duì)比損失，求和即為總損失值[22]。

2.3 深度Q學(xué)習(xí)算法對(duì)振動(dòng)信號(hào)的分類識(shí)別

深度Q 學(xué)習(xí)網(wǎng)絡(luò)采用殘差網(wǎng)絡(luò)結(jié)構(gòu)。殘差網(wǎng)絡(luò)由多個(gè)殘差塊組合搭建而成，相比于傳統(tǒng)CNN模型，能有效地增加網(wǎng)絡(luò)深度并且避免過(guò)擬合、梯度消失或爆炸等問(wèn)題[22]。通過(guò)無(wú)監(jiān)督特征對(duì)比SimCLR算法完成對(duì)深度Q學(xué)習(xí)殘差網(wǎng)絡(luò)的預(yù)訓(xùn)練后，在網(wǎng)絡(luò)的特征提取器下構(gòu)建新的全連接層，成為深度Q 學(xué)習(xí)算法的分類網(wǎng)絡(luò)。以全連接層輸出每個(gè)動(dòng)作對(duì)應(yīng)的Q值為依據(jù)來(lái)選擇最大Q值的動(dòng)作為輸出類別，公式定義如下：

式中：Zi為最終得到的Q值；σ為ReLU激活函數(shù)；Flatten(·)為將數(shù)據(jù)平鋪到一維的操作；wf為全連接層的權(quán)重；b為偏置參數(shù)。

同時(shí)，基于增強(qiáng)后的數(shù)據(jù)集搭建強(qiáng)化學(xué)習(xí)環(huán)境，該環(huán)境可以隨機(jī)采樣輸出狀態(tài)s，即振動(dòng)樣本數(shù)據(jù)，分類網(wǎng)絡(luò)根據(jù)狀態(tài)s輸出類別，視為動(dòng)作a，環(huán)境根據(jù)得到的動(dòng)作反饋判斷回報(bào)，輸出下一次動(dòng)作s′和回報(bào)值r。選擇動(dòng)作時(shí)，應(yīng)用貪婪算法來(lái)幫助網(wǎng)絡(luò)進(jìn)行試錯(cuò)，按概率ε隨機(jī)地選擇動(dòng)作來(lái)提高網(wǎng)絡(luò)的前期訓(xùn)練效率，概率ε定義如下：

式中：ε1為初始概率；nt為當(dāng)前訓(xùn)練輪次；Nt為總訓(xùn)練輪次。將(s，a，r，s′)作為一條經(jīng)驗(yàn)儲(chǔ)存到經(jīng)驗(yàn)回放池，后續(xù)在回放池隨機(jī)采批次樣本重新訓(xùn)練，提高模型的學(xué)習(xí)效率。

綜上可知，小樣本下的基于無(wú)監(jiān)督特征表示深度Q 學(xué)習(xí)的智能診斷方法整體流程圖如圖3所示。

圖3 故障診斷算法流程圖Fig.3 Flowchart of fault diagnosis algorithm

3 實(shí)驗(yàn)驗(yàn)證

3.1 對(duì)比算法介紹

為驗(yàn)證本文所提出算法的有效性，將本文算法與3種典型的智能故障診斷算法進(jìn)行對(duì)比。第一種是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的故障診斷算法，卷積神經(jīng)網(wǎng)絡(luò)在智能故障診斷方向應(yīng)用廣泛，特征提取能力強(qiáng)；第二種是基于傳統(tǒng)的深度Q 網(wǎng)絡(luò)(DQN)的故障診斷算法，該方法是以CNN 為基本結(jié)構(gòu)的強(qiáng)化學(xué)習(xí)算法；第三種是基于殘差神經(jīng)網(wǎng)絡(luò)(ResNet)故障診斷算法。本實(shí)驗(yàn)的殘差網(wǎng)絡(luò)的結(jié)構(gòu)與本文算法包含的殘差網(wǎng)絡(luò)的結(jié)構(gòu)一致，區(qū)別在于本文算法通過(guò)無(wú)特征表示對(duì)比預(yù)訓(xùn)練殘差網(wǎng)絡(luò)，并通過(guò)強(qiáng)化學(xué)習(xí)思維訓(xùn)練基于殘差網(wǎng)絡(luò)的智能體。ResNet 和CNN 模型的結(jié)構(gòu)與參數(shù)如圖4 所示。本實(shí)驗(yàn)將采用滾動(dòng)軸承故障的SQ數(shù)據(jù)集和綜合故障模擬數(shù)據(jù)集分別設(shè)計(jì)2 個(gè)任務(wù)進(jìn)行實(shí)驗(yàn)驗(yàn)證。

圖4 ResNet和CNN模型結(jié)構(gòu)與參數(shù)Fig.4 Structure and parameters of ResNet and CNN

3.2 實(shí)驗(yàn)1：SQ數(shù)據(jù)集

實(shí)驗(yàn)1利用Spectral Quest公司的故障模擬試驗(yàn)臺(tái)進(jìn)行電機(jī)軸承的故障模擬，該試驗(yàn)臺(tái)結(jié)構(gòu)主要由電機(jī)、轉(zhuǎn)子以及負(fù)載組成，如圖5所示，信號(hào)數(shù)據(jù)的采集通過(guò)安裝在驅(qū)動(dòng)端的加速度傳感器和數(shù)字采集儀進(jìn)行。采樣頻率為25.6 kHz，電機(jī)轉(zhuǎn)頻為39.05 Hz。

圖5 SQ故障模擬試驗(yàn)臺(tái)Fig.5 Test bench of SQ fault simulator

本實(shí)驗(yàn)為模擬滾動(dòng)軸承不同故障程度以及類型，分別設(shè)置輕度內(nèi)圈故障(IF_1)、中度內(nèi)圈故障(IF_2)、重度內(nèi)圈故障(IF_3)、輕度外圈故障(OF_1)、中度外圈故障(OF_2)和重度外圈故障(OF_3)這6 種不同的故障，如圖6 所示。此外，為了比較，將健康軸承設(shè)為正常狀態(tài)(NC)。

圖6 SQ軸承故障缺陷Fig.6 Image of SQ bearings fault defects

從SQ試驗(yàn)臺(tái)采集到的振動(dòng)信號(hào)數(shù)據(jù)整理成數(shù)據(jù)集，每個(gè)樣本包含1 024 個(gè)數(shù)據(jù)點(diǎn)，共7 類，劃分為訓(xùn)練集和測(cè)試集。為保證所提出的算法在小樣本條件下的性能，訓(xùn)練集中包含每類10個(gè)樣本，測(cè)試集中包含每類210個(gè)樣本，共有1 540個(gè)樣本。訓(xùn)練集樣本量只占總數(shù)據(jù)集的4.55%，滿足小樣本條件。

選取Adam優(yōu)化器在對(duì)比學(xué)習(xí)預(yù)訓(xùn)練和故障識(shí)別訓(xùn)練中更新網(wǎng)絡(luò)，學(xué)習(xí)率分別為0.000 1和0.000 5。折扣因子設(shè)置為0.8，網(wǎng)絡(luò)訓(xùn)練設(shè)置500 個(gè)循環(huán)輪數(shù)，回報(bào)分?jǐn)?shù)值范圍設(shè)置在[-30～30]之間。貪婪算法的初值設(shè)置為0.35，并均勻增加在500個(gè)訓(xùn)練輪數(shù)后達(dá)到1。在每個(gè)訓(xùn)練輪次中，經(jīng)驗(yàn)池容量設(shè)置為20，隨機(jī)采樣批次設(shè)置為7。回報(bào)分?jǐn)?shù)變化曲線、混淆矩陣和t-SNE 可視化散點(diǎn)圖如圖7 所示。由圖7可以看出：隨著訓(xùn)練的進(jìn)行，所提出的算法的回報(bào)值逐漸上升，在500輪后達(dá)到最大，證明訓(xùn)練時(shí)模型收斂穩(wěn)定，并在本次實(shí)驗(yàn)測(cè)試任務(wù)中表現(xiàn)了良好的性能，清晰地區(qū)分了類與類的邊界，診斷準(zhǔn)確率達(dá)到99.59%。

圖7 實(shí)驗(yàn)1分?jǐn)?shù)曲線、混淆矩陣和t-SNE可視化結(jié)果Fig.7 Result of reward curve,confusion matrix and t-SNE visualization in Case 1

此外，在相同的條件下，比較本文算法與基于CNN，DQN和ResNet的故障診斷算法的平均準(zhǔn)確率、準(zhǔn)確率標(biāo)準(zhǔn)偏差、耗時(shí)和參數(shù)，對(duì)比結(jié)果如表1 所示。從表1 可以看出：由于訓(xùn)練樣本不足，基于CNN和ResNet的診斷方法難以確定類與類之間的邊界，從而無(wú)法有效地對(duì)故障進(jìn)行識(shí)別。由于內(nèi)部CNN 層數(shù)的限制以及缺乏適當(dāng)有效的預(yù)訓(xùn)練，基于DQN算法的精度最高僅為77.82%。而本文所提出的基于對(duì)比學(xué)習(xí)和強(qiáng)化學(xué)習(xí)結(jié)合診斷算法的故障識(shí)別精度高達(dá)99.59%，計(jì)算效率比其他方法的計(jì)算效率增加了約2 s，但準(zhǔn)確率提高了10%以上，證明了所提出的方法的有效性。同時(shí)，本文算法的準(zhǔn)確率標(biāo)準(zhǔn)差遠(yuǎn)小于其他方法的準(zhǔn)確率標(biāo)準(zhǔn)差，證明了算法的穩(wěn)定性。

表1 實(shí)驗(yàn)1不同算法結(jié)果對(duì)比Table 1 Comparison results of different algorithms in Case 1

3.3 實(shí)驗(yàn)2：機(jī)械綜合故障模擬數(shù)據(jù)集

實(shí)驗(yàn)2利用機(jī)械故障綜合模擬試驗(yàn)臺(tái)進(jìn)行滾動(dòng)軸承的故障模擬，該試驗(yàn)臺(tái)結(jié)構(gòu)如圖8所示，主要由電機(jī)、齒輪箱、加速度傳感器以及數(shù)據(jù)采集儀組成。

圖8 機(jī)械故障綜合模擬試驗(yàn)臺(tái)Fig.8 Mechanical fault comprehensive simulation test bench

為檢驗(yàn)本文提出的算法對(duì)更復(fù)雜、更多樣的故障類型的診斷性能，模擬4種滾動(dòng)軸承故障，如圖9 所示。采樣頻率設(shè)定為5 kHz，電機(jī)轉(zhuǎn)速設(shè)置為500 r/min。

圖9 綜合試驗(yàn)臺(tái)軸承缺陷Fig.9 Bearing defects diagram of comprehensive test bench

將采集到的振動(dòng)信號(hào)數(shù)據(jù)整理成數(shù)據(jù)集，每個(gè)樣本包含5 類，共1 024 個(gè)數(shù)據(jù)點(diǎn)，劃分為訓(xùn)練集和測(cè)試集，訓(xùn)練集中包含每類10 個(gè)樣本，測(cè)試集中包含每類110個(gè)樣本。

實(shí)驗(yàn)2 也選取Adam 優(yōu)化器更新網(wǎng)絡(luò)參數(shù)，算法網(wǎng)絡(luò)的參數(shù)設(shè)置與實(shí)驗(yàn)1的相同。經(jīng)過(guò)500次訓(xùn)練，網(wǎng)絡(luò)回報(bào)達(dá)到最高值。最后，在測(cè)試集診斷任務(wù)中，診斷準(zhǔn)確率達(dá)到97.45%，回報(bào)變化曲線、混淆矩陣和t-SNE 可視化散點(diǎn)圖如圖10 所示，由于本次實(shí)驗(yàn)故障狀況復(fù)雜且相似度高，并且在低頻轉(zhuǎn)速下進(jìn)行，因此，散點(diǎn)圖中一些特征沒(méi)有得到有效區(qū)分，略顯混亂。(a)回報(bào)分?jǐn)?shù)曲線圖；(b)混淆矩陣；(c)t-SNE可視化

圖10 實(shí)驗(yàn)2分?jǐn)?shù)曲線、混淆矩陣和t-SNE可視化結(jié)果Fig.10 Result of reward curve,confusion matrix and t-SNE visualization in Case 2

同樣地，在相同的實(shí)驗(yàn)條件下，比較本文算法與基于CNN、DQN和ResNet的故障智能診斷算法的平均準(zhǔn)確率、準(zhǔn)確率標(biāo)準(zhǔn)偏差、耗時(shí)和參數(shù)。對(duì)比結(jié)果如表2所示，從表2可見(jiàn)：本文算法的精度略有下降，主要原因在于滾動(dòng)體故障和外圈故障具有一定的相似性(見(jiàn)圖10)，容易混淆。同時(shí)，復(fù)雜的工作條件導(dǎo)致實(shí)驗(yàn)2的信噪比較實(shí)驗(yàn)1的更低，從而使實(shí)驗(yàn)2 的復(fù)雜性上升。基于CNN 和ResNet的算法的準(zhǔn)確率與實(shí)驗(yàn)1的相近，但效果依舊較差。由于復(fù)雜性的提高，基于DQN 的算法的精度有一定的下降，說(shuō)明基于DQN 的算法不足以完成復(fù)雜的故障識(shí)別任務(wù)。本文算法雖耗時(shí)增加近1 s，但準(zhǔn)確率仍提高了10%以上，準(zhǔn)確度標(biāo)準(zhǔn)差也比其他方法的小。綜上所述，本文所提出的基于無(wú)監(jiān)督特征表示深度Q 學(xué)習(xí)的智能診斷算法優(yōu)于其他3種智能診斷算法，具有良好的診斷能力和更強(qiáng)的泛化能力。

表2 實(shí)驗(yàn)2不同算法結(jié)果對(duì)比Table 2 Comparison results of different algorithms in Case 2

4 結(jié)論

1)為解決軌道交通故障軸承數(shù)據(jù)樣本嚴(yán)重不足從而故障識(shí)別困難的問(wèn)題，提出一種小樣本下的基于無(wú)監(jiān)督特征表示深度Q 學(xué)習(xí)的智能診斷方法。該方法包括利用數(shù)據(jù)增強(qiáng)對(duì)訓(xùn)練集擴(kuò)充、基于殘差網(wǎng)絡(luò)利用無(wú)監(jiān)督特征表示SimCLR算法進(jìn)行預(yù)訓(xùn)練和深度Q 學(xué)習(xí)算法實(shí)現(xiàn)故障識(shí)別分類。將該算法應(yīng)用于SQ 數(shù)據(jù)集和綜合故障模擬數(shù)據(jù)集，可實(shí)現(xiàn)不同故障類別、故障程度軸承的識(shí)別分類。

2)與其他智能算法相對(duì)比，本文提出的算法在分類準(zhǔn)確率上有一定幅度的提高，具有有效性和優(yōu)越性。

3)在基于無(wú)監(jiān)督特征表示深度Q 學(xué)習(xí)的智能故障診斷方法的基礎(chǔ)上，如何進(jìn)行故障準(zhǔn)確定位是所提算法需改進(jìn)的重要方向。