深度概率優化的VAE軸承狀態評估

尹愛軍，陳小敏，譚 建，王 昱

(1.重慶大學 機械傳動國家重點實驗室，機械工程學院，重慶 4000442.中國石油西南油氣田分公司重慶氣礦，重慶 400021)

軸承是通用機械中最常用的組件之一[1]，其工作狀態影響了各領域機械的壽命、性能、可靠性等。研究軸承的性能退化特征，建立其狀態評估模型是提升機械設備可靠性的關鍵。針對軸承狀態評估模型的建立，目前已有不少研究方法[2-6]。劉國增等[7]將小波包AR能量熵與平滑樣條方法相結合用于判定軸承的退化狀況。張小強等[8]基于人工免疫算法優化離散隱馬爾科夫模型，以提高故障診斷精度。劉美芳等[9]融合貝葉斯推論和自組織映射，提出了基于負對數似然概率的軸承性能退化評估指標。Pavle等[10]提出了一種基于Renyi熵的軸承故障預測方法。在現有的軸承狀態評估方法中，基于振動信號分析的評估模型需人為提取特征，但由于噪聲及非監測部位的干擾，所提取的特征往往不夠全面；基于數據驅動機器學習的狀態評估模型存在著評估效果依賴模型參數程度高、對軸承早期故障不敏感、過度擬合等問題。

變分自編碼器(variational auto-encoder，VAE)提出的優化算法及易優化的隨機梯度評估器使其在訓練小批量樣本上具備高效性，且無需人為提取數據特征。目前，VAE已經成為最流行的無監督學習方法之一[11]，被廣泛應用在人臉圖像生成[12]、手寫數字生成[13]、語義分割[14]等方面。在機械故障檢測中，馬波等[15]以VAE變分證據下界表征出壓縮機組振動信號特征的分布模型，實現壓縮機組的故障預警，但當樣本容量大于600組時，該方法對壓縮機組異常狀態的敏感性降低。由于VAE后驗分布的簡化高斯假設以及通過優化變分證據下界(evidence lower bound,ELBO)實現最大化邊緣概率密度，導致邊緣概率分布的估算值與真實值之間存在一定誤差，且當樣本容量過大時，對異常數據的敏感度較低。

構造豐富靈活的近似后驗分布有助于提高模型性能以及提供可靠的置信區間。已經嘗試通過使用自回歸將近似后驗視為條件分布鏈分解的方法來改善近似后驗分布[16]。但由于真實后驗分布的復雜度，上述方法仍具有局限性。基于深度概率優化(deep probability optimization，DPO)，考慮將分布變換引入VAE，通過構造靈活復雜的近似后驗分布來逼近真實后驗分布。本文采用標準化流(normalizing flows，NF)完成分布變換過程，標準化流利用一系列可優化的可逆映射，將原始分布轉換為任意復雜分布，可用于強化學習、變分推斷、生成模型等。如Salman等[17]提出了深度微分同態標準化流模型，能有效實現似然評估和靈活的密度估計。通過Normalizing Flows改進VAE，很大程度上能捕獲真實后驗分布。但VAE的邊緣概率密度值仍難以直接準確估算，一般通過對數似然估計器核密度估計法(Kernel Density Estimation，KDE)來實現。但KDE由于先驗分布和真實后驗分布有著較大差異，在高維數據中估計的準確率較低。考慮通過優化采樣算法優化邊緣概率密度計算過程，其中退火重要性采樣(annealed importance sampling，AIS)在估計基于解碼的生成模型的概率分布中，有著較高的準確率，主要應用在估計狀態期望以及歸一化常數等方面[18],如Wu等[19]基于AIS實現手寫數字圖像的識別。

本文將分布變換引入到VAE中并融合優化采樣算法，提出面向振動信號頻譜特性的VAE-DPO軸承健康狀態評估模型，該模型以頻譜的邊緣概率密度作為軸承健康評價指標。基于深度概率優化，針對VAE后驗分布的簡化高斯假設，利用分布變換優化近似后驗分布，并通過Normalizing Flows實現，NF運用可優化的雙射變換來構造豐富靈活的近似后驗分布，最后利用優化采樣算法中的AIS實現邊緣概率密度的優化計算。通過滾動軸承狀態評估實例驗證了該模型在軸承狀態評估中的有效性及良好的早期敏感性。

1 VAE

VAE有向概率圖如圖1所示。實線為生成模型pθ(z)pθ(x(j)|z)，虛線表示近似后驗分布qφ(z|x(j))到真實后驗分布pθ(z|x(j))，N表示推斷的次數。

圖1 VAE有向概率圖Fig.1 Directed probability chart of VAE

VAE試圖通過訓練將生成的每個x(j)的概率最大化x(j)，即極大化概率密度函數pθ(x(j))的似然概率：

(1)

式中：指定先驗分布pθ(z)=N(z;0,I)，I為單元陣，Ez～pθ(z)[pθ(x(j)|z)]表示pθ(x(j)|z)的期望。VAE利用衡量兩分布之間差異程度的KL散度，將優化目標極大化lgpθ(x(j))轉為極大化變分證據下界函數L(θ,φ;x(j))：

L(θ,φ;x(j))=Εz～qφ(z|x(j))[lgpθ(x(j)|z)]-DKL[qφ(z|x(j))‖pθ(z)]

(2)

式中：-Εz～qφ(z|x(j))[lgpθ(x(j)|z)]表示重構誤差，DKL[qφ(z|x(j))‖pθ(z)]為KL散度損失，且qφ(z|x(j))=N(z;μ(j),(σ(j))2)。為解決參數φ在L(θ,φ;x(j))中不便于梯度計算的問題，VAE用輔助噪聲變量ε～N(0,I)實現重參數化技巧，即z=μ+σε。

2 基于VAE-DPO的軸承健康評估

2.1 深度優化VAE近似后驗分布

VAE變分推斷中，近似后驗分布簡化為高斯分布，一般的高斯分布無法擬合足夠復雜的后驗分布。通過分布變換構造復雜靈活的VAE近似后驗分布，改進后的VAE有向概率圖如圖2。經過一系列鏈式分布變換，初始近似后驗分布變換的更加復雜，能有效逼近真實后驗分布，初始分布下的隱變量Z0被映射為Zk。其余部分與圖1概念相同。

圖2 VAE近似后驗分布深度優化后有向概率圖Fig.2 Directed probability chart after deep optimization of VAE approximate posterior distribution

本文應用Normalizing Flows完成分布變換過程，標準化流通過參數化的可逆變換構造復雜靈活分布。

經由K次鏈式非線性變換序列f(z)=z+uh(wTz+b)，任意初始分布q0(z0)轉化為任意復雜連續分布qK(zK)：

zK=fK°…°f2f1(z0)

(3)

其中λ={w∈d,u∈d,b∈d}是需要學習的自由參數，h(·)是連續的非線性映射[20]。初始隨機變量z0變換為最終變量zK。

將Normalizing Flows運用于變分推斷，使用長度為K鏈式映射f(z)，近似后驗分布qφ(z|x(j))變換為更靈活的qK(zK)。初始分布q0(z0)=q0(z0|x(j))仍是簡單高斯分布N(z;μ(j),(σ(j))2)，利用深度神經網絡建立從觀測數據X到初始分布q0(z0)的參數以及λ參數的映射。Normalizing Flows改寫式(2)變分證據下界，且轉換為在初始分布q0(z0)上的期望：

L(θ,φ;x(j))=Eqφ(z|x(j))[lgpθ(x(j),z)-lgqφ(z|x(j))]=

(4)

Normalizing Flows改進VAE，獲得靈活豐富的近似后驗分布，且僅需要對VAE做極小修改。

2.2 基于AIS的VAE邊緣概率密度評價指標

由于邊緣概率密度p(x)難以直接計算，因此基于變分自編碼器的機械設備狀態評估方法通常將變分證據下界L(θ,φ;x(j))作為機械設備健康狀態指標。然而直接以變分證據下界為優化目標，模型性能不理想，且可能造成優化前后的先驗分布差異較大。為優化觀測數據x邊緣概率密度的計算，利用KDE、AIS等方法。但KDE無一系列中間過渡分布，在高維數據估計中準確率較低。AIS將一系列中間分布逐漸轉變為目標分布，通過馬爾科夫鏈躍遷進行退火序列，定義重要性采樣，獲得后驗分布樣本，實現對邊緣概率密度的優化計算。

基于退火算法，設r0(z)=p(x,z)為目標分布，VAE先驗分布p(z)為AIS初始采樣分布ri(z)，定義中間分布：

ri(z)=p(z)p(x|z)βi

(5)

式中：0=βn<βn-1<…<β1<β0=1，βi單調遞增。設一系列分布gn，…g0，gi與ri成比例，且從gn采樣能生成一系列獨立的點。指定可逆馬爾可夫蒙特卡洛(MCMC)狀態轉移矩陣Ai(z,z′)，要求保持gi不變。基于AIS的p(x)估計從初始分布gn采樣一個初始狀態zn-1，并利用狀態轉移矩陣Ai不斷采樣下一個狀態，采樣的狀態zi服從中間分布ri。根據馬爾科夫鏈性質，一系列平滑的采樣產生一系列點zn-1，zn-2，…z1，z0，從而得到權重:

(6)

(7)

2.3 VAE-DPO軸承狀態評估模型

人為提取振動信號特征會造成信息量的損失，而信號頻域幅值譜在歐式空間具有更為穩定的概率分布，本文采用振動信號幅值譜作為觀測數據。所提出的基于深度概率優化的評估模型通過建立振動信號頻譜的貝葉斯概率推斷模型并利用分布變換優化分布，通過優化采樣算法對振動信號頻譜高維空間中真實復雜概率分布的精確逼近，實現對振動信號狀態的定量評估。

VAE-DPO軸承健康狀態評估模型流程如圖3所示。

圖3 VAE-DPO軸承健康狀態評估流程Fig.3 VAE-DPO bearing condition evaluation process

1)為降低原始信號數據規模，并避免信息量的損失，將振動信號時域信號轉換為頻域信號X(f)。根據軸承退化規律，軸承服役過程為緩慢退化過程，在運行初期其振動特性基本不變[21-22]。因將樣本數據前期階段作為訓練集用于學習健康狀態模型，測試集為所有樣本數據。

2)輸入訓練集數據XA(f)，訓練并優化VAE模型參數，其中利用Normalizing Flows優化近似后驗分布。

3)輸入測試數據集振動信號全頻譜X(f)，傳入訓練完畢且分布優化后的VAE，并保存p(z)、p(x|z)參數。

4)接著AIS從p(z)中采樣初始值，利用接受-拒絕采樣方法實現中間分布樣本采樣，通過一系列中間分布過渡到目標分布。由AIS權重期望值優化計算軸承健康評價指標p(x)，實現軸承健康狀態評估。

在運行的前期階段軸承處于正常狀態，如圖3中x振動信號頻譜圖A階段。因此，A階段振動信號頻譜作為訓練集，學習建立健康狀態模型。即輸入XA(f)后，使用Adam梯度優化算法獲取軸承健康狀態下引入分布變換后VAE的最優參數。在測試階段，將數據X(f)輸入改進后的VAE模型，并保存相關參數后，AIS利用Metropolis-Hastings采樣樣本并同時以幾何平均形式的轉移中間分布過渡到目標分布。計算權重的期望從而精確估計健康評價指標p(x)，完成優化計算過程，實現軸承健康狀態定量評估。

3 對比實驗

為驗證VAE-DPO模型及所提健康評估指標對軸承狀態評估的有效性，采用Cincinnati大學IMS實驗室開源滾動軸承加速退化實驗的實驗數據進行對比實驗[23]。試驗臺轉速恒為2000RPM。采用加速度傳感器分別采集4個軸承振動信號數據，其中采樣頻率為20 kHz，每隔10 min采集一次。歷時9 840 min，軸承1出現故障，停止試驗。VAE模型具體參數設置如表1。

表1 VAE模型參數設置Tab.1 Parameters setting up of VAE

軸承1在運行9 840 min后出現外圈故障，利用其全壽命數據驗證所提方法的有效性。軸承振動信號時域特征隨時間變化趨勢及與VAE-DPO模型對比如圖4。為使評估結果對比清晰，利用1減去歸一化處理后的評估指標值。由時域特征退化曲線知，在軸承前期階段曲線保持穩定，可以認為軸承在前4 500 min未出現退化。因此，在模型訓練階段采用前1 000 min數據，利用VAE學習建立軸承健康狀態模型；振動信號全頻譜數據為測試集，由此得到基于VAE-DPO模型的健康評估結果。

由圖4可以看出，VAE-DPO狀態評估趨勢與振動信號有效值、方根幅值一致，表明該模型的準確性，能很好的表征出滾動軸承退化狀況的規律。相對有效值、方根幅值，VAE-DPO提早1 800 min產生變化，在約5 190 min時，曲線發生明顯上升走向。表明VAE-DPO相對傳統特征參數，能更早發現軸承早期退化狀態。

圖4 VAE-DPO與傳統健康模型評估結果對比Fig.4 Comparison of VAE-DPO and traditional health model evaluation results

為驗證分布變換后的VAE近似后驗分布更加靈活復雜，能表征真實的隱變量空間，比較Normalizing Flows改進VAE模型前后的變分證據下界[24]。由軸承1時域特征變化趨勢，將軸承運行全過程前4 200 min設為健康狀態，并取ELBO均值，退化時期選取5 190 min時刻對比，如表2。其中FVAE表示NF優化后的VAE模型。

表2 變分證據下界比較Tab.2 Comparison of the evidence lower bound

VAE在健康狀態時ELBO值越大模型性能越好，在退化時期隱變量逐漸偏離原始分布，ELBO值降低。表2所示，FVAE的變分證據下界值在健康狀態時高于VAE，而在退化時期低于VAE。說明將分布變換引入VAE后，通過優化分布改善了模型性能，能更有效的通過隱變量學習軸承振動信號頻譜潛在特征。

VAE-DPO、FVAE-KDE、VAE和VAE-AIS狀態評估方法效果對比如圖5所示。深度信念網絡DBN(Deep Belief Networks)、隱馬爾科夫HMM(Hidden Markov Model)、長短期記憶網絡LSTM(Long Short-Term Memory)[25]與VAE-DPO模型評估結果如圖6所示。

圖5 VAE-DPO、FVAE-KDE、VAE和VAE-AIS狀態評估結果對比Fig.5 Comparison of VAE-DPO、FVAE-KDE、VAE and VAE-AIS evaluation results

圖6 VAE-DPO、HMM、DBN和LSTM狀態評估結果對比Fig.6 Comparison of VAE-DPO、HMM、DBN and LSTM evaluation results

為量化各模型對軸承早期故障的檢測性能，利用原則分別計算各模型軸承退化狀態在前4 200 min的健康狀態評估指標上界，超過此值即認為軸承進入早期退化時期，由此確定各模型發現軸承初始退化狀態時的時間，如表3所示。

表3 各模型早期退化狀態評估性能Tab.3 Early degradation state assessment performance of each model

圖5、圖6及表3表明，VAE在5 310 min時產生輕微變化，上升趨勢較平穩，說明VAE模型直接以變分下界為評估指標對軸承異常工況的敏感度較低。FVAE-KDE評估曲線在5 360 min時才發生突變，對軸承退化狀態較不敏感，尤其是軸承早期故障。說明AIS比KDE方法更能準確估計邊緣概率密度。VAE-DPO比VAE-AIS模型早10分鐘進入早期退化時期，且在軸承由健康狀態進入早期退化階段曲線表現出明顯突變。表明NF通過優化近似后驗分布達到改進VAE模型的目的。HMM和LSTM分別在5 320 min和5 370 min時才緩慢出現上升，雖然DBN在5 310 min時有較明顯的上升趨勢，但VAE-DPO在5 190 min便出現突變，曲線變化率明顯高于各個模型。表明VAE-DPO對于軸承早期退化狀態的敏感性均強于FVAE-KDE、VAE-AIS、VAE、HMM、DBN、LSTM。

圖7、圖8分別為軸承2、軸承4的退化對比實驗圖，各模型量化的初始退化時間如圖9所示。

圖7 軸承2的VAE-DPO、HMM、DBN和LSTM狀態評估結果對比Fig.7 Comparison of VAE-DPO、HMM、DBN and LSTM evaluation results of bearing 2

圖8 軸承4的VAE-DPO、HMM、DBN和LSTM狀態評估結果對比Fig.8 Comparison of VAE-DPO、HMM、DBN and LSTM evaluation results of bearing 4

圖9 軸承2、4的各模型早期退化狀態評估性能Fig.9 Early degradation state assessment performance of each model of bearing 2 and 4

由圖7～圖9可知，對軸承2和軸承4，VAE-DPO模型同樣對其早期退化狀態更為敏感，且其曲線變化趨勢更清晰的說明軸承退化過程。

4 結 論

盡早發現軸承退化狀態，更易了解軸承故障的根本原因，有利于避免機械設備發生突發故障。本文基于深度概率優化，引入分布變換到VAE中并結合優化采樣算法AIS構造VAE-DPO模型用于軸承健康狀態評估，進而提出基于邊緣概率密度的健康評價指標。VAE通過隱變量學習軸承振動信號頻譜數據的概率分布，但因為后驗分布的簡化假設，限制模型的表達能力。采用分布變換，通過Normalizing Flows使用一系列可逆映射變換，使近似后驗分布足夠逼近真實后驗分布，改善模型性能。由于邊緣概率密度的計算復雜性，本文利用優化采樣算法中的AIS優化計算振動信號邊緣概率密度，實現軸承健康狀態的評估。軸承退化對比實驗表明，該模型充分發揮了VAE在提取振動信號頻譜概率分布特征方面、Normalizing Flows構造靈活分布以及AIS通過采樣估計函數期望和逼近目標分布的優勢；且VAE-DPO模型無需人為提取特征及相關復雜參數的設置，避免提取特征時原始信號信息的損失，對早期退化也更為敏感，有效實現軸承退化狀態的定量評估。

本文研究分布變換優化VAE近似后驗分布，并采用標準化流實現；利用AIS獲得后驗分布樣本，完成p(x)優化計算。選取的方法過于局限，后續研究將著重考慮更多的流式結構或網絡結構應用在優化VAE近似后驗分布中，以及其余似然估計方法用于p(x)的優化計算。