基于自步學習的刀具加工過程監測數據異常檢測方法

張 建, 胡小鋒, 張亞輝

(上海交通大學 a. 機械與動力工程學院; b. 海洋裝備研究院, 上海 200240)

高附加值零件需要進行過程監控來保證其加工質量,而加工過程監測數據在采集過程中由于傳感器、采集和傳輸設備受環境影響大,導致數據中存在異常值[1].這些異常數據與真實數據有顯著差異,而刀具加工監測異常數據直接影響刀具剩余壽命預測的準確性.

數據異常檢測算法主要分為有監督和無監督算法.其中監督或者半監督的方法通過帶標簽的正常數據和異常數據來訓練分類模型.尚文利等[2]利用堆疊自編碼(SAE)神經網絡對工藝數據進行特征降維,然后設計長短期記憶(LSTM)神經網絡來進行異常檢測.夏英等[3]提出一種融合了新型統計方法和雙向卷積LSTM異常檢測方法,能夠處理多維時序數據.孫瀅濤等[4]對電力數據時間序列進行多域特征提取,并采用相關向量機和支持向量數據描述進行特征選擇降維和異常檢測.傅世元等[5]提出一種基于元學習動態選擇集成的電力調度數據異常檢測方法.有監督的異常檢測依賴于已知的異常樣本,但在加工監控過程中,首先實際生產加工的零件型號、使用的刀具多變,有異常標簽的數據樣本難以獲取,其次異常信號的來源復雜,無法獲取完備的異常數據來訓練異常檢測模型.

與有監督的算法不同,無監督異常檢測方法從數據樣本的統計規律[6]和樣本間的距離[7]出發.吳蕊等[8]結合數據對象的密集度與最大近鄰半徑, 優化K-means初始聚類中心, 在電力數據異常檢測上取得了優異的效果.吳金娥等[9]提出采用反向k近鄰算法實現異常數據檢測.陳硯橋等[10]基于密度的聚類算法(DBSCAN)實現了多源數據異常檢測.宋麗娜等[11]將局部異常因子(LOF)算法與互補集成經驗模態分解(CEEMD)法進行結合,識別監測數據的異常值.王峰等[12]針對電力調度數據異常,提出基于對數區間隔離的檢測方法.王燕晉等[13]基于孤立森林算法提出了一種電力用戶數據異常快速識別方法.然而基于聚類的異常檢測結果依賴聚類的效果[14].在實際加工監測過程中,采集的加工監測數據隨刀具的剩余壽命減少而變化,導致正常和異常數據難以區分.

針對刀具加工監測異常數據無標簽和加工監測數據隨刀具性能衰退而變化,考慮刀具加工剩余壽命因素,提出基于多層感知機模型的預測偏差來實現異常數據樣本的檢測.在多層感知機的訓練過程中采用高斯分布來擬合訓練樣本損失,并融合自步學習框架來提升模型對正常樣本的篩選能力.最終將異常篩選前后的數據用于銑刀剩余壽命預測中,來驗證異常數據檢測的重要性和有效性.

1 相關技術

1.1 多層感知機

多層感知機包含輸入層、輸出層以及多個隱藏層.相鄰層之間的神經元節點進行全連接,即上一層的每個神經元都與下一層的所有神經元連接,同時同一層的神經元節點沒有連接.前一層的輸出通過激活函數與下一層的輸入進行關聯.

多層感知機模型的訓練包含兩個部分,分別是前向傳遞和反向傳播.前向傳遞過程中,訓練樣本數據從輸入層輸入,通過一個或者多個全連接層,每兩個神經元之間的參數包含一個權重,從而對輸入的數據進行擬合,最后通過輸出層將數據進行輸出.反向傳播過程則由輸出值與樣本的真實值構建損失函數,通過反向傳播的梯度下降算法對模型的參數進行更新,當模型的損失函數降到最小值時,多層感知機模型就能夠擬合樣本特征.第I層到第J層神經元的前向傳遞和反向傳播過程如下:

(1)

wji(t)=wji(t-1)+Δwji(t-1)=

(2)

式中:l表示第I層神經元的個數;wij表示第I層第i個神經元和第J層第j個神經元之間的權重;xi表示第I層第i個神經元的輸入;yj表示第J層第j個神經元的輸入;φ表示激活函數;t表示迭代次數;α為梯度下降的學習率;ε(t)為多層感知機的輸出和真實值之間的損失函數.

1.2 自步學習

Bengio于2009年在國際機器學習會議(ICML)上首次提出課程學習[15],即讓模型先學習簡單的知識,然后逐漸增加難度,過渡到更復雜的知識上去.而自步學習[16]在課程學習的基礎上進行了改進,模型在每一步的迭代過程中來決定下一步學習的樣本.

傳統機器學習方法的目標函數如下所示,要求出使得目標函數最小的權重值:

(3)

式中:xi為第i個樣本;yi為第i個樣本的標簽值;wt、wt-1分別為第t和第t-1次迭代過程中模型的權重;m為樣本個數.

不同于傳統的機器學習,自步學習在每一次的迭代過程中會傾向于從所有樣本中選擇具有較小訓練誤差的樣本,然后更新模型參數.因此在每一次的迭代過程中,并不是所有的樣本都參與了模型參數的更新.自步學習在傳統機器學習的目標函數中引入了二分變量vi,該變量用于表征每個樣本是否被選擇參與訓練,其目標函數改寫為

wt,vt=

(4)

式中:λ為樣本難易程度的篩選閾值.當損失值f(xi,yi;wt-1)<λ時,vi取1,而當損失值f(xi,yi;wt-1)≥λ時,vi取0.自步學習中λ的選取往往需要人為給定,本文通過高斯分布來擬合訓練樣本的誤差,從而自適應地選取λ,將高于閾值的樣本作為異常樣本.

2 融合高斯分布和自步學習的多維數據異常檢測

2.1 異常檢測模型建立

刀具的性能狀態需通過加工監測信號間接反映,并且隨著刀具的磨損程度增加刀具的剩余壽命會降低[17].

首先針對刀具監測信號無異常數據標簽問題,將監測信號和刀具剩余壽命進行關聯,建立多層感知機模型對兩者進行擬合,以監測信號為輸入,以刀具剩余壽命為輸出.加工過程的異常數據受外界干擾與真實數據存在差異,無法反映刀具加工過程的真實狀態,剩余壽命的預測誤差會大于正常數據.其次,采用全量樣本訓練多層感知機模型會引入異常樣本,因此,在多層感知機模型每一步的訓練迭代過程中,引入自步學習框架,選擇預測誤差小的樣本來更新模型權重,防止異常樣本的干擾.針對自步學習的步長大小難以確定的問題,提出利用高斯分布來設置誤差閾值作為自步學習的步長.最后,模型收斂后,利用最后一次計算的誤差閾值以及更新完成的多層感知機模型來對所有樣本進行篩選.圖1展示了異常檢測方法的流程.

多層感知機的實現包含輸入層、兩個隱藏層以及輸出層,每一層之間通過激活函數相連.其中第1個隱藏層、第2個隱藏層的輸出通過ReLU激活函數連接,輸出層后連接Sigmoid激活函數,最終輸出刀具的剩余壽命值.為了防止模型過擬合,在第1個隱藏層后連接一個LayerNorm正則化層.剩余壽命預測模型各層結構如圖2所示.模型的損失函數為均方差函數:

圖2 剩余壽命預測網絡模型結構

(5)

模型迭代過程中主要包括兩個部分:

(1) 誤差閾值計算.將所有樣本通過異常檢測模型預測的剩余壽命與真實值比較,基于高斯分布擬合誤差分布,進而獲取誤差閾值,作為自步學習的步長參數.

(2) 自適應訓練.使用誤差閾值計算得到的結果代入自步學習的λ參數中,建立自步學習損失函數,通過梯度下降算法對模型進行權重更新,學習正常樣本的數據特征.

最后當訓練迭代結束時,以最后一次迭代得到的誤差閾值為標準,將樣本劃分為正常樣本和異常樣本.

2.2 模型訓練過程

2.2.1基于高斯分布的誤差閾值計算 剩余壽命預測模型回歸加工監測數據的特征,通過式(5)計算得到預測值和真實值的誤差的平方數來衡量回歸精度,理想情況下加工監測數據經過剩余壽命預測模型計算后得到的誤差為0,但數據樣本的質量問題使得模型始終存在一定的誤差.誤差越大發生的概率越小,誤差越小發生的概率越大,且對于大部分正常樣本,其誤差維持在一個較小的水平.選擇高斯分布來映射預測誤差平方和數據的準確率,高斯分布定義隨機變量X服從一個數學期望為u、方差為σ的正態分布,記為N(u,σ2).高斯分布概率密度函數p(x)為

(6)

誤差平方越接近0時數據的分散程度越小,映射后的數據正常的概率越大.為了滿足映射關系取高斯分布概率密度函數對稱軸的右半軸為實際的映射對象.其中期望大小為0,標準差通過樣本標準差s來估計:

(7)

2.2.2基于自步學習的自適應訓練方法 建立其優化函數如下:

wt,vt=

(8)

自步學習的步長大小記為λ,等于式(7)計算得到的k,表示樣本難易程度的篩選閾值.訓練過程主要分為兩步,第1步是v值的計算,第2步是w值的更新.v值的計算需要先固定w權重值,通過對比預測誤差和λ的關系進行確定,當樣本通過剩余壽命預測模型后得到誤差小于λ時,上述優化函數取v=1時達到最小.最終可以得到每個數據樣本對應的v值.v=0則該樣本不參與訓練,v=1則該樣本參與訓練:

(9)

同理,w權重的更新過程需要固定v值,采用梯度下降法進行更新:

(10)

當完成t次迭代訓練后,取λt作為誤差篩選閾值k,將所有樣本的預測誤差與k進行對比,大于等于k的樣本歸為異常樣本.結合上述融合高斯分布的誤差閾值的自步學習迭代過程得到算法如下.

算法基于自步學習的刀具加工過程監測數據異常檢測算法.

輸入待檢測的樣本集D(xi,yi),1≤i≤m訓練迭代次數epochs,學習率α,樣本批次大小batchsize,多層感知機模型M(w,b),樣本權重向量V.

輸出多層感知機模型M(w,b)和誤差閾值k.

步驟1隨機初始化網絡權重w、b和樣本權重V=Im;

步驟2foreachtin epochs do;

步驟3建立誤差集合E(ei), 1≤i≤m;

步驟4foreach (xi,yi) inDdo;

步驟7end;

步驟8根據高斯分布計算誤差閾值:

步驟9foreach batch(xi,yi) inDdo;

步驟11計算誤差batch(ei);

步驟12① 固定模型權重,更新樣本權重Vbatch;

步驟13ifei<λthen;

步驟14vi=1;

步驟15else;

步驟16vi=0;

步驟17end;

步驟18② 固定樣本權重,更新模型權重

步驟19end;

步驟20end;

步驟21獲得異常樣本的誤差篩選閾值:k=λt=epochs.

3 實驗及其結果分析

3.1 數據集介紹

選用數據采集自某汽輪機廠的汽輪機轉子輪槽銑削加工過程,一共使用了15把J1型精銑刀.在輪槽加工過程中,采用PCI-2AE采集聲發射信號,采樣的頻率為1 MHz.

上述加工過程產生的樣本數據集一共包含了170條輪槽的加工監控數據,每條輪槽的加工持續時間內能得到 10 000 條數據記錄,每條數據記錄涵蓋14種AE屬性信息:上升時間、計數、能量、幅值、平均頻率、均方根值、平均信號電平、峰值頻率、反算頻率、初始頻率、信號強度、絕對能量、中心頻率、峰頻.將每條輪槽的 10 000 條AE數據進行均值化后得到14個維度的特征向量,每個特征向量作為一個數據樣本,一共包含170個數據樣本,對應于170條輪槽.AE信號能表征精刀加工過程的健康情況,反映刀具的剩余使用壽命,因此,每個數據樣本均會對應一個刀具剩余使用壽命,與加工刀具的實際加工情況有關,如表1所示.

表1 汽輪機輪槽銑削加工刀具使用情況

汽輪機轉子輪槽產品成本高、質量要求嚴格,加工過程復雜.刀具剩余壽命預測影響換刀決策時間,對于保證加工質量和生產效率具有重要意義[20].使用采用高斯徑向基核的支持向量回歸機算法作為驗證算法,該算法能夠通過核函數實現高維空間的非線性映射,同時具有較好的魯棒性,適用于加工過程的刀具剩余壽命預測.

將編號為13、14、15號精銑刀作為測試集,編號為1～12號的刀具作為訓練集,對訓練集進行異常樣本的檢測和剔除,然后參與刀具剩余壽命預測模型的訓練,最后通過測試集的預測結果對比數據異常檢測前后效果.

3.2 實驗結果評價指標介紹

汽輪機輪槽銑刀監測數據在實際生產加工中采集得到,沒有區分樣本正常和異常的標簽值,但每個樣本都具有相應的刀具剩余壽命.因此通過對比異常檢測前后,支持向量回歸機在測試集上刀具剩余壽命預測的表現來反映所提出的數據異常檢測算法的有效性.平均絕對誤差(MAE)、均方根誤差(RMSE)被廣泛用于回歸問題中,采用上述兩種指標表示模型預測效果的優劣.

(1) 平均絕對誤差反映實際預測誤差的大小,其計算公式如下:

(11)

(2) 均方根誤差的作用是衡量預測值與真實值之間的偏差大小,其計算公式如下:

(12)

3.3 實驗分析

首先建立第2章的多層感知機模型,輸入層大小為14,對應樣本的14個維度.第1層隱藏層大小為8,第2層隱藏層大小為2,輸出層大小為1,對應刀具的剩余壽命值.然后對15把刀中編號為1～12的銑刀加工監測數據樣本進行訓練,訓練輪次為500次.由于模型權重參數是隨機初始化的,所以選取了5次不同的隨機種子下異常檢測模型訓練的結果.

在異常檢測模型剔除異常數據樣本后,將剩余正常樣本用于訓練支持向量回歸機,其中80%作為訓練集,20%作為驗證集,進行刀具的剩余壽命預測回歸.采用網格搜索法搜索支持向量回歸機的最佳參數,其中懲罰系數C的取值范圍為 [0.001:0.001:0.01, 0.01:0.01:0.1, 0.1:0.1:1:1, 1:1:10],γ取值范圍為[0.001:0.001:0.01, 0.01:0.01:0.1, 0.1:0.1:1:1].最后將測試樣本的預測結果進行對比,得到不同異常檢測算法的性能.

異常檢測算法將多層感知機作為刀具剩余壽命預測模型,預測誤差結果用高斯分布進行擬合,并應用3σ方法進行粗差探測,融合自步學習框架對多層感知機模型進行逐步訓練調整.為了驗證式(7)計算的閾值k的有效性, 改寫式(7)為k=βs,分別取β=1.5,2.0,2.5,3.0,3.5作為系數,對刀具訓練集數據進行異常檢測,得到的測試集預測結果如表2所示.圖3展示了在不同的系數下,測試集的MAE和RMSE平均結果.

表2 不同系數下的測試結果

圖3 不同系數β下的測試平均結果

從實驗結果可以看出,不同系數的取值會對測試集最終預測結果產生影響.其中在β=3.0時,經過異常樣本檢測和剔除后測試集預測結果最佳,驗證了3σ方法的有效性.表3顯示在最佳系數取值下,5組實驗檢測出的異常樣本,在剔除異常樣本之后,剩余樣本在測試集上獲得的平均測試結果MAE值為1.069,RMSE值為1.304.

表3 多隨機種子下異常檢測方法結果

取實驗編號5得到訓練過程中λ、模型預測平均損失值(MSE)、m隨t變化的曲線如圖4所示.

圖4 異常檢測方法的訓練過程

在訓練過程中,λ始終大于MSE,其中e超過λ的樣本即會被歸為異常樣本,不參與此輪模型權重的訓練.在訓練初始階段,模型對于訓練樣本的擬合程度較差,因此,訓練樣本的MSE較大,計算得到的λ也較大.隨著訓練次數的增加,模型漸漸收斂,大部分樣本都能夠被模型進行擬合,此時,仍然e>λ的樣本數量漸漸穩定.最終選取訓練結束后,將e與此時λ進行比較來確定異常樣本.

為了對照所提出的異常檢測模型的有效性,選取了其他5種異常檢測算法.局部異常因子(LOF)算法是一種基于密度的異常檢測算法,通過計算數據樣本周圍樣本的局部密度以及自身所在位置的密度來衡量樣本的異常程度.DBSCAN是一種基于密度的聚類算法,可以在數據空間中發現噪聲點.孤立森林根據數據點被孤立的難易程度將噪聲點和正常點進行區分.K均值法是應用廣泛的基于距離的聚類算法.一分類支持向量機(One-Class SVM)與本文方法均為基于分類的異常檢測方法[14],其利用核函數將數據樣本擬合到一個超平面上,遠離超平面上的樣本為異常樣本.此外增加了隨機抽樣方法,隨機選取3個樣本作為異常樣本,其余作為正常樣本,與本文方法進行對比.不同的方法對比結果如表4所示.分別從4個指標維度進行比較,分別是測試集的MAE、RMSE、MAE相較于全量訓練集得到的提升比例(MAE’)、RMSE相較于全量訓練得到的提升比例(RMSE’).

表4 不同異常檢測算法對比結果

本文方法獲得的測試集預測結果平均值在MAE上的提升比例為26.28%,在RMSE上提升比例為28.19%,優于其他方法的結果.在其他的異常檢測算法中,LOF取得了次優的結果,在MAE和RMSE上的提升比例分別為15.93%和18.17%,LOF能通過衡量樣本間的聚集程度來判斷離群點,魯棒性較好.孤立森林的提升比例與LOF方法近似,在MAE和RMSE上的提升比例分別為12.90%和15.91%.One-Class SVM在MAE和RMSE上的提升比例分別為11.72%和11.62%,差于前3種方法.兩種基于聚類的方法得到的MAE提升比例和RMSE提升比例均為負數.聚類算法受限于聚類結果,而刀具加工過程監測數據受刀具性能衰退而變化,因此基于聚類的異常檢測方法難以準確區分正常和異常樣本.隨機采樣法是樣本選擇中一個比較常見的方法,該方法便于操作,但不同的隨機采樣過程得到的結果差異很大.從表中結果看到,隨機采樣的MAE和RMSE的標準差分別達到了0.327和0.456.圖5直觀地顯示了各個算法在測試集上指標的提升比例.

圖5 測試集預測結果在不同異常檢測算法應用前后提升比例

4 結語

本文面向刀具加工過程監測,基于高斯分布和自步學習框架提出一種數據異常檢測方法.利用多層感知機模型學習監測數據樣本的整體特征,分離監測數據集中的異常數據.在模型的更新過程中,用模型預測誤差來擬合高斯分布,并設定誤差閾值,同時結合自步學習框架,優選高質量數據樣本參與權重的更新.最終訓練結束后通過多層感知機模型的預測誤差有效檢測異常數據樣本.

通過與多種異常檢測算法的對比實驗可見,融合高斯分布和自步學習框架的數據異常檢測方法能夠有效地區分加工監測數據中的異常樣本.多層感知機模型通過高斯分布計算樣本誤差閾值,與自步學習框架結合,針對性地選取樣本對模型權重進行更新,保證模型具備對異常樣本的判別能力.綜合上述分析和實驗結論,本文所提出的面向刀具加工監測數據的異常檢測方法相比其他方法能更適用于刀具加工監測數據樣本的異常檢測.