基于遷移學習與殘差網絡的刀具磨損狀態監測

周建民，王云慶，楊曉彤，黃熙亮，夏曉楓

(1.華東交通大學載運工具與裝備教育部重點實驗室，江西南昌 330013；2.軌道交通基礎設施性能監測與保障國家重點實驗室，江西南昌 330013)

0 前言

21世紀以來，在以智能制造為主體的全球工業改革浪潮的新時代背景下，加速數控機床向著智能自動化的目標邁進成為重中之重。刀具作為數控機床的關鍵部件之一，是最易損傷和浪費最嚴重的部件[1]。由于刀具與工件直接接觸發生磨損，其狀態會直接影響生產資源的消耗、工件加工質量和效率，因此，在機械加工過程中對刀具狀態實時監測以便制定換刀策略很有必要。刀具磨損狀態監測方法分為直接監測法和間接監測法兩種[2]。直接監測法是利用圖像處理和光學監測等直接觀測刀具的磨損量；間接監測法是通過采集在刀具加工過程中與磨損緊密相關的信號，建立監測信號和刀具當前狀態的模型，從而間接得到實時的磨損狀態。此方法不對加工過程造成干擾，且可以連續監測加工過程，更適合于在線監測。間接監測法常用的方法有切削力監測[3]、聲發射監測[4]、振動監測[5]等。對于監測數據處理以及分類所用的傳統機器學習方法包括支持向量機[6]、貝葉斯網絡[7]、極限學習機[8]等，但這些方法屬于淺層機器學習方法，需要進行數據預處理、特征提取和特征選擇，要求相應的先驗知識，費時費力，而且如果所采取的人工特征選擇方式不適合具體的任務情況時，就會導致分類效果快速下降。

深度學習方法是一種端對端的建模技術，它把原始數據直接輸入到深度學習模型中，通過一個模型進行特征提取、特征轉換、分類等一系列操作，克服了傳統的機器學習算法存在的缺陷，從而避免了人為提取特征信息[9]。雷亞國等[10]提出了運用深度學習對機械裝備進行狀態監測的方法。SUN等[11]設計了一個長短期記憶網絡，用于根據歷史數據預測多個刀具側面磨損值，同時利用采集到的刀具加工信號，構建了一個殘差神經網絡，以實現在線刀具狀態監測。FU等[12]應用DBN分析了加工刀具振動信號的特征，監測端銑操作的切削狀態。然而在深度學習網絡模型中，需要大量帶有標簽的數據樣本以及相當長的時間來訓練和優化模型參數，當訓練樣本的數量比較少時，深度學習的優勢就不明顯了。所以，針對模型訓練數據不足、訓練時間長等問題，本文作者構建了一種基于遷移學習結合深度殘差網絡(Transfer Learning Deep Residual Network，ResNet-TL)的刀具磨損狀態監測模型。首先將銑削過程中所采集的振動信號通過連續小波變換(Continue Wavelet Transform，CWT)轉換為時頻圖，然后將ResNet50模型在ImageNet數據集中充分訓練后作為預訓練模型，將預訓練模型中大多數參數凍結，最后將刀具加工振動信號的能量時頻圖像集數據再訓練，從而實現刀具磨損狀態的分類。

1 基本原理

1.1 CWT時頻圖轉換

CWT時頻圖是通過連續小波變換獲得的信號能量密度的二維表示，并且與一維時間序列相比，能夠更詳細地反映原始信號的特性。文中，轉換的時頻圖用作模型訓練的輸入。CWT通過對母小波的伸縮平移從而得到一系列小波基函數，對信號逐步進行多尺度細化，使得信號在低頻處頻率細分、高頻處時間細分，能自動適應時頻信號分析的要求，準確描述信號的局部細節時頻特征。本文作者采用Morlet小波用作母小波。對于給定的信號x(t)，將x(t)與Morlet小波進行尺度變換后得到CWT，如公式(1)所示：

(1)

其中：a是小波的尺度；b是時間平移；兩者都是實數。通過從母小波ψ(t)生成子小波ψa,b(t)(見公式(2))在有限的空間內，可以提取更多的時頻信息。

(2)

時頻圖的紅-綠-藍(RGB)表示優于灰度圖像，因為多通道包含更多的信息，能更全面地挖掘信號的頻域特征，具有抗干擾能力強等優點。并且時頻圖的轉換過程無需任何專業人員介入，只需根據轉換公式完成全部的輸入和輸出，可以避免人為干擾，提高了系統的智能，從而實現了對圖像的自動識別，生成的圖像集便于深度卷積網絡的深層次特征學習，可以提高最終的分類結果。所以，本文作者采用連續小波變換生成RGB時頻圖。

1.2 卷積神經網絡

卷積神經網絡是深度學習的代表算法之一[13]。它具有深度特征提取結構，能夠對輸入的特征進行更深層次的挖掘，在圖像識別領域中得到了廣泛的應用。CNN的網絡結構通常由卷積層、激活層、池化層和全連接層組成。其中卷積層又稱特征提取層，卷積核則類似于特征提取器，通過卷積核對輸入的信號或特征的局部進行卷積計算，從而獲得帶有深度特征表示的特征。池化層是通過對從卷積層中提取的特征進行降采樣處理，減少了網絡的參數，提高了計算速度，并能在一定程度上抑制過擬合現象。卷積層和池化層可以通過多次疊加改變網絡結構從而提升網絡性能。在訓練過程中，訓練樣本經過多次卷積、池化操作之后，再經由全連接層和輸出層激活函數對結果進行分類。典型的CNN模型結構如圖1所示。

圖1 典型的CNN結構

1.3 深度殘差網絡

深度殘差網絡是一種通用的卷積神經網絡特征提取器，應用于許多圖像識別任務。根據以往的經驗，網絡的深度是影響模型性能的關鍵因素，隨著網絡層數的增加，可以提取到更多的特征，但是隨著網絡進一步加深，網絡的精確度逐漸趨于飽和，甚至會降低。深度殘差網絡通過添加殘差單元的短路機制巧妙解決了這些問題。圖2所示為ResNet模型中的殘差塊結構。

圖2 ResNet模型的殘差塊結構

相比于傳統的卷積神經網絡直接學習輸入樣本與輸出結果之間的關系映射X→H(X)，讓網絡學習殘差映射X→H(X)-X能夠有效降低學習難度，從而加快模型的收斂速度，因此，深度殘差網絡即使搭建了很深的網絡結構，也能得到較好的結果。

在ResNet網絡結構中包括兩種殘差單元：一種是將兩個3×3卷積網絡連接形成一個殘差單元，另外一種是將1×1、3×3、1×1的3個卷積網絡連接形成一個殘差單元。本文作者采用在ImageNet數據集下訓練的ResNet50模型，作為狀態監測的預訓練模型，表1所示是ResNet50的網絡配置。

表1 ResNet50的網絡配置

1.4 遷移學習方法

遷移學習定義[14]如下：給定一個源域Ds={Xs,P(Xs)}和目標域Dt={Xt,Q(Xt)}，學習任務分別為Ts={Ys,fs(·)}和Tt={Yt,ft(·)}，遷移學習的目的就是利用Ds和Ts中的知識改進Dt中的目標預測函數ft(·)，其中Ds≠Dt或Ts≠Tt。

傳統的深度學習算法要求輸入大量的樣本以進行網絡參數擬合，通過對大量的圖像樣本進行多尺度的訓練，且在訓練時使各個層次的參數都能收斂，從而使分類結果具有良好的準確率和魯棒性。而在刀具磨損狀態智能分類中存在難度，刀具磨損所測得的磨損信號樣本比較少，所以有必要建立一個在小樣本情況下分類的方法。因此，基于深度學習網絡的良好智能分類能力，提出一種結合遷移學習算法的刀具磨損狀態智能分類模型。在大多數情況下，特征提取第一層與具體的圖像數據集之間的聯系并不大，而在網絡的最后幾層，它與所選擇的數據集和任務的目標有著密切的聯系，第一層提取的特征稱為一般特征或通用特征，而與數據集和任務有關的特征稱為特定特征。因此，本文作者使用了由ImageNet數據集充分訓練的深度網絡，利用預先訓練的網絡對大多數參數進行了凍結，也就是提取了圖像的一般特性，并利用小樣本的刀具振動小波時頻圖像集數據再訓練，獲得與磨損特征有關的特定特征，以得到在小樣本情況下用時短、效率高的智能分類模型。

2 算法詳細

針對刀具磨損狀態智能分類提出一種基于二維圖像表示和ResNet-TL的分類方法，將ResNet-TL網絡結構應用于智能分類，避免了人工特征提取的主觀性，降低了訓練時間，提高了分類效率。所提模型的技術流程如圖3所示。

圖3 ResNet-TL模型的分類流程

(1)時頻圖像生成。將振動數據采用連續小波變換轉換為CWT時頻圖，使得原始的一維信號數據轉換為二維的圖像數據；

(2)預訓練模型遷移。選用ResNet50根據100多萬張圖片進行訓練，用以提取圖像的一般特征，保留ResNet50大部分架構，對大多數參數進行了凍結；

(3)合理劃分刀具磨損狀態樣本的訓練集和測試集，利用小樣本的刀具振動的小波時頻圖像集數據再訓練，獲得與磨損特征有關的特定特征，最后通過Softmax激活函數得到分類結果；

(4)計算識別精度并輸出結果，可視化ResNet-TL模型的特征學習過程和測試集準確率。

3 實驗驗證

3.1 實驗數據介紹

文中實驗數據來源于文獻[15]。銑削刀具為三刃硬質合金球頭銑刀，加工參數如表2所示。

表2 銑削實驗切削參數

在銑刀加工過程中，采集銑刀每次走刀時的振動信號，采樣頻率為50 kHz，每把刀具一共進行315次走刀測試，每次走刀長度為108 mm，在每次走刀結束后用顯微鏡測量銑刀3個切削刃后刀面的磨損值，保存每次走刀所采集的振動信號和相應的磨損值數據作為一個實驗樣本，共獲得315個樣本。在上述切削條件下重復進行3次全壽命周期實驗，得到3把銑刀的全壽命數據，因此，本文作者采用這3把銑刀的數據進行實驗。振動信號采集實驗平臺示意如圖4所示。

圖4 銑削實驗臺數據采集示意

為了避免3個切削刃的磨損值不同所帶來的干擾，將銑刀的3個切削刃的平均值作為實驗標簽。根據刀具磨損狀態分為3種，分別為早期磨損、正常磨損、劇烈磨損。同時根據泰勒刀具壽命曲線二階導數[16]的近10 μm交叉點作為刀具磨損不同狀態之間的邊界。狀態1為早期磨損狀態，磨損范圍為0～60 μm，狀態2為正常磨損狀態，磨損范圍為60～120 μm；磨損大于120 μm的劇烈磨損狀態為狀態3。由于每個振動信號樣本中包含約20萬條數據，為了避免銑刀的切入和切出對磨損狀態分類產生影響，選擇每個樣本中的2×104～18×104之間共16萬條數據進行圖像化處理，將3把刀具每次走刀的振動數據通過小波變換生成一張時頻圖，共得到945張小波時頻圖，根據磨損狀態分類隨機選取銑刀實驗數據的70%作為訓練數據集，30%作為測試數據集。Batch size的大小設置為32，迭代次數Epoch設置為100，初始學習率設置為0.000 01，深度殘差網絡的優化方式為Adam優化算法。

3.2 實驗結果分析

本文作者進行了2組實驗：第一組是使用遷移學習預訓練參數的深度殘差網絡與沒有預訓練的深度殘差網絡的對比；第二組是使用遷移學習的深度殘差網絡、EfficientNet網絡以及采用遷移學習預訓練的EfficientNet網絡的對比。

(1)ResNet-TL模型與ResNet模型的刀具磨損狀態分類對比。

從圖5(a)看出：ResNet-TL模型訓練集的損失誤差相對于ResNet模型降低得更快，在初始迭代中，基于ImageNet數據集預訓練的網絡參數遷移到ResNet模型，采用刀具振動時頻圖進行二次訓練來微調ResNet模型的損失誤差比直接訓練的ResNet模型更小，經過100次迭代，ResNet-TL模型訓練集損失誤差更小，訓練效果對比ResNet模型更好。類似地，圖5(b)顯示：ResNet-TL模型訓練集的第二代準確率就達到90%，而ResNet模型準確率為40%，100次迭代中，ResNet-TL模型訓練集準確率都明顯高于ResNet模型，并且ResNet-TL模型的10～100次迭代的準確率穩定在95%～99%之間，而ResNet模型準確率波動較大，模型參數反復調整和不穩定，魯棒性較差。

圖5 ResNet-TL與ResNet訓練集損失誤差(a)和準確率(b)

(2)ResNet-TL、EfficientNet-TL、ResNet以及EfficientNet模型的刀具磨損狀態分類對比。

從圖6(a)可以看出：基于遷移學習預訓練的ResNet-TL模型與EfficientNet-TL模型損失誤差在迭代初期就能快速下降，最終趨于穩定；而直接訓練的ResNet模型EfficientNet模型損失誤差下降緩慢，反復波動到一個穩定值，最終損失誤差明顯高于遷移學習預訓練的網絡損失誤差值。ResNet-TL模型的最終損失誤差也明顯小于EfficientNet-TL模型，但在前20代，ResNet-TL模型已經訓練完成。綜合考慮訓練時間和模型結果的關系，ResNet-TL模型能夠在短時間的模型訓練中達到較好結果。

從圖6(b)可以看出：ResNet-TL模型和EfficientNet-TL模型二次訓練能快速收斂，在20代內，訓練集的準確率就趨于穩定；但ResNet-TL模型初始準確率較高，表明基于ImageNet數據集預訓練的網絡參數在ResNet網絡的二次訓練參數微調較小，效果更好，適用于模型快速訓練收斂。ResNet模型、EfficientNet模型在無參數預訓練的情況下，相同的迭代次數，準確率更低。綜上兩組對比實驗，ResNet-TL模型不管是在訓練集的損失誤差還是準確率上，效果都更優異。

圖6 ResNet-TL、ResNet、EfficientNet-TL和EfficientNet訓練集損失誤差(a)和準確率(b)

為了體現模型的優劣，并且考慮到測試結果可能出現偶然性，對兩組模型進行多次訓練，取6次分類結果的平均值作為模型的最終準確率。表3表明：ResNet-TL模型6次分類的平均準確率為98.52%，平均分類結果優于其他模型，證明所采用的方法具有很好的分類性能，且模型的穩定性優異。

表3 模型6次測試準確率

4 結論

提出一種基于遷移學習理論結合深度殘差網絡的刀具磨損監測方法，用于制造車間實時監測刀具磨損狀態，該方法采用振動信號圖像化并且構建了刀具磨損狀態監測的神經網絡模型。實驗結果表明，所提出的方法能夠達到穩定且準確的分類效果。

(1)將一維的振動信號數據集通過連續小波變換轉換為二維的圖像數據集，該方法不僅避免了人為因素對整個預處理過程的影響，而且還可以更好地保留振動信號內部隱藏的刀具磨損狀態的信息，有效地減少信息缺失。

(2)采用遷移學習方法，使用ImageNet數據集上訓練的ResNet50模型作為預訓練模型，進行了圖片通用特征的預訓練和刀具磨損特定特征的二次訓練，并且與沒有預訓練參數的ResNet50模型作對比，再與EfficientNet模型和未采用遷移學習預訓練參數的EfficientNet模型作對比。實驗結果表明：同一模型采用遷移學習能夠更快收斂，分類結果的準確率也更高，相比之下，ResNet50-TL模型的分類效果最佳。