基于遷移學習的鋼絲繩斷絲定量檢測方法

張義清， 譚繼文， 孟慶文， 曾實現， 白曉瑞

(1. 聊城大學 機械與汽車工程學院，山東 聊城 252000； 2.青島理工大學 機械與汽車工程學院，山東 青島 266520；3. 德州市環境衛生服務中心，山東 德州 253017； 4.青島黃海學院 智能制造學院，山東 青島 266520；5.海軍工程大學 兵器工程學院，武漢 430032)

鋼絲繩是礦井提升、斜拉橋、電梯等工作場景中主要的承力構件。由于工作環境惡劣，鋼絲繩在使用過程中難免會產生各類損傷[1]。斷絲作為一種主要的損傷，直接關系到鋼絲繩的使用安全。許多機構也根據一定長度內斷絲的數量來評價鋼絲繩是否需要替換[2]。因此，對鋼絲繩進行斷絲定量檢測具有重要意義。

近年來，許多專家和學者利用時頻分析技術和人工神經網絡對鋼絲繩斷絲定量識別進行了大量的研究[3-6]。田志勇等提出了基于BP(back propagation)神經網絡的斷絲定量識別方法，利用試驗進行了驗證，識別準確率達到了86.9%；劉志懷等提出了基于主成分分析和BP網絡結合的鋼絲繩斷絲定量識別方法，利用主成分分析保留斷絲有效特征，再輸入BP網絡進行分類，提高了網絡的訓練速度和分類準確率。朱良等在總結傳統斷絲信號特征的基礎上利用小波分解提取了斷絲信號的奇異值熵，使用這種特征實現不同種類斷絲的區分。

然而，目前的文獻主要針對鋼絲繩外部斷絲進行識別，對內部斷絲研究較少，而實際鋼絲繩可能同時存在外部斷絲和內部斷絲。除此以外，大多定量識別方法需要人工進行特征提取和挑選，然后輸入網絡進行訓練和分類。這種方法費時費力且需要足夠的先驗知識，一旦這些人工選取的特征不能滿足任務的需要，模型的故障分類性能就會明顯下降。

深度學習(deep learning，DL)自提出就受到了各個領域的關注，其中卷積神經網絡(convolutional neural network，CNN)已經在故障診斷領域取得了很多成功的應用[7-11]。Jing等利用卷積神經網絡自動從行星齒輪箱的振動信號中提取故障特征，實現了準確的故障識別。Guo等提出了一種基于改進算法的分層學習深度卷積神經網絡，并將其應用到軸承故障診斷中，取得了較好的效果。深度學習強大的特征提取能力為鋼絲繩斷絲定量識別存在的問題提供了有效的解決方法。隨著深度學習的發展，出現了許多更深層的卷積神經網絡，如VGG16，GoogLeNet，ResNet50等[12-13]。這些模型通常具有更好的泛化能力和自適應性。然而，隨著深度模型隱含層數量和大小的增加，自由參數也增多，調整這些參數通常需要耗費大量的時間，且從零開始訓練大型網絡更是需要大量的標記數據和計算資源。

遷移學習(transfer learning，TL)是將已訓練好的網絡的低層結構和參數遷移到新的分類模型中，通過調整模型高層的參數來實現特定的分類任務[14]。這種方式減少了需要調整的參數，改進了網絡的訓練進程。Shao等[15]提出了一種基于預訓練深度卷積網絡VGG-16的遷移學習方法，并將其應用到了故障診斷中，通過異步電動機、變速箱、和軸承的故障試驗驗證了該方法的有效性，實現了自然圖像到機械故障時頻圖像的遷移。

本文將遷移學習應用到鋼絲繩斷絲定量識別中，基于連續小波變換和GoogLeNet遷移模型對內外部斷絲進行分類。

1 理論基礎

1.1 時頻成像

時頻成像是將信號頻率、時間序列數據轉換成時頻圖的一種技術。通過時頻轉換可以洞察原始信號更深的特征，有利于進行故障分類。對信號進行時頻轉換的方法很多，其中連續小波變換是一種有效的方法[16]。信號x(t)的連續小波變換(continuous wavelet transform,CWT)可以表示[13]為

(1)

式中:x(t)為要進行轉換的信號；s為尺度因子；τ為平移因子；ψ(·)為母小波；ψ*(·)為函數ψ(·)的復共軛。通過式(1)，信號x(t)被變換并投影到二維時間和尺度，將一維時間序列轉換為時頻圖像。

1.2 卷積神經網絡

卷積神經網絡廣泛應用于圖像分類任務中。它可以自動從輸入圖像中提取有用特征，經過逐層處理在更高層形成抽象特征，從而完成準確分類。典型卷積神經網絡的結構，如圖1所示。網絡的前幾個階段主要由卷積層和池化層組成，后幾層為全連接層和分類層。

同一個卷積層中的神經元共享它們的權重，這些權重形成一個卷積核。卷積層通常包含多個卷積核來同時提取不同的特征信息。卷積核對輸入圖像進行卷積運算，通過非線性激活函數形成最終輸出值。卷積核掃描整個輸入圖像上生成特征圖，其可以看作是一種特征抽取器，不同的卷積核表示不同的特征提取操作。非線性變換前的第k個特征圖的特征值Zk可以表示為

Zk=Wk?x+bk

(2)

式中:Wk為第k個卷積核；bk為偏移項;x為此卷積層的輸入圖像；?為二維卷積。

池化層通常在卷積層之后，通過下采樣降低卷積得到的特征圖的維數。池化操作將特征圖分成多個小區域并生成新的特征值，可以表示為

yi,j,k=down(m,n)∈Ri,j(xm,n,k)

(3)

式中：down(·)為下采樣函數；yi,j,k為池化后第k個新特征圖；Ri,j為位置(i,j)附近的區域，即池化的感受野；xm,n,k為感受野內的節點。

1.3 遷移學習和參數調整方法

遷移學習是深度學習的一個特定領域。簡單來說，給定一個源域Ds和目標域Dt，遷移學習可以將從源域Ds中學習到的知識應用到目標域Dt中。遷移學習可以通過從預訓練模型轉移來的參數初始化目標模型來幫助訓練目標模型[17]。

從頭開始訓練深度模型需要大量的標記數據且調整網絡參數通常耗費大量的時間。遷移學習為這一問題提供了一個有效的解決方法，其利用已經由一個數據集訓練的深度卷積神經網絡的遷移實現特定分類任務。如前所述，卷積神經網絡可以從圖像中逐層提取特征，并且嵌入預訓練模型權重中的知識可以轉移到新任務中。卷積網絡的低層提取邊緣和曲線等低層特征，適用于常見的圖像分類任務，而高層可以學習更多特定于不同應用領域的抽象特征。因此，可以將低層參數直接遷移，僅需要從新數據集中學習高層特征。調整高層權重的過程取決于源數據集與目標數據集之間的差異。對于類似的數據集，只需要微調全連接層的參數即可，而對于差異較大的數據集，則需要調整一些卷積塊的參數。與完整訓練一個網絡相比，這種方法可以在數據量較少的情況實現分類，且減少了需要被訓練的參數。

2 基于遷移學習的分類模型

本文提出的基于遷移學習的鋼絲繩斷絲定量檢測方法的流程圖如圖2所示。鋼絲繩斷絲的漏磁信號由安裝在試驗臺上的傳感器獲得。通過連續小波變換將斷絲原始漏磁信號從時域轉換到時頻域，形成一組時頻圖像，用作預訓練模型的輸入。

圖2 整體流程圖Fig.2 Overall flow char of the proposed method

為了訓練和微調預訓練的深度架構，需要特定大小的RGB圖像，因此需要對時頻圖像進行處理。由于轉換后的分布是僅具有一個通道的灰度圖像，因此通過將灰度圖像復制為3個通道并為每個通道添加基礎，執行通道增強以得到具有3個通道的二維圖像。然后，這些時頻圖被劃分為訓練集和驗證集，訓練集用來訓練預訓練模型并調整參數，驗證集用于驗證目標模型的性能。

其中，所使用的預訓練模型為GoogLeNet[18]，該網絡具有22層深度網絡，已經在ImageNet數據集上實現了準確的分類。GoogLeNet的inception模塊如圖3所示，利用這種模塊在增加網絡深度的同時加快了網絡訓練的速度。

圖3 Inception模塊Fig.3 Inception module

在訓練過程中，對深度卷積神經網絡GoogLeNet的低層參數直接進行遷移，高層進行調整。具體調整策略為：移除GoogLeNet最后的可學習層，即最后的全連接層，添加一個新的全連接層，設置全連接層的輸出為斷絲類別數(6)，替換最后的分類層。通過訓練集不斷調整模型參數來減小預測標簽和實際標簽之間的誤差，經過足夠的訓練輪數，對設計的模型調整完畢，保存模型的結構以及所有參數。

3 試驗驗證

3.1 試件制作

使用6×37+FC的鍍鋅鋼絲繩來進行試驗研究，其直徑為20 mm，絲徑為0.9 mm。在該繩上共制作6處斷絲損傷，前3處為1～3根外部斷絲，后3處為1～3根內部斷絲。每處斷絲的斷口為12 mm。斷絲在鋼絲繩上的具體位置和實際損傷圖片如圖4所示，6處內外部斷絲的標簽如表1所示。

圖4 斷絲損傷Fig.4 The broken wires

表1 斷絲標簽Tab.1 The label of broken wires

3.2 試驗臺

鋼絲繩檢測試驗臺如圖5所示。有損傷的鋼絲繩通過繩扣固定在試驗臺的支架上并通過加載裝置拉緊。移動托盤帶動聚磁傳感器[19]沿鋼絲繩移動實現損傷檢測。傳感器輸出的信號經電路板預處理后傳遞給信號采集系統(圖6)。從圖6中可以看出，直流電源通過電纜給傳感器和電路板供電，這樣可以保證試驗過程中電路的穩定。經預處理后的漏磁信號被NI PCI-4496采集卡采集，然后通過計算機中LabVIEW采集程序進行實時顯示和數據儲存。

圖5 試驗臺Fig.5 The test rig

圖6 信號采集系統Fig.6 Signal acquisition system

3.3 結果分析

試驗中采集到的斷絲信號如圖7所示，可以看到圖7中有6處突變信號，信號的突變位置正好對應鋼絲繩的損傷位置，說明6處斷絲的漏磁信號均被檢測到。其中，信號的前3處突變為外部斷絲信號，后3處突變為內部斷絲信號。將每處斷絲信號分割為包含1 024個數據點的數據塊，再將每個數據塊轉換為大小為224×224的時頻圖像，以適用于預訓練GoogLeNet網絡。通過復制原始圖像，將灰度時頻圖像擴展為3個圖像通道，這些處理后的圖像的格式為224×224×3。6種斷絲漏磁信號的轉換結果如圖8所示。

圖7 損傷信號Fig.7 The damage signal

圖8 漏磁信號頻譜圖Fig.8 The spectrums of the Magnetic flux leakage signals

試驗中共獲取600組內外部斷絲的漏磁信號，轉換成600張時頻圖。將這些時頻圖作為目標模型的輸入進行訓練，其中70%的數據集用于訓練網絡，30%用于驗證，訓練過程如圖9所示。圖9(a)為訓練曲線，圖9(b)為損失。圖9中的橫坐標為訓練輪數，縱坐標分別代表準確率和損失大小。可以看出，隨著訓練輪數的增加，訓練準確率越來越高，訓練損失越來越小。經過12輪的訓練最終達到了比較穩定的效果，損失也降為最小，最終的準確率為97.2%。

圖9 訓練過程Fig.9 Training process

為了進一步分析斷絲識別效果，使用混淆矩陣對分類結果進行可視化，如圖10所示[20]。混淆矩陣的行代表預測類，列代表實際類，對角線是正確的分類，非對角線是錯誤的分類，每個單元顯示分類的數量和百分比。從圖10可以看出，使用基于遷移學習的卷積網絡模型對6種內外部斷絲的分類準確率非常高，其中第3類、第5類和第6類故障的準確率達到了100%。

圖10 基于遷移學習模型的混淆矩陣Fig.10 The confusion matrix of the model based on transfer learning

為了形成對比試驗，將斷絲定量識別中常用的BP神經網絡方法作為對比。人工提取漏磁信號的波寬、波峰、波形下面積等特征，作為網絡的輸入向量，6種內外部斷絲為輸出向量。利用BP網絡進行訓練和分類。同樣的70%的數據用于訓練，30%數據用于驗證，由BP網絡分類結果得到的混淆矩陣如圖11所示。可以看出，使用BP網絡的斷絲分類準確率相對較低，整體準確率只有83.3%。其中第2類斷絲故障的分類準確率最低，只有58.1%。從混淆矩陣中可以看出，第2類故障和第3類故障發生了嚴重的混淆。相對于傳統的BP網絡，基于遷移學習的深度卷積模型在鋼絲繩斷絲識別和分類中展現了更優越的性能。

圖11 基于BP網絡的混淆矩陣Fig.11 The confusion matrix based on BP network

4 結 論

本文提出了一種基于遷移學習的鋼絲繩斷絲定量識別方法。對預訓練網絡GoogLeNet進行結構遷移和參數微調得到目標模型。通過連續小波變換將漏磁信號轉換成時頻圖作為目標模型的輸入進行分類，對鋼絲繩6類內外部斷絲分類的準確率達到了97.2%。

該方法本質上是利用深度學習強大的特征提取能力來自動提取斷絲故障特征并進行分類，省去了冗長的人工特征提取工作，同時避免了人工特征選擇的局限性。相對于傳統的BP網絡，基于遷移學習的深度卷積模型對鋼絲繩斷絲分類展現出了更優越的性能。

Vol．41 No．12 2022