基于深度學習的鋼軌傷損超聲檢測與分類

胡文博，邱 實，許馨月，魏 曉，王衛東

(1.中南大學 土木工程學院, 湖南 長沙 410075；2. 重載鐵路工程結構教育部重點實驗室, 湖南 長沙 410075；3. 中南大學 軌道交通基礎設施智能監控研究中心, 湖南 長沙 410075)

隨著鐵路運營里程、速度、密度的不斷增加，為保障鐵路交通運輸的安全性，對鋼軌的檢測要求也進一步提高。鋼軌作為鐵路運輸系統的重要組成部件，在長期循環列車荷載作用及外部環境影響下，易產生軌頭核傷、軌腰斜裂縫等內部組織損傷從而引起鋼軌疲勞甚至斷軌，導致列車脫軌等重大安全事故。因此及時準確地檢測鋼軌的內部損傷并對其進行精準地識別和分類，從而實現實時、高效的維護管理，對于保障鐵路安全運營以及降低事故發生風險具有重大意義。

在鋼軌內部傷損檢測方面，傳統的人工物探方法效率低、對檢測人員要求高，正逐漸被其它檢測方法所取代。近年來，多種無損檢測方法逐步應用于鋼軌內部傷損檢測并取得了一定的效果。目前國內外常見的鋼軌無損探傷技術主要包括超聲波、射線、滲透、渦流等[1]，其中超聲波探傷法[2]被普遍應用于我國多條復雜鐵路線路的日常巡檢，得益于其優異的指向性、傳播性和在界面上的反射、折射特性，能夠在不破壞被檢設施的前提下對鋼軌內部進行探查，具備穿透能力強、操作安全、設備輕便、測量精度高、靈敏度高等優點，從而實現了鋼軌內部傷損信息的高效和實時獲取。

在基于超聲檢測的鋼軌傷損數據的識別和分類方面，國內外科學家展開了大量的研究。Sun等[3]基于超聲波傳感器，建立了用于鋼軌無損檢測的實時光聲成像系統。通過光聲信號重建圖像，可以有效地識別鋼軌外觀缺陷，傷損延伸趨勢、深度等信息。Di等[4]和Rizzo等[5]使用傳統電超聲波，通過無監督學習算法對鋼軌進行高速傷損識別檢測。李駿[6]使用陣列探頭對鋼軌發射線性調頻超聲波進行內部缺陷檢測，使用小波閾值去噪法對獲取的信號去噪，在時域頻域進行特征提取，使用支持向量機對超聲波缺陷檢測信號進行識別。Vipparthy等[7]通過布置覆蓋軌頭的脈沖回波探頭的方法來測定軌道表面特征。且為了確定超聲波信號的正確可靠性，開發了一種信號處理方法。實驗證明該方法適用于缺陷檢測。Zhao等[8]使用混合激光EMAT技術發射超聲波對軌道的表面和內部缺陷進行了系統檢查，并引入了基于小波閾值法(WSTM)的噪聲抑制技術，以提高測試精度和信噪比(SNR)，實驗驗證了軌道表面裂紋、表面垂直孔、螺栓孔裂紋和腹板孔等情況的預測結果的準確性。

盡管上述基于超聲檢測數據的圖像處理技術相比人工目視篩選效率更高，但仍存在魯棒性和泛化能力較差、只針對特定傷損特征和檢測效果不佳等問題。為解決此類問題，以卷積神經網絡為代表的深度學習方法得到了越來越多的關注。與傳統的圖像處理技術或機器學習方法相比，深度學習能夠自動地從海量的圖像數據中提取出豐富且深層次的特征并掌握識別規則以有效地區分不同類別的鋼軌內部傷損。陳斌等[9]將深度學習運用到鋼軌探傷應用中，開發了基于超聲波的鐵軌探傷小車系統。Zhang等[10]采用深度學習和聲發射事件概率分析的改進方法對鐵路缺陷進行分類來檢測其狀態。文獻[11-12]提出了基于深度學習的典型傷損在線智能識別方法。梁帆等[13]利用數據發掘方法在歷史傷損數據中發現鋼軌傷損周期性變化趨勢，并建立了基于深度學習的鋼軌傷損趨勢預測模型。然而現有的這些分類模型結構層淺，特征提取能力弱，并且依賴于經過預處理的高質量圖像數據。因此本文提出了一種基于深度殘差網絡的鋼軌內部傷損識別和分類方法以處理超聲檢測數據，該網絡在增加結構層深度的同時通過獨有的殘差結構消除了梯度消失問題，從而能夠在不依賴于高質量的預處理數據的條件下提取出更加豐富且有效的圖像特征以獲得優異的分類精度。

本文將遷移Resnet-50網絡充分學習包含5種不同類型鋼軌內部傷損的樣本圖像數據庫，并使用準確率，F1評分和單張圖像檢測時間三個評價指標分別從圖像數據，分類方法和雜波環境干擾三個方面測試和評價網絡的分類性能，最終建立起基于深度學習的高精度、高效率和實時的鋼軌內部傷損檢測、識別和分類方法，為鐵路工務部門快速診斷鋼軌傷損、研判風險并制定維修策略提供依據和參考。

1 鋼軌內部傷損數據采集與標定

1.1 采集裝置

采用GCT-8C鋼軌探傷儀進行數據采集。該探傷儀是一種手推式數字鋼軌超聲波探傷儀，執行TB/T 2340—2012《鋼軌超聲波探傷儀》[14]，適用于探測國產和進口的43～75 kg/m鋼軌母材中存在的各種缺陷[15]。主要技術參數見表1。

表1 主要技術參數

該儀器共有9個探測通道：0°通道1個、37°通道2個、70°通道6個，探頭分布見圖1。其中70°通道用于檢測軌頭、軌墻部位(螺栓孔以上)的核傷和裂縫，鋼軌焊縫軌頭的夾渣、氣孔和裂縫等。37°通道用于檢測軌墻及其投影區(Ⅱ區)的裂縫，軌底橫向裂縫(軌底月牙傷)。0°通道用于檢測軌墻及其投影區(Ⅱ區)的裂縫，可與37°通道之間相互校正。除此之外，GCT-8C鋼軌探傷儀具備45°探頭穿透式探傷模式，可加強對鋼軌焊縫軌墻及其投影區(Ⅱ區)的平面狀傷損的檢測。

圖1 各探測通道的探頭分布

該儀器采用的檢測方式為A型檢測和B型檢測，分別表現為A型脈沖和B顯圖像，各個通道的A型脈沖和B顯圖像用不同顏色分開，便于觀察。其中，B顯圖像可以實現70°、37°、0°通道疊加組合顯示，每個像素點代表物理尺寸的水平3 mm和垂直1 mm，可以正確直觀地反映三種圖像的相對位置，具有較高的垂直分辨率。由于70°通道有6個，在螺栓接頭位置處，6個接頭圖像將重疊到一起，故將6個通道的圖像拉開一定的距離以便觀察。

1.2 B顯圖像

隨著我國鐵路的高速發展和探傷儀技術的進步，鋼軌探傷工作在傳統A型探傷基礎上越來越倚重于B型探傷。主要原因包括：①B顯圖像可以更加直觀地反映出傷損的位置，方便技術人員直觀地識別和判斷傷損信息；②B型探傷具有一定的顯示延遲性，即探傷儀經過傷損位置后，2 m以內的B顯圖像不會消失，與需要反復探測的A型探傷相比，極大地提高了處理效率；③B顯圖像便于儲存，數據量是A顯波形的千分之一[10]。除此之外，與普通圖像相比，B顯數據還具有圖像像素不隨光線、陰影、噪聲等變化的明顯優勢。因此采用基于B型探傷采集到的B顯數據進行傷損識別。

B顯是一種能夠顯示被檢工件的橫截面圖像，指示反射體的大致尺寸及相對位置的超聲信息顯示方法。其中熒光屏上的橫坐標代表探頭移動距離，縱坐標代表聲波傳播時間或距離。基線隨探頭的移動和回波時間變化，從而直觀地了解探頭移動下方橫截面的傷損分布狀況和離探測面的深度，并獲得探頭下方沿行進方向的斷面圖。

根據通常的鋼軌橫斷面劃分為軌頭、軌腰和軌底三部分的劃分方式，將B顯圖像劃分為五個區域，見圖2。不同類型的鋼軌傷損在B顯圖像區域中的分布有所差異，且超聲探頭在各區域的分布角度和通道顏色(單色成像和組合色成像)也表現出明顯的不同。在B顯圖像中，ABCD區域的傷損均通過組合色成像顯示，而E區傷損通過單色成像顯示。其中AB區域由70°通道的6個探頭顏色組成；CD區域由37°通道的2個探頭顏色和0°通道的1個探頭顏色組成；E區域由37°通道的H探頭的顏色顯示。結合鋼軌傷損的顏色特征和不同傷損類型在B顯圖像中的分布規律，規定落在AB區域的傷損判定為軌頭核傷，落在CD區域的傷損判定為軌腰傷損，落在E區域的傷損判定為軌底裂縫，同時落在ABCDE區域的傷損判定為鋼軌連接處傷損，而完整的空白區域為無傷損的正常軌道狀態。此外，使用45°探頭穿透式探傷模式時，無傷損情況下將在B顯圖像軌底位置處獲得一條黑色B顯45°軌底線，若軌底線不完整則表明鋼軌可能存在傷損。

圖2 B顯圖像劃分區域圖

1.3 數據標定

采用GCT-8C鋼軌探傷儀實地采集了三段鋼軌的B顯圖像數據，通過圖像裁剪得到了包含5 000余張圖像(尺寸為200×200像素)的鋼軌內部傷損數據庫。基于TB/T 1778—2010《鋼軌傷損分類》[16]中規定的鐵路鋼軌各種傷損的分類和編號、傷損描述及傷損原因等，結合超聲波探傷儀的傷損檢測原理，并根據獲得的B顯圖像中傷損的顏色特征及分布規律將鋼軌傷損人工標注為軌頭核傷、軌腰裂縫、軌底裂縫、鋼軌連接處和正常五類標簽，見表2。

表2 鋼軌傷損分類與對應B顯圖像

2 構建基于深度殘差網絡的傷損分類模型

以卷積神經網絡為代表的深度學習方法在圖像分類識別領域表現出強大的能力，一般包括輸入層、卷積層、池化層、全連接層和輸出層，它直接利用圖像像素信息作為輸入，通過多層卷積操作進行圖像特征的提取和高層抽象，最大程度上保留了輸入圖像的所有信息[17-18]。由于各類鋼軌傷損的B顯圖像具有相似度高，特征不明顯，易受雜波干擾等特征，傳統的淺層卷積神經網絡難以提取到豐富的、有效的圖像特征。因此基于遷移學習的方式使用層數更深，結構更復雜的殘差網絡(ResNet-50)建立鋼軌內部傷損的識別和分類模型。

2.1 ResNet-50總體結構

采用ResNet-50殘差網絡[19]屬于深度卷積神經網絡的一種類型，其總體結構圖見表3。ResNet-50共經過了4個Block，每一個Block中分別有3、4、6、3個Bottleneck。Bottleneck是該模型的核心部分，每個Bottleneck包含兩個基本塊，分別為Conv Block和Identity Block，其中Conv Block的輸入維度和輸出維度是不同的，不能連續串聯，用于改變網絡的維度；Identity Block的輸入維度和輸出維度相同，可以串聯，用于加深網絡，以這種方式使模型實現了對大量相似超聲B顯圖像的準確分類。

表3 ResNet-50結構圖

ResNet-50殘差網絡的圖像處理過程見圖3。

圖3 ResNet-50網絡圖

Step1：輸入3×224×224的三維張量，包含3個RGB顏色通道(原始圖像尺寸在進入輸入層之前被自動調整為模型預定尺寸)。

Step2：進入第一個卷積層，卷積核的大小為7×7，卷積核個數為64，步長為2，填充為3；接著進入最大池化層改變圖像維度。

Step3：進入4個Block： Conv Block(虛線連接的層)是先通過1×1的卷積對特征圖像進行降維，再做一次3×3的卷積操作，最后再通過1×1卷積恢復維度，后面跟著BN和ReLU層。Identity Block(實線連接的層)則不經過卷積網絡降維，直接將輸入加到最后的1×1卷積輸出上。

Step4：進入平均池化層和全連接層，最后通過Softmax層實現分類回歸。Softmax層是最終的分類層，輸入從鋼軌傷損B顯圖像中提取到的特征向量，并輸出屬于五個分類標簽的概率分布，最高概率即是圖像的最終預測標簽。它采用交叉熵損失用于評估圖像的預測標簽和真實標簽之間的誤差，以判斷卷積網絡結構的訓練和測試效果。計算公式為

(1)

2.2 殘差結構

當傳統卷積神經網絡達到一定深度后，其分類精度不會隨著深度的增加而增加，反而會導致網絡收斂更慢，準確率也隨之降低，這種現象被稱為梯度消失，并且無法通過擴大數據集規模的方式解決。ResNet-50網絡使用殘差結構有效地解決了這個問題，殘差結構借鑒了高速網絡的跨層鏈接思想，采用跳躍結構“shortcut”進行連接，解決了網絡加深后的圖像退化問題，避免了訓練過程中的梯度消失，取得了優異的分類效果。殘差網絡的示意見圖4。

殘差結構可用如下公式為

H(x)=F(x,[Wi])+x

(2)

式中：x、H(x)分別為神經網絡此環節的輸入、輸出值；F(x,[Wi])為殘差塊的內部運算。

圖4中第一層的輸入為x，若忽略偏差影響，則輸出為F(1)=W2ReLU(W1x)，那么殘差映射為F=W2F(1)=W2ReLU(W1x)，通過“shortcut連接”與原輸入值x相加得到輸出結果為H(x)=F(x)+x，當F(x)=0時，H(x)=x，即恒等映射。于是ResNet改變了學習目標，不再是學習一個完整的輸出，而是目標值H(x)和x的差值，也就是所謂的殘差F(x)=H(x)-x，降低了計算的復雜程度。因此，后面的訓練目標就是要將殘差結果逼近于0，使得隨著網絡加深，準確率不下降。殘差網絡已使神經網絡的層數可以超越之前的約束，達到幾十層、上百層甚至千層，為高級語義特征提取和分類提供了可行性。

圖4 殘差網絡模型示意

2.3 遷移學習

輸入訓練集圖像在卷積神經網絡模型中進行正向學習時，每個卷積層都包含數量巨大的參數，并通過反向傳播的方式不斷進行更新以縮小預測值和真實值之間的差距，提高模型識別結果的準確率。對于一般的工程監測問題而言，模型中含有的參數數量要遠遠大于訓練集的圖片數量(ResNet-50模型中參數數量共23.51×106，B顯圖像僅為5 000余張)，如果這些參數從零開始初始化，將會耗費大量的訓練時間，難以達到最優的訓練效果，并且由于參數規模遠遠大于訓練集圖片數量，訓練容易進入過擬合的狀態(達到局部最優值)，從而使訓練過程偏離正確的方向，降低訓練結果的準確率。因此采用遷移學習的方法，采用ResNet-50深度殘差網絡在ImageNet(120萬張標注圖像，1 000種類別)上已經訓練好的參數作為訓練的初始值，這些參數經過ImageNet數據庫中120萬張標注圖像的訓練，具備了較強的泛化能力，能夠很好地區分1 000種類別的圖像，包含這些參數的卷積層輸出的節點向量可以被作為任何圖像的一個更加精簡且表達能力更強的特征向量，從而節約了大量的訓練時間，而且有助于提高模型在鋼軌內部傷損B顯圖像數據庫上的分類性能，避免過擬合的產生。

3 模型測試與驗證

3.1 試驗環境及參數設置

以GPU(CPU：AMD2990WX@3.0 GHz，RAM=64 GB；GPU：NVIDIA GeForce RTX 2080Ti)為計算核心，依靠由Google開發的深度學習框架Tensorflow軟件實現。

ResNet-50網絡通過學習速率、權重衰減、步長、批次大小等來控制和優化圖像訓練過程。模型的參數是在訓練過程中結合實驗結果進行反復調試得到的，經過大量參數調整實驗，最終在4 000個訓練圖像和1 000個測試圖像上獲得超參數的最佳設置。網絡結構和訓練的參數設置見表4，其中使用指數衰減方法更新學習率見圖5。

表4 參數設置

圖5 學習率指數衰減

3.2 模型優化策略

采用交叉熵損失函數會在準確性和收斂性上優于最小二乘損失函數。交叉熵函數計算公式為

(3)

式中：E為交叉熵損失值；Ti為真實樣本類別；Yi為預測樣本類別；N為樣本個數。

本文使用L2正則化梯度防止過擬合和梯度閾值策略防止梯度爆炸。在遇到較大斜率的懸崖結構時，梯度閾值也可以防止梯度改變較大參數值。L2正則化式為

(4)

式中：J為加入L2正則化后的損失函數；J0為原損失函數；λ為正則化系數。

本文使用適應性動量估計(Adaptive moment estimation，Adam)優化算法[20]對ResNet-50網絡的輸入權重矩陣、循環權重矩陣和偏置權重矩陣以及靜態注意力機制的權值和偏置進行梯度更新，其算法公式為

(5)

(6)

(7)

3.3 結果對比與評價

3.3.1 不同訓練集和測試集對比

使用4 000張訓練集圖像對卷積網絡進行訓練，1 000張測試集圖像驗證網絡的學習效果，但由于訓練和測試集的圖像是固定的，結果可能會落入局部最小值或最大值。為了驗證ResNet-50網絡的通用性和可重復性，使用交叉驗證(k=5)方法，基于數據庫建立多個訓練集和測試集，并使用準確性和F1分數作為評價指標來比較和評估網絡的分類效果。首先，將B顯圖像數據庫(5 000張圖像，5個標簽)隨機均勻地分為五個較小的圖像集(k=1、2、3、4、5)，每個圖像集包含1 000張圖像，而每個標簽占200張圖像。然后將其中一個圖像集作為測試集，將剩余的四個圖像集用作訓練集，則可以獲得五個不同的訓練集以及與其相對應的測試集，并且每個訓練集和測試集中的圖像數量與原始數據庫一致。

使用ResNet-50網絡對每個訓練集進行學習，并在相應的測試集上輸出分類結果的混淆矩陣。根據網絡的混淆矩陣結果計算準確率和F1分數，見式(8)、式(9)。其中準確率用于反映ResNet-50網絡對每個測試集的分類效果，F1分數用于反映ResNet-50網絡對測試集中每個標簽的分類效果，并充分考慮分類結果中的假陽性和假陰性錯誤。將獲得的五個訓練和測試集的準確率和F1分數的平均值(見(式)10)作為ResNet-50網絡的最終分類結果，分別為99.3%，99.24%(標簽1)，98.5%(標簽2)，99%(標簽3)，99.75%(標簽4)和100%(標簽5)。結果表明ResNet-50網絡的分類結果在不同的訓練集和測試集上表現出良好的一致性且幾乎不受假陽性和假陰性錯誤的干擾。

(8)

(9)

式中：F1為P和R的調和平均值；P為精確率；R為召回率；TP(正陽性)為實際為正，被預測為正的樣本數量；TN(正陰性)為實際為負被預測為負的樣本數量；FP(假陽性)為實際為負但被預測為正的樣本數量；FN(假陰性)為實際為正但被預測為負的樣本數量。

(10)

式中：Q為ResNet-50網絡的最終準確率和F1分數；qi為每個測試集的準確率和F1分數；k為分割圖像集的數量。

訓練集和測試集的損失函數曲線見圖6。在設置了超參數并進行了近3 000次訓練后，發現訓練集損失和測試集損失都達到了收斂和穩定。當兩者的損失最接近時，網絡結構的訓練已達到擬合狀態。

圖6 訓練集和測試集的損失函數曲線

3.3.2 不同分類方法對比

將ResNet-50網絡與三種傳統的機器學習方法：支持向量機(SVM)，反向傳播人工神經網絡(BPANN)和貝葉斯分類器(Bayes)進行對比。SVM被定義為在特征空間中具有最大間隔的線性分類器。它依靠核函數映射在由輸入訓練數據組成的n維空間上設置分類超平面，從而最大程度地提高了不同類別之間的差距[21]。BPANN是從輸入空間到輸出空間的非線性映射。它由輸入層，隱藏層和輸出層組成，兩層之間的大量神經元使用權重系數相互連接，通過調整權重和閾值來判斷和分類輸入數據，并且使用反向傳播來不斷減少錯誤[22]。Bayes是一種基于概率論的機器學習算法。它使用從訓練圖像接收的先驗知識來獲得測試圖像的后驗概率，并不斷修正決策函數，以更新信息使得分類更加準確[23]。

四種方法的單張圖片檢測時間與總體準確率的對比結果見圖7(a)，ResNet-50網絡的分類準確性最高的同時檢測時間較短，僅為0.016 9 s(200×200像素)。與傳統的機器學習方法相比，極大地提高了傷損識別和分類的效率。各個圖像標簽的F1分數對比結果見圖7(b)，可以看出ResNet-50網絡對于每個標簽的F1分數均高于98%。而Bayes和SVM這兩種方法都存在無法檢測出一類標簽的情況，BPANN雖能識別每類標簽，但各個標簽的F1分數結果較差。綜上所述，ResNet-50網絡可以有效地識別和分類五類鋼軌傷損B顯圖像，具有高準確率、高效率的特點，明顯優于傳統的機器學習方法。

圖7 不同分類方法的對比結果

3.3.3 雜波干擾環境下的測試結果

為了探究模型在不良條件下的適應性和魯棒性，以及避免搜集數據集可能造成的人工影響，開展了復雜背景條件下病害圖像的測試。超聲波圖像具有不受噪聲、陰影、模糊等環境因素的干擾的特點，故主要展開雜波噪聲干擾測試。圖8展示了部分結果，ResNet-50網絡的分類結果具有良好的一致性，其準確率和F1均保持在90%以上。表明ResNet-50網絡具有很好的魯棒性和對抗雜波噪聲的適應性。

圖8 染波干擾環境下部分傷損B顯圖像分類結果

表5 雜波干擾環境下部分傷損B顯圖像分類結果 %

4 結論

針對鋼軌傷損的自動化識別和分類問題，提出了基于深度殘差網絡的超聲B顯數據后處理方法對鋼軌內部不同位置處的傷損狀況進行實時地識別和分類，并從圖像數據，分類方法和干擾因素三個方面進行了驗證和測試，取得了如下結論：

(1)ResNet-50深度卷積神經網絡能夠自動地從GCT-8C鋼軌探傷儀采集到的B顯圖像數據中提取豐富、深層和表達能力強的特征，并能夠精準地和高效地識別并區分四種類型的鋼軌傷損和正常狀況。

(2)在分類方法方面，分類準確率為99.3%，單張圖像測試時間0.016 9 s(200×200像素)，且五類標簽(軌頭核傷、軌腰裂縫、軌底裂縫、鋼軌連接處和正常)的F1分別為99.24%，98.5%，99%，99.75%和100%，遠優于支持向量機、反向傳播人工神經網絡和樸素貝葉斯等傳統機器學習方法。

(3)在圖像數據方面，ResNet-50網絡取得的傷損分類結果在交叉驗證(k=5)得到的五個不同的訓練集和測試集組合上具有良好的通用性和可重復性；在干擾因素方面，使用的B顯數據具有圖像像素不隨光線、陰影、噪聲等變化的明顯優勢，且ResNet-50網絡對雜波噪聲干擾等不利環境具有優異的適應性和魯棒性。

(4)研究成果在降低勞動力需求的同時極大地提升了鋼軌傷損檢測的精度和效率，以保障鐵路的安全運營并實現科學管養。但無法獲得鋼軌傷損的實時里程信息，在應用方面具有一定的局限性，這將是進一步研究的方向。