基于改進AlexNet網絡的軌道缺陷識別方法

趙家祥　方建軍　劉澤宇　施代能

［摘 要］針對鐵路維護采用人工巡查方式存在準確率不足、效率低下等問題，提出一種基于輕量化AlexNet網絡的軌道缺陷識別方法。該方法主要包括融入注意力機制、裁剪全連接層、引入批量歸一化取代原有的局部響應歸一化等。實驗對比驗證結果表明，改進后的網絡具有更好的識別效果，模型的準確率提高了2.8個百分點，推理速度和穩定性都得到相應提升。

［關鍵詞］ 軌道缺陷；AlexNet；注意力機制；批量歸一化

［中圖分類號］ U 216.3 ［文獻標志碼］ A ［文章編號］ 1005-0310（2023）02-0007-05

A Track Defect Identification Method Based on Improved AlexNet Network

ZHAO? Jiaxiang， FANG? Jianjun， LIU? Zeyu， SHI? Daineng

（College of Urban Rail Transit and Logistics， Beijing Union University， Beijing 100101， China）

Abstract： ?In response to the insufficient accuracy and low efficiency in the manual inspection for railway maintenance， a track defect identification method based on lightweight AlexNet network is proposed. This method mainly includes integrating attention mechanism， cutting the fully connected layer， and introducing batch normalization instead of the original local response normalization. The results of experimental comparison and verification show that the improved network has better recognition effect， the accuracy of the model is increased by 2.8 percentage points， and the reasoning speed and stability are improved correspondingly.

Keywords： Track defect；AlexNet；Attention mechanism；Batch normalization

0 引言

鐵路作為國家的戰略性基礎設施，在我國經濟發展中起著至關重要的作用。截至2021年12月，我國鐵路運營里程突破15萬km［1］。繁忙的鐵路運輸和高速重載列車的快速發展，急需采用現代化的檢測手段來保證鐵路運營安全。

鋼軌、軌枕和扣件作為軌道的主要組成部件，在長時間運營過程中，會出現鋼軌表面損傷、軌枕破損、扣件丟失和螺栓丟失等情況，對鐵路運營安全形成威脅［2］。傳統的人工巡檢方式耗費大量的人力物力，無法適應現代化的鐵路建設［3］。目前，國內外學者圍繞軌道缺陷無損檢測進行研究，主要采用漏磁檢測［4］、無線傳感器檢測［5］、復合電磁檢測［6］和深度學習卷積神經網絡檢測等軌道缺陷檢測方法。前3種方法對硬件維護成本要求較高，且檢測結果易受環境影響。隨著深度學習和神經網絡在計算機視覺領域的興起，不少學者將其運用到鐵路圖像的處理。Wei等［7］利用VGG16網絡對軌道扣件缺陷進行檢測和識別，該方法表明，利用CNN進行扣件缺陷檢測是可行的。劉欣等［8］提出了基于CNN的軌道扣件檢測算法，該算法引入ReLU函數和Dropout方法后，準確率達到98.1%，與經典CNN相比，準確率有明顯的提高。孫次鎖等［9］基于AlexNet網絡模型的深度卷積網絡架構，依照鋼軌探傷車檢測數據的特點修改了卷積層的深度，同時采用Early Stopping和Dropout方法進行訓練，該模型在鋼軌傷損準確率、誤報率等指標上的識別結果基本可以滿足實際需要。總而言之，深度學習卷積神經網絡具有較強的軌道缺陷特征學習和特征表達能力，對各種復雜環境的泛化能力較強，對軌道缺陷的識別效果較好，但實時性還有待進一步提高。

本文基于輕型AlexNet網絡對軌道缺陷識別方法進行改進，具體包括：在AlexNet網絡結構中增加注意力機制，裁剪全連接層數，并添加批量歸一化處理，在減少網絡復雜度、提高實時性的同時，保證識別精度。

1 數據集構建

算法訓練采用Railway Track Fault Detection數據集［10］，該數據集包含鋼軌表面損傷、軌枕破損、扣件丟失和螺栓丟失等軌道缺陷情況，如圖1所示。數據集內的樣本分辨率為224×224，為達到更好的訓練效果，需要對數據集進行數據增強處理。本文對圖片采用水平翻轉、垂直翻轉、正負90度內隨機旋轉、隨機改變圖片的亮度和對比度等技術，在保證目標特征沒有發生改變的情況下擴充數據集。增強后的數據集內共有3 791張圖片，其中，有缺陷圖片為1 890張，無缺陷圖片為1 901張。

2 模型改進

基于AlexNet網絡改進后的模型整體架構如圖2所示，主要包括引入注意力機制、裁剪全連接層和進行批量歸一化處理，旨在提高軌道狀態識別的準確率，保障鐵路運營安全。

2.1 引入注意力機制

注意力機制能夠重點關注與目標相關的信息而忽略圖像中的其他信息，從而提高網絡特征提取能力。輕型AlexNet網絡雖然實時性較強，但特征提取能力有限，在復雜環境下的識別精度很難得到保障。本文在AlexNet網絡的第一個卷積層后面添加卷積塊注意力機制模塊（Convolutional Block Attention Module，CBAM）［11］，通過CBAM的通道注意力機制和空間注意力機制提高輕型AlexNet網絡對數據集的特征提取能力，具體結構如圖3所示。

通道注意力模塊能夠關注輸入圖片中對分類起決定作用的像素區域，更加關注圖像中的鐵軌、螺栓、扣件等區域。首先，在每個通道上分別對AlexNet第一層卷積池化后輸出的特征圖進行最大池化和平均池化；再通過一個多層感知機（Multilayer Perceptron，MLP），將通道數壓縮為原來的1/16，即圖3中的FC1，之后再擴張回48個通道，形成FC2；然后，把兩個經過ReLU激活函數后的輸出按元素相加，通過Sigmoid函數得到通道注意力得分；最后，將通道注意力得分與第一層卷積池化后的特征圖相乘，得到通道注意力的輸出。

空間注意力模塊由兩個池化層、一個卷積層和一個激活函數組成。首先，將通道注意力輸出的結果作為輸入，沿著通道軸進行平均池化和最大池化操作，再將利用Concat操作得到的兩個特征圖拼接在一起；然后，通過一個卷積核大小為7×7的標準卷積層和Sigmoid函數得到空間注意力得分；最后，將空間注意力得分與前面通道注意力的輸出相乘，得到空間注意力的輸出。

2.2 裁剪全連接層

全連接層的作用是對圖片進行正確分類，并輸出圖像分類結果。AlexNet網絡的全連接層參數較多，約占整個參數的96 % ［12］。同時，全連接層會降低訓練速度，容易發生過擬合。相比于經典AlexNet使用的ImageNet數據集，本次實驗的數據集相對較小。因此，我們裁剪了AlexNet網絡中FC6和FC7兩個全連接層，從而減少整個網絡的參數量；并在FC8和FC9之間加入Dropout函數，隨機舍棄一些神經元，防止網絡過擬合；同時，將輸出改為2維，分別為正常軌道和異常軌道兩類。改進后的結構如圖4所示。另外，通過實驗發現，如果去掉所有全連接層，模型的分類效果會變差，網絡的識別準確率會下降，因此本文只裁減了部分全連接層。

2.3 批量歸一化處理

神經網絡學習到的是訓練數據的分布，當訓練數據與測試數據的分布不一致時，網絡的泛化能力會下降［13］。AlexNet網絡采用局部響應歸一化（LRN）操作，增強了模型的泛化能力，使識別率提高了1%～2%。但在后來的研究中發現，LRN對網絡的影響并不大，同時還會大幅增加計算量［14］。LRN是對于在通道數上的一次局部歸一化操作，批量歸一化（Batch Normalization，BN）則是對于每一次輸出的一個面來進行歸一化操作。相比于LRN算法，BN算法能夠使網絡訓練速度提升10倍［15］，從而提升訓練效果。因此，本文運用表現更好的批量歸一化算法來代替LRN進行優化處理。

BN算法能使網絡中每層輸入數據的分布相對穩定，加快學習速度，從而使網絡學習更加穩定。模型經過歸一化處理后，能防止發生梯度消失的問題［16］。同時，BN算法還能起到正則化效果，防止模型過擬合。

3 實驗結果分析3.1 實驗環境

在本實驗環境中，深度學習框架為Pytorch 1.11.0，CPU型號為i5-8300H，GPU型號為GeForce GTX 1050Ti，內存大小為16 GB，操作系統為Windows 10。在訓練與測試過程中：采用交叉熵函數作為損失函數，用SGD優化算法對參數進行迭代計算；將學習率設置為0.001，為防止網絡不能收斂，每迭代50次進行一次學習率衰減，衰減系數為0.5；將Batch size設置為32，Dropout設置為0.5，訓練迭代次數為200。本文選擇每類樣本70%的圖片作為訓練集，其他圖片作為測試集。

3.2 實驗結果及分析

為驗證改進后所得網絡模型的效果，本文基于第1節所述的數據集進行對比實驗，將epoch設為200次，學習率等參數不變，保證了除模型外的其他實驗條件相同。圖5是經典AlexNet網絡模型的準確率和損失值變化曲線圖。網絡的準確率和損失值均在150次迭代后趨于收斂，曲線局部突變比較明顯，說明模型訓練結果不太穩定。

圖6是改進的AlexNet網絡模型的準確率和損失值曲線圖。改進后，模型的準確率和損失值在50次迭代后趨于收斂，曲線局部突變較少，魯棒性有所提升，模型的準確率也進一步提升，損失值進一步下降。由于裁減了全連接層，減少了約2/3的網絡參數，模型的訓練速度得到了提高，推理速度也得到了提升，FPS達到427.5。

對多個模型進行對比實驗，結果如表1所示。

模型在未添加BN層時，迭代200次后仍未收斂且精度較低。在添加BN層后，模型收斂所需的迭代次數減少，準確率得到提高。在此基礎上，裁剪部分全連接層，模型精度沒有大幅度下降，但模型的參數量大大減少，推理速度得到提高，能夠滿足軌道缺陷實時檢測的要求。

4 結束語

本文提出一種基于改進的AlexNet網絡模型的軌道缺陷識別方法，與原網絡相比，添加了注意力機制，引入了批量歸一化處理，裁剪了部分全連接層，減少了網絡參數。優化后，模型的準確率比原來提高了2.8個百分點，具有更好的識別效果。同時，在訓練過程中，模型的收斂速度更快，前向推理時間可達2.339ms，每秒處理幀數提高了17.5。由此可見，改進后的輕量化網絡模型在獲得更高準確率的同時，推理速度進一步提高，能夠滿足軌道缺陷任務對實時性的要求。

［參考文獻］

［1］ 全國鐵路營運總里程逾十五萬公里——夯基筑路護航發展［EB/OL］.（2022-01-10）［2022-10-20］. http：//www.gov.cn/xinwen/2022-01/10/content_5667326.htm.

［2］ 殷超.基于機器視覺的軌道缺陷識別方法研究［D］.蘭州：蘭州交通大學，2016：1-2.

［3］ 韋若禹，李舒婷，吳松榮，等.基于改進YOLO V3算法的軌道扣件缺陷檢測［J］.鐵道標準設計，2020，64（12）：30-36.

［4］ JIA Y L， LIANG K W， WANG P， et al. Enhancement method of magnetic flux leakage signals for rail track surface defect detection［J］. IET Science， Measurement & Technology，2020，14（6）：711-717.

［5］ ZHAO Y L， LIU Z Q， YI D， et al. A review on rail defect detection systems based on wireless sensors［J］. Sensors，2022，22（17）：6409.

［6］ 許鵬，耿明，方舟，等.基于復合電磁的高速軌道缺陷檢測方法研究［J］.機械工程學報，2021，57（18）：57-65.

［7］ WEI X K， YANG Z M， LIU Y X， et al. Railway track fastener defect detection based on image processing and deep learning techniques： a comparative study［J］. Engineering Applications of Artificial Intelligence，2019，80：66-81.

［8］ 劉欣，張瑤，熊新娟.基于卷積神經網絡的軌道扣件狀態檢測［J］.實驗室研究與探索，2018，37（11）：58-61.

［9］ 孫次鎖，劉軍，秦勇，等.基于深度學習的鋼軌傷損智能識別方法［J］.中國鐵道科學，2018，39（5）：51-57.

［10］ GERRY. Railway track fault detection resized （224×224）［EB/OL］.（2022-08-11）［2022-10-20］. https：//www.kaggle.com/datasets/gpiosenka/railway-track-fault-detection-resized-224-x-224.

［11］ WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］//Proceedings of the European Conference on Computer Vision （ECCV）. Munich， Germany：ECCV，2018： 3-19.

［12］ 許江華，解妍，陳德裕.一種改進AlexNet的車牌識別方法［J］.軟件導刊，2022，21（6）：205-209.

［13］ 肖小梅，楊紅云，易文龍，等.改進的Alexnet模型在水稻害蟲圖像識別中的應用［J］.科學技術與工程，2021，21（22）：9447-9454.

［14］ 郭敏鋼，宮鶴.AlexNet改進及優化方法的研究［J］.計算機工程與應用，2020，56（20）：124-131.

［15］ 楊紅云，萬穎，王映龍，等.基于批歸一化與AlexNet網絡的水稻病害識別［J］.激光與光電子學進展，2021，58（6）：164-174.

［16］ 湯仕豪. 基于小型無人機的建筑內部災情信息獲取與建圖［D］.大連：大連理工大學，2020：13-14.

（責任編輯 白麗媛）

［收稿日期］ 2022-10-25

［作者簡介］ 趙家祥（1999—），男，遼寧大連人，北京聯合大學城市軌道交通與物流學院碩士研究生，主要研究方向為智能交通；劉澤宇（2000—），男，河北唐山人，北京聯合大學城市軌道交通與物流學院碩士研究生，主要研究方向為智能交通；施代能（1997—），男，湖南邵陽人，北京聯合大學城市軌道交通與物流學院碩士研究生，主要研究方向為智能交通。

［通訊作者］方建軍（1970—），男，湖北羅田人，北京聯合大學城市軌道交通與物流學院教授，主要研究方向為智能交通、智能機器人。E-mail：jianjun@buu.edu.cn