基于Mask R-CNN算法在軌道扣件缺陷檢測中的應用

倪費杰，林群煦，閆笑顏，徐群華，吳月玉，江旭耀

（五邑大學 軌道交通學院，廣東 江門529020）

0 引言

隨著我國軌道交通的快速發展，國內鐵路里程的不斷增加，無論是客運還是貨運，鐵路運輸起到其他運輸方式無法代替的作用，然而鐵路的安全與養護與列車的安全運行有著至關重要的關系?？奂_保了鋼軌與鋼軌及鋼軌與軌枕之間的可靠聯結，保持了鋼軌的連續性與整體性?？奂軌蜃柚逛撥壪鄬τ谲壵淼目v向移動、確保軌距正常，并在機車車輛的動力作用下充分發揮緩沖減振功能，減緩線路殘余變形的積累。但列車在行駛過程中產生劇烈振動、雨水對扣件的腐蝕等因素，都可能產生扣件缺陷，甚至由此引發列車脫軌事故的發生。因此，亟需一種迅速且能自動化檢測扣件缺陷的方法。

目前，國內扣件缺陷檢測方式仍然以人工巡檢為主，以巡檢列車檢測為輔，主要原因是尚缺少高效準確的扣件檢測算法，且多數算法不穩定[1]。在國外的高速巡檢列車中，美國ENSCO公司的T10型檢測列車、英國的NMT綜合巡檢列車和法國的IRIS320型綜合巡檢列車都基本實現了對扣件圖像的采集和檢測任務[2]。近年來隨著神經網絡與深度學習（Deep Learning）的快速發展，小目標缺陷檢測技術越來越成熟，并且相關的研究已經應用到識別有砟軌道區域、軌道塞釘[3]等零部件的檢測，并取得了良好的檢測效果。

針對人工巡檢效率低下、成本較高、準確率難以保障的問題，本文采用Mask R-CNN網絡實現對軌道扣件的缺陷檢測，從而實現軌道扣件的自動化檢測。

1 扣件缺陷檢測系統簡介

本文建立的缺陷檢測系統主要由扣件圖像采集系統、缺陷識別系統組成。其中圖像采集系統由可在軌運行的檢測小車、高速工業相機、相機支架與補光燈支架組成。其中檢測小車速度為2 m/s，扣件所在區域尺寸為350 mm×150 mm，綜合考慮扣件所在區域、不同扣件的生產和測量誤差，選取不同扣件的平均誤差0.2 mm來計算所需工業相機的分辨率。計算公式如下：

相機分辨率=檢測區域的面積÷（檢測精度×檢測精度）。

所以相機分辨率約為131萬。為了提高系統的精準度和穩定性，減少干擾像素點被誤認為缺陷的概率，一般工業界取缺陷的面積在3～4個像素以上，因此在選擇相機時應在上述結果的基礎上乘以4，故選取500萬像素的工業相機。

缺陷識別系統以TensorFlow、Keras架構為基礎，使用Python語言編寫Mask R-CNN算法。

2 Mask R-CNN 算法

Mask R-CNN[4]（結構簡圖如圖1）是2017年He Kaiming首次提出，該網絡是在分類與回歸2個分支的基礎上增加了一個Mask分支進行語義分割。

圖1 網絡結構簡圖

Mask R-CNN中定義的損失函數是一個多任務的損失函數：

2.1 主干特征提取網絡Resnet101

本文介紹的Mask R-CNN網絡，以Resnet101[5]為主干特征提取網絡。如圖2所示，首先將輸入的圖片使用Zeropadding（零填充），將圖片大小統一為1024×1024，經過卷積、Batch Normalization（批歸一化）、Relu函數等一系列操作提取特征，以提取到的C2、C3、C4、C5等4個有效特征層為基礎建立FPN。

2.2 特征融合模塊

本文利用Mask R-CNN算法實現對扣件與扣件缺陷的實例分割任務，采集校內軌道扣件圖像，建立一個扣件數據集。扣件圖像經過主干特征提取網絡后得到不同維度的特征圖，隨后由FPN對特征圖進行特征融合，最后由RPN對融合后的特征進行分類、回歸及掩膜生成。

2.2.1 FPN模塊

FPN[5]是傳統CNN網絡對圖片信息表達輸出的一種增強，改進了CNN網絡的特征提取方式，使最終輸出的特征可以更好地表示輸入圖片各個維度的信息。使用主干特征提取網絡中依次縮小了4、8、16、32 倍 的C2、C3、C4、C5的結果構建FPN。如圖3所示，它的基本流程為：由上至下對C2、C3、C4、C5進行卷積操作，對不同維度生成特征，隨后由下至上從C5進行上采樣，與C4卷積后的結果相融合，把融合后的結果上采樣，再與C3卷后的結果融合，重復上述過程一直到C2；完成上述特征融合操作后，得到P2、P3、P4、P5，再將P5經過一次pool_size為1×1、步長為2的最大池化操作，得到P6，從而實現多尺度特征融合。

圖2 ResNet101主干特征提取網絡

圖3 金字塔特征提取網絡結構

2.2.2 RPN模塊

RPN首先由Faster R-CNN提出，其主要作用是提取候選框。把FPN提取到的P2、P3、P4、P5、P6作為RPN網絡的有效特征層，上述有效特征層在圖像中時就是特征圖，首先對特征圖進行一次通道數為512、卷積核大小為3×3的卷積。對于特征圖上的每一個點（即錨點，anchor point），生成具有不同尺度和寬高比的RoI，隨后進行NMS（非極大值抑制）篩選出得分較高的RoI。然后將這些RoI輸入到兩個網絡層中去，其中一個網絡層用來分類，使用通道數為6、卷積核大小為1×1的卷積預測公用特征層上每個網格點上的每個預測框內是否包含了物體（即這個RoI里面的特征圖是否屬于前景）；另一個網絡層輸出4個位置坐標，使用anchors_per_location×4的卷積預測公用特征層上每個網格點上的每個先驗框相對于真實物體框的偏移。

獲得上述4個位置坐標后使用RoI Align，解決了RoI Pooling操作中2次量化造成的區域不匹配(mis-alignment)的問題，并且提升了模型的檢測精度。主要是取消了量化操作，使用雙線性差值的方法（如圖4）獲得坐標為浮點數的像素點對應的圖像數值，從而將特征聚集的過程轉化為一個連續的操作。

若已知點Q11=(x1,y1)，Q12=(x1,y2)，Q21=(x2,y1)，Q22=(x2,y2)。

在x方向的線性插值為

圖4 雙線性差值示意圖

遍歷每一個候選區域并對候選框進行雙線性插值操作，保持浮點數邊界不做量化；將候選區域分割成k×k個單元，每個單元的邊界也不做量化；在每個單元中計算固定4個坐標位置，用雙線性插值的方法計算出這4個位置的值，然后進行最大池化操作（如圖5）[7]。

圖5 RoI Align示意圖

對經過RoI Align的RoI進行一次通道數為1024、卷積核大小為7×7的卷積和一次通道數為1024、卷積核大小為1×1的卷積。以上兩次通道數為1024的卷積是用于模擬兩次通道數為1024的全連接，然后再分別通過全連接層和softmax及全連接層和Rshape操作，分別得到建議框內物體類別和建議框的調整參數，經過參數調整后的建議框就是最終的預測框。

在mask分支里，其首先對經過RoI Align的RoI進行resize操作后，使其卷積核大小為14×14、通道數為256，對其進行4次通道數為256、卷積核大小為3×3的卷積，進行一次反卷積將面積擴大1倍，再進行一次通道數為num_classes的卷積，最后mask模型再對像素點進行分類，獲得語義分割結果。

3 試驗

3.1 試驗運行環境

本試驗是在Ubuntu18.04.3系統中運行，電腦處理器為Intel Core i7-9700，顯卡為NVIDIA RTX 2060，內存為16G，試驗框架為TensorFlow與Keras。

3.2 網絡訓練

本試驗數據集來源于校內軌道，通過高速工業相機采集扣件圖片。其中常見的扣件缺陷包括扣件斷裂、扣件缺失、扣件螺母松動引起的扣件旋轉等3種缺陷。因此本文自制了包括正常軌道扣件在內的4類數據集，分別是正?？奂╧oujian）、斷裂扣件（duanlie）、扣件缺失（queshi）、扣件旋轉（xzhuan）,各類樣本如圖6所示。

圖6 正?？奂c缺陷扣件

上述缺陷扣件圖像共采集150余張，正常扣件圖像400余張，對缺陷扣件圖像進行鏡像、高斯模糊等操作后擴展到600張，其中各類缺陷各占200張。隨機取出扣件圖像420張、正?？奂?80張組成訓練數據集，再將剩余的180張缺陷扣件與120張正?？奂颖窘M成測試數據集。使用Labelme工具對數據集圖像進行標注并以json文件存儲。

使用Mask R-CNN網絡訓練時，學習率設置為0.001，訓練50個epoch，每個epoch迭代250次，訓練過程總計12 500次。損失函數曲線圖如圖7所示，橫坐標表示訓練的epoch的次數，縱坐標表示損失函數的計算結果。該曲線從第10個epoch損失函數曲線就已經趨于穩定，充分證明了本網絡的優越性能。同時，也證明了本網絡能使用較少的數據集就可以訓練出一個相對理想的模型。實驗結果如圖8所示，預測框能夠準確地預測、標記缺陷種類與扣件位置，并且也能通過語義分割較準確地分割出扣件形狀。

圖7 損失函數圖像

圖8 部分實驗結果樣例

4 結語

本文實現了Mask R-CNN 網絡在鐵路扣件缺陷檢測領域的應用，把采集到的正常扣與進行數據增強處理的缺陷扣件組成數據集，按照7:3的比例分為訓練集和測試集。并且對該網絡的結構及部分重點算法原理進行了簡單分析，本文試驗驗證結果表明，相較于其他算法，不僅可以通過預測框分辨出缺陷類別，也可以通過語義分割后的圖像形狀分辨出缺陷種類。在不影響檢測精度的條件下，進一步提升檢測速度與語義分割的精度是后續主要的研究方向。