基于改進Faster R-CNN的鋼軌踏面塊狀傷損檢測方法

（華東交通大學信息工程學院，南昌 330013）

0 引言

在鐵路運營過程中，列車輪軌與鋼軌間產生的強烈摩擦、擠壓、彎曲、沖擊會使鋼軌踏面易呈現塊狀、長寬比均勻的剝落、凹陷和掉塊等塊狀傷損［1］，該類傷損在灰度和紋理特征上與鋼軌無傷損區域有明顯差異，且存在形狀、尺度多變等特點，若不及時被發現并采取安全措施，當其發展到一定程度時，將會導致列車脫軌、傾覆等重大事故，造成嚴重的人員傷亡和巨額財產損失。因此，采用有效的目標檢測方法對鋼軌踏面塊狀傷損進行準確定位和快速分類具有重大意義。

鋼軌表面傷損的物理檢測方法主要有渦流、漏磁、超聲波、激光掃描、聲發射等方法［2-5］，此類傷損檢測方法存在效率低、檢測慢、分類精度低、成本高、受人為因素影響大等問題，不利于對鋼軌表面傷損進行快速、準確的檢測。而基于深度學習的目標檢測算法則具有檢測精度高、速度快且智能化的特點，主要分為基于無區域提名和基于區域提名的兩類目標檢測算法。其中，基于無區域提名目標檢測算法以YOLO（You Only Look Once）系列［6-9］、單擊多盒檢測器（Single Shot MultiBox Detector，SSD）［10］為主，該類算法將生成候選框和分類回歸合并成一個網絡中，降低了網絡計算的復雜度，提高了目標檢測速度，但對小目標卻無法準確定位，檢測精確度較低。而基于區域提名目標檢測算法主要以基于區域卷積神經網絡（Regions with Convolutional Neural Network features，RCNN）系列為主，Girshick 等［11-12］先后提出了R-CNN［11］、快速區域卷積神經網絡（Fast Regions with Convolutional Neural Network features，Fast R-CNN）算法［12］，在R-CNN 的基礎上加入感興趣區域池化層，提高了訓練和測試速度；Ren 等［13］提出了更快速的區域卷積神經網絡（Faster Regions with Convolutional Neural Network，Faster R-CNN）算法，通過設計區域建議網絡（Region Proposal Network，RPN）、候選框提取和Fast R-CNN 檢測3 個模塊，進一步提高了檢測速度及檢測精度；為了避免圖像尺度對卷積計算的影響，He 等［14］提出了空間金字塔池化方法；Lin 等［15］將特征金字塔網絡模型（Feature Pyramid Network，FPN）引入Faster R-CNN，實現了多尺度特征的融合，提高了小目標檢測精度；基于區域提名的目標檢測算法對多目標檢測或小目標檢測的精確度較高，檢測效果較為理想。

因此，考慮到鋼軌踏面塊狀傷損尺度變化較大，且存在尺度較小的傷損目標情況，本文提出了一種基于改進Faster RCNN的鋼軌踏面塊狀傷損檢測算法，主要改進點如下：

1）針對鋼軌踏面塊狀傷損存在傷損類間差異小、尺度變化大的特性，提出了基于Faster R-CNN 和FPN 的鋼軌踏面塊狀傷損檢測方法。

2）引入文獻［16］中提出的廣義交并比（Generalized Intersection over Union，GIoU）損失函數優化預測框與實際邊框之間的距離，以提高鋼軌踏面塊狀傷損的檢測精度。

3）針對Faster R-CNN 中RPN 生成的錨點大量冗余而導致檢測網絡訓練中正負樣本失衡和存在IoU 閾值設置、錨點尺度及長寬比等超參數設計困難的問題，采用引導錨定的區域提名網絡（Region Proposal Network by Guided Anchoring，GA-RPN）［17］的優化方法。

1 Faster R-CNN 算法介紹

Faster R-CNN 算法結構如圖1 所示，主要由特征提取網絡、RPN 和檢測網絡組成。其中，特征提取網絡采用ResNet-101 基礎網絡結構［18］，如表1 所示，該網絡輸出的特征圖由RPN和檢測網絡共享。

圖1 Faster R-CNN結構Fig.1 Structure of Faster R-CNN

在RPN 中，首先，根據設定的長寬比和尺度窗口，以特征圖中每個像素點為中心生成一定數量的錨點；然后，根據錨點和實際邊框的重疊程度對錨點進行篩選，再將篩選出的錨點進行初步回歸，生成質量較高的候選區域框。此外，RPN與特征提取層參數共享，減少了RPN 的訓練成本，減少檢測網絡的計算量，同時保證了對目標的檢測效率。RPN 具體結構如圖2所示。

表1 ResNet-101的組成結構Tab.1 Composition structure of ResNet-101

圖2 基于RPN的目標候選區域生成示意圖Fig.2 Schematic diagram of object candidate region generation based on RPN

在RPN 訓練過程中，生成的近10 000 個錨點首先經過軟非極大值抑制（Soft-Non Maximum Suppression，Soft-NMS）處理，保留與實際邊框的交并比（Intersection over Union，IoU）不超0.7 的最大分數預測錨點（2 000 個左右），進行前背景二分類后，將正樣本的錨點進行初步回歸。

RPN 的損失函數包含分類損失和回歸損失兩個部分，具體如下：

其中：Ncls和Nreg分別表示二分類錨點數量和待回歸預測邊框數量；Lcls為二分類的交叉熵損失函數，為pi錨點的二分類概率；pit為錨點的實際分類，取值為1（包含目標的正樣本）或0（背景負樣本）；λ1用于平衡分類和回歸損失，本文中設為10；Lreg是錨點的回歸損失函數，用smoothL1定義；ei和eit分別表示預測邊框Bp(xp，yp，wp，hp)和錨點a(xa，ya，wa，ha)到目標實際邊框Bt(xt，yt，wt，ht)之間的定位誤差；i表示經過非極大值抑制后保留的錨點序號。相關定義如下：

2 基于改進Faster R-CNN 的鋼軌踏面塊狀傷損檢測

2.1 特征提取網絡的改進

針對鋼軌踏面塊狀傷損呈現出的尺度變化大的特點，基于Faster R-CNN 的檢測框架及FPN 的設計思想，通過上采樣將低層特征的高分辨率和高層特征的高語義信息融合，對小尺度特征圖的特征信息進行增強，以提高網絡對多尺度傷損的檢測精確度。首先，ResNet-101 生成5 個卷積特征圖Conv1、Conv2、Conv3、Conv4、Conv5；然后，采用如圖3 所示的bottom-top 和top-down 網絡，用1 個1×1 卷積對當前尺度特征圖Convi與下一層特征圖經過上采樣的輸出結果相加，并通過一個3×3 卷積，生成與當前尺度相同的新特征圖Pi（i取4，3，2），P5 為Conv5 通過1×1 卷積降維到256 得到。通過此方式，使得卷積特征圖在原有尺度特征的基礎上獲得了更深語義特征的補充，進而增強了網絡對不同尺度傷損特征的表達能力。

圖3 基于FPN+Faster R-CNN的鋼軌踏面塊狀傷損檢測網絡結構Fig.3 Structure of rail tread block defects detection network based on FPN+Faster R-CNN

2.2 邊框回歸損失函數的改進

Faster R-CNN 中目標框回歸損失為SmoothL1損失，該損失只考慮到了預測邊框和實際邊框坐標間的距離，沒有考慮到兩框的重疊度，不利于預測框的精準回歸；另外，使用IoU 損失作為回歸損失，雖然能夠考慮到兩框的重合度，但依舊存在以下問題：

1）當預測邊框與實際邊框間無重疊區域時，即IoU 為0時，目標函數求導為0，無法進行優化；

2）當預測邊框與實際邊框存在兩個或多個相同大小的IoU時，預測效果差異較大。

針對IoU 直接作為邊界框回歸損失函數的缺點，采用Rezatofighi 等［16］在CVPR2019 上提出了GIoU 回歸損失函數，具體定義如下：

給定任意兩個凸面形Bp和Bt（Bp，Bt?S∈Rn），C為包含Bp，Bt的最小凸面形C?S∈Rn，Bp和Bt的IoU為：

則Bp和Bt的GIoU損失定義為：

GIoU 損失具有以下性質：GIoU 具有度量標準的優良性質，即非負性、同一性、對稱性和三角不等式性質；GIoU 損失繼承了IoU 損失的尺度不變性；GIoU 損失小于或等于IoU 損失；對于兩個矩形框Bp、Bt，有0 ≤IoU(Bp，Bt)≤1，-1 ≤IoU(Bp，Bt)≤1。

預測邊框與實際邊框的對齊程度會影響C的面積大小，當IoU 相同時，兩者的對齊程度越好，C的面積越小，GIoU 損失值越大；反之亦然；并且，當Bp和Bt沒有重疊區域時，雖然IoU 為0，但GIoU 損失依然存在。因此，GIoU 損失可以直接作為損失函數。圖4 給出（a）、（b）、（c）三種不同預測邊框情況下的均方誤差（Mean Square Error，MSE）損失函數（簡稱均方損失）、交并比（IoU）以及GIoU 三種回歸損失，當MSE 損失相同時，檢測效果相差巨大，同時IoU和GIoU損失變化也較大。

圖4 均方損失、IoU損失和GIoU損失對比Fig.4 Comparison of mean square loss，IoU loss and GIoU loss

2.3 區域建議網絡的改進

基于RPN 的感興趣區域生成過程中，塊狀傷損圖像中傷損目標的數量遠遠小于生成的錨點數量，即生成的大量錨點框是冗余，會導致RPN 訓練時正負樣本數失衡，從而影響檢測網絡的性能；并且，還存在IoU 閾值設置、錨點尺度及長寬比等超參數設計困難的問題。因此，本文提出GA-RPN 替代RPN 的優化方案，以提高檢測網絡對鋼軌踏面塊狀傷損的檢測精確度。

GA-RPN 感興趣域生成網絡可分為錨點生成模塊和特征自適應模塊（如圖5中GA-RPN模塊所示）。其中，錨點生成模塊中定位子分支用于判斷輸入特征圖上每個特征點是否為目標點；定形子分支用于確定是目標特征點的錨點的寬和高；特征自適應模塊則根據定形子分支生成的錨點形狀對該區域內的特征進行重采樣，根據興趣域大小調整其區域內特征感受野。接下來分別對這3個過程進行介紹。

1）位置判斷。

輸入特征圖F經由一個1×1 卷積后，再通過Sigmoid 函數激活，生成一個尺度與F相同的概率特征圖Fp，其各點值表示F中每個特征點為目標的概率。然后，設定一個概率閾值τ，Fp中特征值大于τ的點，對應在F被判斷為目標中心點。最后，通過閾值篩選減少近90%的錨點數量。

2）錨點形狀生成。

錨點定位模塊給出了錨點中心位置，還需對所有錨點框的寬（w）和高（h）進行預測。考慮到錨點尺度變化較大，直接學習w和h可能會導致網絡不穩定，無法訓練，將w、h做以下變換，見式（8）、式（9）。

其中：s為特征圖相對于輸入圖像的卷積步長，σ取經驗值1.6。該過程由一個2 維的1×1 卷積實現。這種非線性變換，能夠將待學習的參數范圍從［1，1 000］調整到［-1，1］，簡化網絡訓練。

這種根據錨點位置信息來學習錨點框寬和高的方法，增加了錨點位置與形狀的相關性，進而能夠獲得更高的召回率。

3）特征自適應調整。

與RPN 生成的固定尺度和長寬比的錨點不同，GA-RPN生成的錨點的形狀是不定的，而在目標檢測任務中，通常尺度不同的目標需要的感受野不同。因此，GA-RPN 利用特征自適應模塊對所有錨點框對應的感受野進行調整。

其中：fi是錨點生成模塊生成的第i個錨點框對應在輸入特征圖F上的特征值；wi、hi是預測出該錨點的寬和高；H(?)由一個3×3的可變形卷積實現；f'i為調整后的特征值。

2.4 改進后的整體網絡結構

基于FPN+GIoU+GA-RPN+Faster R-CNN 的鋼軌踏面塊狀傷損檢測網絡整體結構如圖5 所示。該結構中將原本串聯在FPN 的每個特征層之后的RPN 結構直接替換成GA-RPN。而該結構的總訓練損失分為興趣域生成損失和目標分類與定位損失，興趣域生成損失中又包含錨點定位損失Lloc和錨點形狀預測損失Lshape，其中Lloc定義為特征圖中點屬于前景或背景的二分類損失。

圖5 基于改進FasterR-CNN的鋼軌踏面塊狀傷損檢測網絡設計Fig.5 Design of rail tread block defects detection network based on improved Faster R-CNN

由于生成錨點中正樣本數量遠小于負樣本數量，因此采用具有正負樣本平衡能力的Focal 損失，如式（11），其中：pi表示特征點預測為正樣本的概率表示該特征點的實際標簽，取值0 或1；α用于控制正負樣本平衡，取值為0.25；γ用于使網絡注重困難樣本學習，取值為2。

在訓練時用目標實際邊框Bt(xt，yt，wt，ht)指導訓練，即將實際邊框Bt分為中心區域（Center Region，CR）、忽略區域（Ignore Region，IR）和外區域（Out Region，OR），定位在CR 內的錨點為正樣本，定位在OR 區域內的錨點為負樣本，具體關系如式（12）：

其中：R用來定義區域，0 ＜φ1＜φ2＜1，用于控制生成錨點的數量以及距離實際邊框中心的距離，實驗中分別為0.2和0.5。

生成的錨點中心位置之后需要對其形狀進行預測，首先要對錨點awh(x，y，w，h)鎖定的目標實際邊框Bt進行確定，然后就是利用Bt對awh的形狀預測的指導。根據文獻［17］，直接回歸得出awh值是難以實現的，因而采用對w、h采樣近似的方法。具體地，借鑒RtinaNet［19］，對FPN 的P2 到P5 分別設有9種可能的w和h，不同層的w、h組成的面積分別為｛16×16，32×32，64×64，128×128｝的20、21/2和22/3，且w∶h有0.5、1.0 和2.0三種取值。定義awh與某個實際邊框的最大交并比為vIoU，找到與awh具有最大交并比的Bt，以及此時awh的w和h。

錨點形狀預測Lshape損失如式（14）：

得到錨點進入興趣域池化產生感興趣區域，之后便可對興趣域中目標分類以及目標預測邊框回歸。目標分類損失Lcls是與Faster R-CNN相同的交叉熵，如式（15），而目標邊框回歸損失Lreg改成GIoU損失，具體為式（16）：

其中：P是每個興趣域中目標分別屬于k個目標類別和背景類的概率分布；u為目標實際類別；Bp(xp，yp，wp，hp)為目標預測框。

網絡訓練的總損失L為以上4個損失之和，即：

其中：λ3、λ4用于平衡錨點定位和定形損失，取值分別為1和0.1。

3 實驗結果與分析

3.1 數據集預處理

本實驗基于MS COCO 2017數據集對鋼軌踏面塊狀傷損檢測網絡進行預訓練，選用我國北京交通大學李清勇老師團隊［20］所采集的關于重型鋼軌（大小為160×1 000，共67張）和普通鋼軌（大小為55×1 250，共128張）踏面的傷損數據集RSDDs對預訓練好的網絡結構進行參數微調。通過分析RSDDs數據集中鋼軌傷損特征，得出該數據集傷損類型皆為塊狀傷損，并且從傷損邊緣是否規整，可將該數據集分為兩種傷損類型，如圖6（a）、（b）所示：一類為外輪廓不規則、呈分層狀態，記為chip_fall；另一類則是外輪廓光滑、形狀較為規則，記為scallop。

圖6 兩類傷損及傷損輪廓示例Fig.6 Examples of two categories of defects and their contours

考慮到RSDDs數據集中樣本數量少，且兩種圖像尺度相差較大，對該數據集樣本進行預處理：首先，把RSDDs數據集中每個傷損圖像橫向切割成等5張子圖像，并篩選出含有塊狀傷損的子圖像，建立新的鋼軌踏面塊狀傷損數據集，樣本數量為435張；然后，重新調整新數據集中的傷損圖像尺度為200×200，并用開源標注工具Labellmg重新標記為chip_fall和scallop兩類，并生成XML格式的標記文件，如圖7所示；最后，對標記后的新鋼軌傷損數據集進行翻轉、隨機裁剪和加隨機噪聲的數據增廣操作（如圖8所示），建立本文所用的鋼軌踏面塊狀傷損數據集，增廣后樣本數量為3 045張，其中，72%作為訓練集，8%作為驗證集，20%作為測試集，具體樣本分布如表2所示。

圖7 scallop和chip_fall兩類鋼軌踏面傷損圖像及標簽示例Fig.7 Image and label examples of rail tread defects scallop and chip_fall

圖8 鋼軌踏面傷損數據增廣示例Fig.8 Examples of rail tread defect data augmentation

表2 鋼軌踏面塊狀傷損數據集樣本分布Tab.2 Sample distribution of rail tread block defects dataset

3.2 結果分析

3.2.1 實驗環境及評價指標

1）實驗環境。

本實驗采用的硬件環境為：GT1080Ti GPU 顯卡、Intel i5-7600 CPU 處理器、內存16 GB。軟件環境為：Ubuntu 16.04 操作系統、Python3.6、PyTorch 1.3深度學習框架。

2）評價指標。

為充分對基于改進Faster R-CNN 的鋼軌踏面塊狀傷損方法的檢測效果進行對比，本文采用平均精度（Average Precision，AP）、平均精度均值（mean Average Precision，mAP）作為算法的主要評價指標；分別統計檢測預測框與實際邊框的交并比IoU 值（0.5，0.75）的檢測精度，分別記為AP50 和AP75；并對尺度分別在0～32×32、32×32～96×96、大于96×96 的三種鋼軌踏面傷損的檢測精確度進行統計，分別記為Aps、Apm、APl。即本文所用到的評價指標為：mAP、AP50、AP75、APs、APm、APl。

3.2.2 結果分析

本實驗采用帶動量的隨機梯度下降法（Stochastic Gradient Descent，SGD）對網絡進行訓練，初始學習率為0.01，學習率衰減速率為0.000 1，動量為0.7，batch size設置為8，訓練循環最大次數位10 000，輸入傷損圖像大小為200×200。取600 張測試樣本，基于傳統的Faster R-CNN 和改進Faster RCNN 分別對鋼軌踏面塊狀傷損進行網絡訓練，其中訓練集損失變化如圖9 所示可以看出，改進的Faster R-CNN 相較于Faster R-CNN 在訓練過程中收斂較快，且損失值較低。同時得出chip_fall 與scallop 兩種類型的踏面塊狀傷損的檢測結果如圖10 所示，其中（a）組為輸入的塊狀傷損圖像，（b）組為基于YOLOv3 網絡的塊狀傷損檢測效果，（c）組為基于R-FCN 網絡的塊狀傷損檢測效果，（d）組為基于FPN網絡的塊狀傷損檢測效果，（e）組為基于Faster R-CNN 網絡檢測效果，（f）組為基于FPN+Faster R-CNN 網絡的塊狀傷損檢測效果，（g）組為基于GIoU+FPN+Faster R-CNN 網絡的塊狀傷損檢測效果，（h）組為基于GA+GIoU+FPN+Faster R-CNN 網絡的塊狀傷損檢測效果。從圖10 中可以看出本文所提的基于改進Faster R-CNN的鋼軌踏面塊狀傷損方法較其他組的檢測效果而言，對小尺度傷損的檢測精確度更高。為進一步分析模型的泛化性能，以mAP、AP50、AP75、APs、APm、APl 等指標對不同改進網絡測試結果進行統計，結果如表3 所示，兩類塊狀傷損的AP 值如表4所示。

圖9 Faster R-CNN及改進Faster R-CNN的訓練損失變化Fig.9 Change of training losses of Faster R-CNN and improved Faster R-CNN

從表3 可知：FPN+Faster R-CNN 網絡相較于Faster RCNN 而言，小尺度鋼軌踏面塊狀傷損檢測的APs 值提高了4.535 個百分點，說明了FPN 的引入強化了小尺度鋼軌踏面塊狀傷損的特征表達能力；而GIoU-Faster R-CNN 網絡與FPN+Faster R-CNN 相比，鋼軌踏面塊狀傷損檢測效果的mAP、AP50、AP75、APs、APm、APl等各項評價指標分別提升了4.454、3.615、5.405、9.72、5.795、4.016 個百分點，因此說明基于GIoU 的回歸損失函數改進方法與鋼軌踏面塊狀傷損的檢測精確度提高是有效的；相較于GIoU-Faster R-CNN，GAFaster R-CNN 對傷損檢測效果的mAP、AP50、AP75、APs、APm、APl 等各項評價指標分別提升了4.496、0.554、5.8、0.513、4.335、6.623個百分點，即采用GA-RPN代替RPN作為興趣生成網絡，能夠有效地提高鋼軌踏面塊狀傷損檢測精確度；總而言之，相較于傳統的Faster R-CNN 算法來實現鋼軌踏面塊狀傷損檢測而言，采用FPN、GIoU 和GA-RPN 相結合的改進Faster R-CNN 網絡對鋼軌踏面塊狀傷損檢測的mAP 值提高了13.201 個百分點，驗證了本文所提改進方法對鋼軌踏面塊狀傷損檢測精確度提升的有效性。

圖10 不同網絡對chip_fall類和scallop類的傷損檢測效果Fig.10 Defect detection effect of chip_fall category and scallop category by using different networks

表3 不同改進網絡的鋼軌踏面塊狀傷損檢測結果對比 單位：%Tab.3 Comparison of detection results of rail tread block defects by using different improved networks unit：%

由表4 可知，不同的網絡對兩類傷損的檢測精確度不同，但有相同規律，即相較于chip_fall 類塊狀傷損，scallop 類傷損的平均檢測精確度（AP）值更高，由此可推斷出scallop 類傷損的特征更明顯、更規律，更易被檢測；同時，基于GA+GIoU+FPN+Faster R-CNN 相較于傳統的Faster R-CNN 方法對鋼軌踏面塊狀傷損檢測精度提高了12.326個百分點。

綜合以上實驗結果及分析可知，本文提出的基于改進Faster R-CNN 的鋼軌踏面塊狀傷損檢測方法對多尺度塊狀傷損的檢測精確度有明顯的提升。

表4 不同改進網絡對兩種塊狀傷損的平均檢測精確度統計 單位：%Tab.4 AP statistics of two kinds of block defects by using different improved networks unit：%

4 結語

本文提出了基于改進Faster R-CNN 的鋼軌踏面塊狀傷損檢測方法，采用平移、翻轉、裁剪、加隨機噪聲等方法對數據集進行擴充，解決了鋼軌踏面塊狀傷損的數據集不足問題；并在特征提取階段，采用ResNet-101基礎網絡結構，構建多尺度特征金字塔，提高了小尺度塊狀傷損的檢測精度；此外，使用GIoU、Focal 損失函數及GA-RPN 自適應生成錨點方法，彌補了傳統Faster R-CNN 中對預測邊框回歸定位不準確和生成錨點中正負樣本不平衡的不足，可為軌道傷損巡檢的智能化處理提供相關參考。然而，本文僅實現了兩類塊狀傷損的檢測分類，而在工程應用中存在多種多樣的鋼軌踏面傷損，未來可以從鋼軌踏面傷損數據集的擴充著手，對其他常見類鋼軌踏面傷損的精確檢測進行深入研究。