基于改進(jìn)Faster R-CNN算法的扣件缺陷檢測

黃午祥，江 南

（湖北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢 430068）

0 引言

高速鐵路是關(guān)系我國經(jīng)濟(jì)發(fā)展、國民出行等民生問題的重大工程。截至2021 年底，我國鐵路運(yùn)營總里程突破15 萬km，高速鐵路運(yùn)營里程突破4 萬km。鐵路軌道包含道床、鋼軌、聯(lián)接零件等主要組成部件［1］，其中扣件是連接道床和鋼軌的重要組件，作用是固定軌道在路基上的位置以保證鋼軌不發(fā)生偏離，對(duì)確保高速鐵路軌道正常使用的作用巨大［2-4］，一旦扣件無法固定鐵軌將導(dǎo)致脫軌等問題，從而影響列車運(yùn)行安全。由于我國鐵路軌道里程總數(shù)全球最長，采用大量扣件固定，因此需要更快速、準(zhǔn)確的檢測手段識(shí)別扣件缺陷［5］。

目前，國內(nèi)主要依賴人工巡檢鐵路扣件缺陷，但該方式受人員工作狀態(tài)、天氣環(huán)境等因素影響，錯(cuò)誤率較高，并且需要投入大量人力成本［6-7］。雖然少數(shù)線路配備了專門的列車搭載自動(dòng)巡檢裝置［8］，但檢測時(shí)間和頻率均受到了較大限制，只能作為人力巡檢方式的補(bǔ)充形式，無法達(dá)到完全代替人工的效果［9］。

近年來，由于深度學(xué)習(xí)（Deep Learning，DL）、神經(jīng)網(wǎng)絡(luò)（Conventional Neural Network，CNN）的迅速發(fā)展，國內(nèi)外相關(guān)專家學(xué)者提出大量先進(jìn)的目標(biāo)檢測算法［10］，例如基于卷積神經(jīng)網(wǎng)絡(luò)處理鐵路圖像的檢測算法。目前，基于卷積神經(jīng)網(wǎng)絡(luò)識(shí)別鐵路鐵軌［11］、固定軌道道釘［12］等零件狀態(tài)已取得了成效不錯(cuò)的檢測效果。王海濤等［13］提出計(jì)算機(jī)視覺技術(shù)設(shè)計(jì)鐵軌表面缺陷檢測系統(tǒng)。韓江洪等［14］提出基于空間卷積神經(jīng)網(wǎng)絡(luò)檢測井下軌道。王憲保等［15］提出一種分裂的快速區(qū)域卷積網(wǎng)絡(luò)算法，以有效分開邊界框的回歸任務(wù)與分類任務(wù)，并應(yīng)用于吸塵袋數(shù)據(jù)集的缺陷檢測中。陳婉琴等［16］提出在Faster R-CNN 算法基礎(chǔ)上增加CBAM 注意力網(wǎng)絡(luò)，結(jié)合DIoU-NMS 建議篩選機(jī)制提升了算法在面板缺陷檢測領(lǐng)域的精確率。劉雄祥［17］從特征提取網(wǎng)絡(luò)、錨窗設(shè)定、輸出結(jié)果調(diào)整、實(shí)驗(yàn)參數(shù)設(shè)置等方面優(yōu)化與改進(jìn)Faster R-CNN 網(wǎng)絡(luò)模型，檢測鐵軌圖像中較小尺寸的目標(biāo)缺陷。徐守坤等［18］運(yùn)用多尺度訓(xùn)練與增加錨點(diǎn)數(shù)量的方法增強(qiáng)Faster R-CNN 算法的魯棒性，基于比例不均衡的樣本挖掘策略剔除少量檢查錯(cuò)誤目標(biāo)，并將算法應(yīng)用于人員是否佩戴安全帽檢測的過程中，以增強(qiáng)環(huán)境適應(yīng)性。

目前，采用卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法主要分為雙階段目標(biāo)檢測算法與單階段目標(biāo)檢測算法。具體的，基于候選區(qū)域的目標(biāo)檢測算法［5］包含R-CNN［19］（Region-Conventional Neural Network）、Fast R-CNN［20］、Faster RCNN［21］等，這類雙階段目標(biāo)檢測算法首先篩選可能包含的檢測目標(biāo)子區(qū)域，然后通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)類別檢測和邊框回歸；基于回歸的目標(biāo)檢測算法包含SSD［22］（Single Shot Multibox Detector）、YOLO［23］（You Only Look Once）等，這類單階段目標(biāo)檢測算法無需提取候選區(qū)域，直接輸入圖像，利用算法檢測目標(biāo)類別及邊框［5］，檢測速度相較于前者更快，但精度較低。

本文將采集到的斷裂、移位和缺失3 類缺陷圖像樣本制作成扣件缺陷測試數(shù)據(jù)集，以Faster R-CNN 模型為基礎(chǔ)將軌道扣件的各類缺陷作為訓(xùn)練、檢測目標(biāo)。Faster RCNN 檢測相較于目前大多數(shù)目標(biāo)檢測算法精度更高，但通過區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）提取region proposals 的計(jì)算量較大，計(jì)算速度無法達(dá)到實(shí)時(shí)檢測目標(biāo)要求。

因此，本文對(duì)Faster R-CNN 算法提出3 點(diǎn)改進(jìn)：①將具有更深層次與表達(dá)能力更強(qiáng)的ResNet-101+FPN 網(wǎng)絡(luò)代替Faster R-CNN 中用于提取圖像特征的VGG-16 網(wǎng)絡(luò)；②引入ROI Align 單元，采用雙線性插值算法保留浮點(diǎn)數(shù)以提高邊框檢測精度；③利用Soft-NMS 算法取代原始的NMS 算法抑制非極大值。實(shí)驗(yàn)表明，本文算法的檢測性能相較于傳統(tǒng)Faster R-CNN 算法提升較大。

1 Faster R-CNN

Faster R-CNN 是在Fast R-CNN 基礎(chǔ)上使用RPN 代替選擇性搜索（Selective Search，SS）的雙階段目標(biāo)檢測算法。RPN 與Fast R-CNN 在前幾個(gè)卷積層共享參數(shù)，一方面提供更精確的候選區(qū)域，另一方面降低了網(wǎng)絡(luò)計(jì)算冗余，大幅度提升了算法的檢測速度與準(zhǔn)確度［15］。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖1 為Faster R-CNN 算法模型結(jié)構(gòu)，主要分為特征提取網(wǎng)絡(luò)（Backbone）、區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）、感興趣區(qū)域池化（ROI Pooling）及分類器（Classifier）。其中，特征提取網(wǎng)絡(luò)一般采用VGG-16［24］，通過一組Conv+ReLU+Pooling 層提取輸入圖像特征圖，并被RPN 與全連接層共享。

Fig.1 Faster R-CNN model structure圖1 Faster R-CNN模型結(jié)構(gòu)

1.2 RPN

相較于R-CNN、Fast R-CNN算法采用SS方法生成候選框，F(xiàn)aster R-CNN不再使用傳統(tǒng)的滑動(dòng)窗口與SS方法，而通過RPN網(wǎng)絡(luò)生成候選框［25］來加快生成檢測框的速度。

圖2 展示了RPN 網(wǎng)絡(luò)模型的結(jié)構(gòu)流程，特征圖（feature map）經(jīng)過3×3 卷積后分成上下層。上層通過SoftMax分類錨點(diǎn)（anchors）獲得前景（Positive）和背景（Negative），其中檢測目標(biāo)為前景；下層則用于計(jì)算錨點(diǎn)（anchors）的邊界回歸（Bounding Box Regression）偏移量；Proposal 層負(fù)責(zé)綜合positive anchors 和對(duì)應(yīng)bounding box regression 偏移量獲取候選區(qū)域，并篩除邊界外的候選區(qū)域（proposals）。最終將得到的proposals 作為ROI pooling 層的輸入。

Fig.2 RPN model structure圖2 RPN模型結(jié)構(gòu)

Fig.3 RPN structure圖3 RPN結(jié)構(gòu)

如圖3 所示，anchors 是預(yù)訓(xùn)練網(wǎng)絡(luò)卷積層最后一層feature map 上的一個(gè)像素，以該錨點(diǎn)為中心可生成k個(gè)錨框（anchor boxes），將生成的錨框每3 個(gè)分為1 組，錨框長寬比分別為1∶1、1∶2、2∶1，因此每次滑動(dòng)框會(huì)得到3 組不同比例的錨框。分類層（cls layer）輸出2k個(gè)scores 來表明該k個(gè)候選區(qū)域?yàn)榍熬昂捅尘暗母怕省Ｍ瑫r(shí)，邊界回歸層（reg layer）對(duì)應(yīng)于k個(gè)錨框輸出4k個(gè)坐標(biāo)值，分別為該候選框左上角點(diǎn)的坐標(biāo)x、y及該候選框的長、寬［26］。RPN 訓(xùn)練的損失函數(shù)為：

式中，λ表示權(quán)重，pi、分別表示 第i個(gè)anchor 為前景的概率和判定概率；ti、分別代表建議候選框和實(shí)際候選框的坐標(biāo)，Lcls、Lreg分別代表分類損失函數(shù)和回歸損失函數(shù)，Ncls、Nreg代表分類數(shù)量和回歸的錨點(diǎn)數(shù)量［26］。

1.3 ROI Pooling感興趣區(qū)域池化

對(duì)于AlexNet、VGG 這類傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)而言，網(wǎng)絡(luò)訓(xùn)練好后要求固定輸入的檢測圖像尺寸，同時(shí)網(wǎng)絡(luò)輸出也為固定大小的vector 或matrix。如果輸入圖像因尺寸不固定，一旦經(jīng)過crop、warp 操作后就會(huì)破壞其完整結(jié)構(gòu)或形狀信息。因此，使用ROI Pooling 進(jìn)行特征尺寸變換，既保證了網(wǎng)絡(luò)對(duì)feature maps 的尺寸不受限制，還解決了無法更新權(quán)值的問題。

1.4 Classifier分類器

Classifier 部分利用池化輸出的特征圖（feature maps），通過bounding box regression 得到位置偏移量bbox_pred，以便準(zhǔn)確回歸目標(biāo)檢測框。同時(shí)，通過全連接層與SoftMax計(jì)算每個(gè)proposal 具體屬于哪個(gè)類別（例如缺失、斷裂、移位等），得到類別概率值cls_prob。Classifier 模型結(jié)構(gòu)如圖4所示。

2 改進(jìn)Faster R-CNN算法

雖然，F(xiàn)aster R-CNN 相較于Fast R-CNN 檢測性能具有大幅度提升，但仍存在改進(jìn)的地方，例如特征提取網(wǎng)絡(luò)、ROI Pooling 等均能替換為更優(yōu)的模型或選擇更好的策略，以提高算法檢測精度與速度。為此，本文提出改進(jìn)的Faster R-CNN 算法模型結(jié)構(gòu)如圖5所示。

2.1 改進(jìn)特征提取網(wǎng)絡(luò)

相較于傳統(tǒng)Faster R-CNN 算法，本文針對(duì)特征提取模塊與檢測網(wǎng)絡(luò)模塊進(jìn)行改進(jìn)。由于VGG 卷積網(wǎng)絡(luò)在網(wǎng)絡(luò)深度達(dá)到一定程度后，容易出現(xiàn)梯度彌散或梯度爆炸問題［26］。本文提出使用深度更深、運(yùn)算量更小的ResNet-101深度殘差網(wǎng)絡(luò)［27］替換VGG-16 卷積網(wǎng)絡(luò)，以有效解決VGG網(wǎng)絡(luò)存在的梯度彌散、梯度爆炸問題，ResNet-101+FPN 網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

Fig.4 Classifier model圖4 分類器模型

Fig.5 Improved Faster R-CNN model圖5 改進(jìn)Faster R-CNN模型

Fig.6 ResNet101+FPN network structure圖 6 ResNet101+FPN 網(wǎng)絡(luò)結(jié)構(gòu)

由圖6 可見，ResNet-101 在卷積層后添加BN（Batch Normalization）層，將每層輸入統(tǒng)一為正態(tài)分布（方差=1，均值=0）以避免梯度消失、爆炸問題，在縮短訓(xùn)練時(shí)間的同時(shí)，解決了在訓(xùn)練過程中中間層數(shù)據(jù)分布發(fā)生變化的問題。每層第n維輸入如式（2）所示，歸一化所有維的計(jì)算公式如式（3）所示。

FPN［28］的出現(xiàn)實(shí)現(xiàn)了feature maps 的深入融合，一般網(wǎng)絡(luò)算法通常直接使用最后一層feature maps，雖然該層語義較強(qiáng)，但位置和分辨率較低，會(huì)導(dǎo)致模型難以檢測細(xì)小目標(biāo)。FPN 的提出能融合底層到高層的feature maps，充分利用各階段提取到的特征。

為此，本文采用ResNet-101+FPN 作為特征提取網(wǎng)絡(luò)來解決VGG 網(wǎng)絡(luò)存在的梯度爆炸與小目標(biāo)檢測效果不理想問題。

2.2 ROI Align應(yīng)用

ROI Pooling 的核心功能是根據(jù)候選框坐標(biāo)信息在特征圖中，將相應(yīng)區(qū)域池化為統(tǒng)一尺寸的特征圖，以便于后續(xù)特征分類和包圍框的回歸［29］，但由于量化邊界坐標(biāo)的小數(shù)部分及回歸位置的兩次量化操作會(huì)產(chǎn)生不同程度的誤差。因此，本文參考Mask R-CNN 算法［30］，采用ROI Align單元保留浮點(diǎn)數(shù)以消除ROI Pooling 操作中兩次量化造成的區(qū)域不匹配（mis-alignment）問題，最終得到了一個(gè)更精準(zhǔn)的檢測效果，ROI Align 模型流程圖如圖7所示。

由圖7 可見，首先逐個(gè)遍歷所有候選區(qū)域；然后將候選區(qū)域分割成規(guī)格為3×3 的單元，遍歷與分割過程均不作任何量化；接下來采用雙線性內(nèi)插方法計(jì)算每個(gè)單元中固定的4 個(gè)坐標(biāo)位置；最后進(jìn)行最大池化操作［31］。ROI Align由于解決了mis-alignment 問題，因此即使遍歷取樣點(diǎn)的數(shù)量即使少于ROI Pooling 也能得到更優(yōu)的性能。

2.3 改進(jìn)NMS算法

Faster R-CNN 算法主要基于傳統(tǒng)非極大值抑制NMS算法進(jìn)行分類［26］，原理是通過抑制非極大值得到局部極大值，具體計(jì)算公式為：

Fig.7 ROI Align model structure圖7 ROI Align 模型結(jié)構(gòu)

式中，Si為每個(gè)檢測框的分?jǐn)?shù)，IoU(M，bi)為第i個(gè)檢測框bi與檢測分?jǐn)?shù)最高檢測框M的最大交并比，Nt為NMS的預(yù)設(shè)閾值，IoU的計(jì)算公式為：

式中，A、B分別代表候選框和原標(biāo)記框面積。

由式（4）可知，與檢測框相鄰且大于預(yù)設(shè)值的框Si會(huì)被設(shè)為0，當(dāng)重疊度高的兩個(gè)或多個(gè)圖像被掃描時(shí)，將直接不檢測大于預(yù)設(shè)閾值檢測框中得分較低的相鄰目標(biāo)框，因此算法的檢測性能將受到一定影響。為此，本文采用改進(jìn)的Soft-NMS 算法［32］代替NMS 算法進(jìn)行分類，具體計(jì)算公式如下：

Soft-NMS 算法通過設(shè)計(jì)一個(gè)衰減函數(shù)，根據(jù)當(dāng)前得分遞歸地重新評(píng)分，取代直接抑制大于預(yù)設(shè)閾值檢測框中得分較低的相鄰目標(biāo)框的做法，可有效保留價(jià)值更高的目標(biāo)檢測框。同時(shí)，在Soft-NMS 算法中引入的超參數(shù)僅在測試驗(yàn)證階段使用，并未增加訓(xùn)練階段參數(shù)與計(jì)算復(fù)雜度［29］。本文多次試驗(yàn)表明，當(dāng)IoU=0.7時(shí)可取得最佳實(shí)驗(yàn)效果。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

為驗(yàn)證改進(jìn)算法的檢測性能，實(shí)驗(yàn)采集了343 張扣件斷裂、402 張扣件缺失、488 張扣件移位及362 張正常扣件圖像，共計(jì)1 595 張，圖像規(guī)格均為120×80，各類樣本圖像如圖8 所示，使用labelImg 制作成PASCAL-VOC2007 數(shù)據(jù)集可滿足本文目標(biāo)檢測算法實(shí)驗(yàn)的需求。

Fig.8 Fastener status圖 8 扣件狀態(tài)

實(shí)驗(yàn)分為兩大部分，算法分別為上述所介紹的改進(jìn)前后的Faster R-CNN 目標(biāo)檢測算法。本文實(shí)驗(yàn)在Windows10 系統(tǒng)下進(jìn)行，Intel i5-10300H 處理器、16G 內(nèi)存、512 SSD 硬盤、GTX1650Ti 顯卡；軟件環(huán)境為Python3.7.0+CUDA10.1+CuDNN7.6，深度學(xué)習(xí)框架為Pytorch1.8.0。實(shí)驗(yàn)將訓(xùn)練學(xué)習(xí)率設(shè)為0.001，權(quán)重衰減系數(shù)設(shè)為0.000 1，批量大小為50，訓(xùn)練100 個(gè)epoch，采用均值平均精度（mean Average Precision，mAP）作為評(píng)價(jià)指標(biāo)，具體計(jì)算公式為：

3.2 網(wǎng)絡(luò)訓(xùn)練步驟

實(shí)驗(yàn)采用的樣本數(shù)據(jù)訓(xùn)練驗(yàn)證集（訓(xùn)練集+驗(yàn)證集）與測試集的比例為9∶1，訓(xùn)練驗(yàn)證集中訓(xùn)練集與驗(yàn)證集的比例也為9∶1。改進(jìn)后的Faster R-CNN 目標(biāo)檢測算法實(shí)驗(yàn)訓(xùn)練步驟為：

步驟1：以某張扣件圖片A 為例，首先進(jìn)行Normalize與Resize 處理得到統(tǒng)一尺寸圖片B，將其送入特征提取網(wǎng)絡(luò)。

步驟2：圖片B 經(jīng)過ResNet-101 網(wǎng)絡(luò)+FPN 提取得到特征融合圖C。

步驟3：將圖C 與target 傳入RPN 中，通過RPN 后將輸出區(qū)域建議網(wǎng)絡(luò)D 與其損失proposal_losses。

步驟4：將特征融合圖C 與網(wǎng)絡(luò)D 作為ROI 輸入，通過ROI Align 進(jìn)行遍歷、池化得到特征圖與建議框的映射關(guān)系E。

步驟5：將E 進(jìn)行展平和兩次全連接處理后輸出分類器和回歸器，通過分類器分類E、回歸器修正目標(biāo)邊框，對(duì)網(wǎng)絡(luò)預(yù)測結(jié)果進(jìn)行后處理，將bboxes 還原到原圖像尺度，最終完成目標(biāo)分類和定位。

3.3 結(jié)果分析

本文部分實(shí)驗(yàn)檢測結(jié)果如表1 所示，從左到右分別為原圖像、初始Faster R-CNN、單獨(dú)加入ResNet101 與FPN、單獨(dú)加入ROI Align、單獨(dú)加入Soft-NMS 與本文所提改進(jìn)算法的預(yù)測結(jié)果。由此可見，初始FasterR-CNN 算法無論是檢測扣件缺失、斷裂還是移位缺陷的效果相較于其他模型較差，單獨(dú)替換改進(jìn)模型的某一部分均能提升檢測準(zhǔn)確度，同時(shí)采用本文所提的3 個(gè)改進(jìn)方案能最大程度提升模型檢測精度。

表2 為初始Faster R-CNN 算法優(yōu)化選中內(nèi)容后得到的mAP 值。由此可見，相較于原始Faster R-CNN 模型，加入ResNet101+FPN 后檢測精度提升了7.53%，在此基礎(chǔ)上再加入ROI Align 或Soft-NMS 后精度分別提升8.07%、8%，結(jié)合本文所提3種改進(jìn)方案后算法的精度提升10.58%。

由表3 可知，改進(jìn)后算法的訓(xùn)練與測試時(shí)間相較于改進(jìn)前的模型增加較少。具體為，訓(xùn)練時(shí)間增加了76min，測試時(shí)間由0.063s/張?jiān)黾又?.067s/張，測試時(shí)間開銷與原算法幾乎保持一致。

為直觀有效地觀察改進(jìn)后訓(xùn)練模型迭代過程，本文改進(jìn)前后算法的訓(xùn)練與驗(yàn)證loss 曲線如圖9 所示。由此可見，當(dāng)?shù)?0 個(gè)epoch 后各算法開始逐漸趨于穩(wěn)定，初始Faster R-CNN 算法與改進(jìn)后的算法訓(xùn)練和驗(yàn)證loss 分別降至0.48、0.31，通過分析損失函數(shù)收斂程度可確定改進(jìn)后算法具有更好的網(wǎng)絡(luò)訓(xùn)練效果。

Table 1 Comparison of partial prediction accuracy before and after algorithm improvement表1 算法改進(jìn)前后部分預(yù)測精度比較

Table 2 mAP of models with different improvement schemes表2 不同改進(jìn)方案模型mAP

圖10 為3 類目標(biāo)檢測的平均準(zhǔn)確率均值mAP。由此可見，根據(jù)本文方法改進(jìn)后算法的mAP 值相較于改進(jìn)前提升10.58%。

Table 3 Comparison of time consumption before and after algorithm improvement表3 算法改進(jìn)前后用時(shí)比較

Fig.9 Loss function curve of the algorithm before and after improvement圖9 改進(jìn)前后算法損失函數(shù)曲線

Fig.10 mAPs of algorithm before and after improvement圖10 改進(jìn)前后算法mAPs

此外，由圖11 可見基于本文改進(jìn)算法的檢測斷裂扣件檢測AP 值提升10.76%，移位扣件檢測AP 值提升10.2%，脫落扣件檢測AP 值提升10.79%，對(duì)3 類缺陷的檢測準(zhǔn)確率較高。

Fig.11 AP for all types of defective fasteners圖11 各類缺陷扣件AP

本文通過比較Faster R-CNN 算法改進(jìn)前后的檢測效果，與YOLO 系列、SSD 算法的檢測性能，根據(jù)mAP、檢測速度這兩個(gè)指標(biāo)評(píng)價(jià)算法檢測的優(yōu)劣，具體結(jié)果如表4 所示。由此可見，本文算法相較于Faster R-CNN 算法在檢測速度上減少0.72fps，但平均檢測精度提升10.58%，雖然相較于SSD、YOLO 算法在檢測速度方面存在一定的差距，但檢測精度得到了顯著提升。綜上，根據(jù)本文方案改進(jìn)后的Faster R-CNN 算法在檢測扣件缺陷需求方面具有顯著優(yōu)勢。

Tab.4 Comparison of detection results of different algorithms表 4 不同算法檢測結(jié)果比較

4 結(jié)語

本文提出一種改進(jìn)Faster R-CNN 方法應(yīng)用于高速鐵路鐵軌彈條扣件的缺陷檢測與提取，通過改良骨干網(wǎng)絡(luò)、非極大值抑制算法及優(yōu)化ROI Pooling 改進(jìn)Faster R-CNN算法。實(shí)踐表明，在時(shí)間開銷相差不大的情況下算法的平均檢測精度提升10.58%。

然而，由于試驗(yàn)樣本多樣性較少，樣本并未被垃圾、石塊、雨雪等遮擋，通過數(shù)據(jù)集缺陷增強(qiáng)手段難以達(dá)到類似效果。因此，下一步將采集更多帶遮擋物或存在其他干擾條件的樣本來檢測算法的魯棒性和效能。此外，本文所提方法相較于YOLO 系列、SSD 算法的檢測速度仍存在進(jìn)一步提升的空間。