基于改進型Faster R-CNN的接觸網設備缺陷檢測方案

常占寧，張一平，韋寶泉，曾 晗

（1.中國鐵路蘭州局集團有限公司，甘肅 蘭州 730030；2.華東交通大學電氣與自動化工程學院，江西 南昌 330013）

0 引言

隨著檢測智能化的推行，各種深度學習模型在接觸網零部件的檢測上得到了廣泛應用。由于接觸網設備眾多，采集到的圖像數據十分復雜，極易使得檢測模型產生偏差，大大影響了檢測精度。且我國接觸網設備數據集通常不對外開放，檢測模型容易出現過擬合現象[3]。劉舒康等人提出了一種基于智能數據的增強算法，并對YOLOv3目標檢測算法進行了改進[4]；文獻[5]利用卷積神經網絡來精確定位的相鄰絕緣子片邊緣像素差分檢測，用于絕緣子破損缺陷檢測。文獻[6]結合中值濾波、高斯濾波等圖像處理算法對吊弦區域進行處理；利用邊緣檢測算法對吊弦輪廓進行提取，使用直線擬合、閾值分割算法對吊弦缺陷進行判定。文獻[7]通過改進YOLOv3算法完成接觸網和鋼軌檢測的樣本不平衡問題。文獻[8]利用faster-RCNN完成了接觸網緊固件的缺陷檢測。文獻[9]針對高鐵接觸網頂緊螺栓目標小、缺陷檢測困難的問題，提出一種基于深度學習的頂緊螺栓缺陷檢測方法。文獻[10]提出了一種基于深度卷積神經網絡精確定位的相鄰絕緣子片邊緣像素差分檢測方法，用于絕緣子破損缺陷的檢測。以上的模型對小型零件的細微故障（裂紋、磨損等）檢測效果不錯，但檢測對象單一，大多是對特定零件的優化。且容易受到采集圖像噪聲的影響。

文中提出一種基于改進型Faster R-CNN的接觸網設備缺陷檢測方案，采用ResNet-101結構替代了Faster R-CNN的特征提取網絡VGG-16，大大減少了冗余計算。針對檢測環境的復雜性，對不同卷積層的特征圖進行多尺寸融合，提高了檢測精度。

1 系統概述

為解決接觸網設備缺陷檢測精度不高以及檢測效率難以提升等問題，本文在原始的Faster R-CNN算法模型上對網絡架構進行了一定的改進，結合樣本擴充方法最終得到優化的接觸網設備缺陷檢測模型[11]。系統的整體框架如圖1所示。

圖1 接觸網設備缺陷檢測系統框圖

整個檢測系統模型分為訓練階段和測試階段。首先，將采集的圖像，通過樣本擴充方法得到足夠的圖像樣本。然后按一定的比例劃分為訓練集、驗證集及測試集。訓練集樣本用于訓練模型，驗證集樣本驗證優化模型的性能。測試集樣本用于檢測最終模型的性能。

1.1 基本網絡

針對Faster R-CNN模型小目標檢測精確度不高的問題，本文對模型進行改進，將Faster R-CNN網絡中的VGG-16卷積網絡替換成深度更深、運算量更小的ResNet-101深度殘差網絡，以此來有效解決梯度彌散和梯度爆炸的問題[12]。

殘差結構以跨層鏈接的方式，構成了身份映射和殘差映射兩種映射路徑。通過在普通模塊連接過程中添加恒等映射的方法，使得該網絡在緩解梯度消失問題的同時，有效地控制網絡層參數和計算復雜度不變。殘差結構單元可表示為：

式中，xj、xj+1分別代表該層網絡的輸入和輸出信息；表示該層待學習的參數。將式（1）進行遞歸運算，可得到任意深層單元Wj的特征表示：

為了更好地說明殘差網絡模塊的作用，在此引入反向傳播的概念。令網絡損失函數為，由反向傳播的鏈式求導法則可推出：

例（3）中拒絕行為就是一種有傷面子的行為，因此，商務人士在拒絕對方時要謹慎，盡量修飾自己的拒絕行為，使自己的拒絕言語行為顯得間接，因為拒絕言語行為越間接，就越顯得說話人有禮貌，越有利于雙方的談判溝通。例（3）中賣方表示不能滿足買方對該商務的需求，用“regret”來緩和語氣，表達同情。接著又提出一旦有新貨供應，將再和買方接洽商談。這表明賣方的態度，原意與買方合作，只是目前的客觀情況，只能暫時拒絕，后期有再合作的機會。這不但給對方留了面子，也符合禮貌原則中的“一致準則”。

在式(3)中，后半部分必不等于-1，由此可得該單元能夠有效避免學習過程中信息丟失的問題。

ResNet101[13]是以VGG網絡結構為基礎，基于短路機制添加殘差學習模塊而產生的。該網絡多達101層，殘差塊由大小分別為1×1，3×3和1×1的3個卷積層依次相串并與輸入合并構成，在各層后均加入了Rule激活函數。

ResNet101網絡結構如圖2所示。從第1組卷積塊起到第5組均為殘差模塊，將大小為224 pixel×224 pixel的圖像數據輸送后，經殘差網絡提取特征進行學習訓練，最終縮減為7 pixel×7 pixel的尺寸。

圖2 ResNet101網絡結構

改進后的Faster R-CNN模型以ResNet-101作為特征提取網絡，ResNet-101的前4個段（92層）作共享網絡，獲取特征圖；而后作為RPN的輸入，生成候選目標區域。ResNet-101網的第5段（9層）在ROI Pooling層后用于目標的檢測。針對ResNet-101的特點，對其結構進行一定的分割和調整，再與Faster RCNN結合起來，可以最大程度地保存小尺寸目標的特征信息，且能有效保留目標的位置信息。

另一方面，重新對錨框進行設計，以獲得包含更好位置信息的錨框。根據在訓練集上的訓練經驗分析，將錨框的長寬比設置為3種，即1∶1、1∶1.5和2∶1，將錨框的尺寸設置為5種，即16×16、32×32、64×64、128×128和256×256，由此得到15種不同長寬比和尺寸的錨框，大大提高了對小尺寸目標的捕捉能力。

1.2 L2歸一化

為在不同尺寸候選區對設備缺陷點域特征進行擴展，現對3個不同尺寸特征圖執行ROI-Pooling操作后進行融合[14]。通常，在ResNet-101的每一層中，特征圖的通道數量和尺寸大小都不同，在更深的卷積層上對應的特征圖尺寸也更小。因此，直接對ROIPooling后的特征圖進行融合無法獲得最佳效果。特征圖之間的尺寸差異較大，且尺寸大的特征圖可能會占據主導地位，減弱了算法的魯棒性。為解決上述問題，現對ROI-Pooling后的特征圖做L2歸一化處理。歸一化后，對每個特征圖執行尺寸縮放操作。對于一個d維的輸入x=（x1，x1，…xd），應用L2范數對其進行標準化處理，如式（4）所示：

輸入x的L2參數，定義如式（5）所示：

其中，x是原始像素向量；x是歸一化后的像素向量；d是每個ROI-Pooling后特征圖的通道數。

引入縮放因子[15]，并通過式（6）縮放歸一化后的值：

在訓練階段，縮放因子γ和輸入數據x通過反向傳播來計算，相應的鏈式法則定義為：

1.3 在線難例挖掘

在線難例挖掘是提高目標檢測準確率的一種有效策略[16]。難例是指那些無法被網絡準確預測到的樣本。因此，將樣本中的難例再次送入到網絡中訓練，可以有效提升網絡的性能。在原始Faster-RCNN中，候選區域和真值區域的重疊率（IOU）在[0.1，0.5]之間的樣本被設置為負樣本，重疊率大于0.5的樣本被設置為正樣本。為保持樣本均衡，設置正負樣本的比例為1∶3。

本文將在線難例挖掘算法加入到模型中。首先通過RPN計算候選區域的損失值，并將這些損失值從大到小排序，挑出前K個最大損失值作為難例加入到后續的網絡中進行訓練。同時，將負樣本的閾值下調為0，并取消正負樣本的比例，使網絡能夠自適應訓練。

2 實驗結果及分析

2.1 數據集處理

針對故障樣本數量不足的狀況，為訓練性能良好的缺陷檢測模型，本文采用一種圖像增強方法[17]。圖像增強的目的是為了提升模型對缺陷圖像的敏感性，獲得足夠的樣本供模型進行深度訓練，有效降低過擬合風險，從而提高缺陷檢測模型的泛化能力。圖像增強對采集到的原始圖像進行變亮、平移、加噪、仿射等擴展處理。增強效果如圖3所示。

圖3 圖像增強效果

2.2 評價指標

為測試模型的檢測效果，本文通過P（Precision）、R（Recall）、mAP（mean Average-Precision）、IOU（Intersection over Union）來評價其各方面性能；TP（True positives）為正確樣本被識別為正樣本的數量；FP（False positives）為負樣本被錯誤識別為正樣本的數量；FN為正樣本被錯誤識別為負樣本的數量；AP值表示單個類別的識別準確率；mAP表示所有類別總體識別準確率[11]。

2.3 實驗結果

本實驗采用Faster R-CNN改進算法對接觸網幾種關鍵部件進行檢測，并在此基礎上對檢測結果進行修正[18]。圖4所示為具有代表性的幾種不同類型部件的缺陷檢測結果，其中，左側為經過原始模型的初步檢測結果，右側為通過改進模型檢測的缺陷定位結果。根據檢測結果可以明顯看出，針對尺寸較大部件的缺陷，改進的模型均能有效地定位與識別，對于細微部件的缺陷檢測也能達到與大尺寸缺陷相當的精度。綜合分析以上實驗結果，本文設計的改進算法對于接觸網關鍵設備的缺陷圖像檢測取得了良好效果。

圖4 不同部件缺陷檢測結果

2.4 不同算法實驗結果比較及分析

為了進一步驗證本文所提方法的優越性，在相同的數據集上分別與YOLO[19]、SSD、MS-CNN、原始Faster R-CNN[20]進行對比實驗。實驗中，使用mAP、IOU及檢測速度來評價各方法的性能，不同方法的檢測結果對比如表1所示。

表1 不同檢測方法的性能比較

據表1對比結果，本文提出的改進Faster RCNN[21]綜合性能最佳，在缺陷檢測效果方面具有顯著優勢，能夠滿足接觸網缺陷檢測需求。

3 結論

文中對于接觸網設備缺陷檢測問題進行深入研究，提出一種基于改進型Faster R-CNN的故障檢測方法。為了提高在大規模變化、目標數量龐大等復雜環境中的檢測精度和模型魯棒性，本文首先采用ResNet-101結構替代VGG-16來構建基礎卷積層。通過構建多尺寸特征圖融合網絡以應對多種設備缺陷問題，最后應用在線難例挖掘并在區域生成網絡中進行多尺寸訓練，實現了對復雜環境下設備缺陷的準確識別。實驗結果表明，該算法的mAP達到88.28%，每張圖片檢測時間僅需0.15 s，在檢測精度方面取得了良好的效果，綜合性能最佳。