一種輸電線路三跨點下工程機械的改進Faster-RCNN檢測方法

張 申，劉志翔，李永祥，陳青松，張智柏

（1.國網山西電科院，太原 300001；2.華北電力大學 自動化系，河北 保定 071003）

0 引言

隨著中國經濟的快速發展，電網的覆蓋面積不斷擴大，輸電線路不可避免地跨越高速鐵路、高速公路和重要輸電通道區段，“三跨”施工日益頻繁[1]。由于輸送里程不斷增加，運行環境日趨復雜，輸電線路一旦出現線路缺陷及故障，將對電力輸送與運行產生惡劣影響[2,3]。據統計，往年外力破壞造成的跳閘占輸電線路跳閘率的70%，而施工機械特別是吊車、吊臂等工程機械，由于碰線造成的跳閘又占外力破壞的70%以上[4]。因此，對運行中的輸電線路進行在線工程機械監視與檢測顯得尤為重要。

目前，輸電線路防護多采用人工巡視和直升機巡視方法[5]，但該方式易受到地形環境、天氣狀況等因素的影響，存在工作效率低下、工作量大、巡檢周期長等問題。因此，輸電線路在線監測技術苛待引用新型傳感系統，如基于深度信息的雷達傳感器[6]，基于溫度的紅外檢測裝置[7]，基于外物測距的超聲波或激光等檢測裝置[2,4,8]，基于音量監控的微波感應裝置[9,10]，但上述傳感方式大多存在易受外界環境因素干擾、易短路失靈、檢測范圍狹窄、缺乏預警能力等問題[11]。

隨著數字圖像與視頻監控技術的發展，輸電線路圖像在線監測技術已成熟應用。當前用于圖像的入侵檢測方法主要分為3 大類[12]：第一類是基于傳統圖像處理技術結合機器學習方法，實現大型工程機械的識別與分類，如文獻[13]采用局部二值模式（Local Binary Pattern，LBP）提取色調飽和值（Hue Saturation Value，HSV）空間的吊車紋理特征并使用隨機森林分類器完成目標識別，但這一類算法提取的特征往往具有較高的特異性，無法適用大型入侵機械的所有種類，難以大規模推廣；第二類是基于混合高斯模型（Gaussian Mixture Model，GMM）[14]、碼書建模[15]、背景差分法[16]、視覺背景提取器（Visual Background Extractor,Vibe）[17]等運動目標檢測算法，處理輸電線路監控視頻并提取運動的工程車輛，但該類算法的問題是：易受到其他運動目標的干擾，算法敏感性過高；第三類方法是引入當前比較流行的深度學習目標檢測算法，如單階段的目標檢測算法SSD（Single Shot MultiBox Detector）[18]，YOLO（You Only Look Once）[19]算法，以及雙階段算法R-CNN[20]、Fast R-CNN[21]和Faster R-CNN[22]等，通過構建深度網絡框架對輸電線路大型機械圖像進行特征提取與目標檢測，該類算法結合大規模數據集與深度檢測框架的優勢，得到的檢測結果既具備較高的檢測精度，也具備在輸電系統中大規模推廣的泛化性能。因此，本文使用Faster R-CNN 目標檢測算法作為基本框架，并進行適應性改進，并利用輸電線路監控攝像頭采集的圖像數據，對所提出的算法進行了驗證。

1 Faster R-CNN

圖1 Faster R-CNN檢測框架Fig.1 Faster R-CNN Detection framework

Ren 等人[22]在2015 年提出了Faster R-CNN 算法，最大的創新是提出了區域建議網絡（Region Proposal Network，RPN），通過共享卷積層，將RPN 網絡和Fast R-CNN 統一至一個網絡中，解決了R-CNN、Fast R-CNN 檢測算法中候選框生成耗時問題，極大提高了雙階段檢測算法的效率。

Faster R-CNN 的基本算法框架如圖1 所示，主要由卷積神經網絡、區域生成網絡（Region Proposal Networks，RPN）、感興趣區域池化單元（Region Of Interest Pooling，RoI Pooling）以及分類和回歸單元4 部分組成：

1）卷積神經網絡：利用一系列卷積、池化、激活模塊的組合，從低到高提取輸入圖像的深層特征并得到圖像特征圖（Feature Map）。

2）RPN 網絡：預設3 類尺寸（8，16，32）和3 種比例（2:1，1:1，1:2）的9 種錨框（Anchor Box）。通過錨框在特征圖上的滑動輸出生成多個候選框，并利用候選框與真實候選框的回歸得到目標候選框。采用非極大值抑制（Non-Maximum Suppression，NMS）分析并篩選出最終的N個目標候選區域。

3）RoI Pooling：通過特征圖與目標候選區域的輸入得到特征圖候選區域，并將每個區域均勻分成 m×n 個圖塊，對每一塊進行最大值池化（Max Pooling）計算，將不同大小的特征圖候選區域映射為一個固定尺度的特征向量。

4）分類與回歸單元：將步驟3 得到的特征向量輸入全連接層，判斷特征圖候選區域的類別以及準確位置。

為了匹配輸電線路下大型機具檢測任務的特點與需求，本文對Faster R-CNN 算法進行適應性改進，通過不同特征提取網絡實驗；基于聚類的錨框尺寸修改；引入浮點數插值的RoI Align 池化層等方法，在下文中分別探究適用于目標任務的特征提取網絡和目標候選框選取的錨框尺寸，以及降低取整誤差，提高回歸精度的池化方法，并通過定量比較與定性分析的方式分別提供了對應改進的實驗結果與效果提升。

表1 網絡參數設置Table 1 Network parameter setting

圖2 不同特征提取網絡的模型損失對比Fig.2 Comparison of model loss of different feature extraction networks

表2 不同特征提取網絡的檢測結果Table 2 Detection results of different feature extraction networks

2 模型改進與實驗

2.1 實驗環境與參數

本實驗的模型采用NVIDIA 1080Ti 專業加速卡進行訓練與測試；采用的操作系統為Ubuntu16.04.6 LTS，利用CUDA10.0 加速訓練；使用的計算機語言為Python3.7，網絡開發框架為Pytorch，在此基礎上搭建Faster R-CNN 目標檢測模型。

按照PASCAL VOC 數據集格式，利用輸電桿塔監控設備采集的4003 張樣本圖像，制作大型機具數據集，其中包含3 種大型機具共10262 個，分別為挖掘機（excanator）、吊車（crane）與塔式吊車（towercrane）。采用LabelImg 軟件對大型機具進行標注，并將輸電線路數據集劃分為互斥的訓練集和測試集，比例約為3:1。

訓練參數設置見表1，并利用平移、旋轉、縮放方法等數據增加方法，將訓練樣本擴充至23976 張。

2.2 不同特征提取網絡的實驗對比

為了選取更合適的特征提取網絡，本實驗在Faster R-CNN 模型的基礎上，分別使用不同特征提取網絡進行模型的訓練。首先，基于VGG-16、ResNet50 和ResNet101分別進行20 輪epoch 共480000 次迭代的訓練，模型的損失曲線如圖2 所示。其中，曲線表示不同網絡每1000 次迭代的模型損失，紅色直線代表VGG-16 網絡，藍色虛線代表ResNet50 網絡，綠色點劃線代表ResNet101 網絡，畫中為迭代次數在21 萬次～27 萬次損失曲線的細節展示。可以看出，基于VGG-16 的Faster R-CNN 網絡無論收斂速度，還是模型損失都要優于其他網絡，而且3 個特征提取網絡在迭代次數為240000 次時均已基本收斂。

圖3 不同聚類中心數的聚類結果Fig.3 Clustering results with different numbers of cluster centers

然后，本實驗使用平均精度（Average Precision，AP）和平均精度均值（Mean Average Precision，mAP）作為評價模型準確率的評價指標，對比了VGG-16、ResNet50 和ResNet101 三種特征網絡在不同訓練迭代次數下的檢測精度，檢測結果見表2。可以看出，更深的網絡反而導致了性能的下降。由本實驗采用的數據集規模可以發現，所采用的數據集屬于小批量數據集，當使用層數較多的網絡時易形成過擬合現象，導致測試結果較差，所以層數較少的VGG-16 網絡相較于其他兩個網絡表現出更加優異的性能。同時，比較不同epoch 的VGG-16 檢測結果可以看出，由于數據集規模的原因，設置較高的epoch 并不能提高檢測精確率。因此，選擇epoch 為10 的VGG-16 網絡作為特征提取的基礎網絡。

2.3 錨框尺寸修改

本實驗所使用的輸電線路數據集中，監控攝像頭安裝在輸電桿塔上，為獲得較廣闊的監控視野所以處于較高位置，故圖像中的目標尺寸往往較小。因此，使用Faster R-CNN 模型的原始預設尺寸對于目標的覆蓋效果不佳，需要重新設置預設錨框參數，人工預設的方式往往需要進行大量驗證實驗，且易與模型不匹配影響檢測結果。

本實驗以輸電線路數據集中大型機具各個目標的標注框寬與高作為輸入數據，采用k-means++算法進行目標框聚類分析，根據聚類結果重新設定Anchor，以改進預設錨框大小。實驗步驟如下所示：

1）標注框尺寸獲取：在輸電線路數據集中每一幅圖像的XML 文件中，計算大型機具標注框的坐標差值作為當前目標的標注框寬度與高度，遍歷所有圖像獲取10262 個目標的標注框尺寸。

2）使用k-means++算法處理標注框尺寸：首先，初始化K 個初始聚類中心，不同于k-means 算法隨機初始聚類中心的方式，k-means++算法采用歐式聚類與輪盤法選擇K 個距離較遠的聚類中心；然后，計算每一個數據點到聚類中心的距離，并將數據點分到距離最小的聚類中心所對應的類；最后，重復迭代步驟直到聚類中心的位置不發生變化。

表3 不同聚類中心數的聚類結果Table 3 Clustering results with different numbers of cluster centers

3）設置初始聚類中心K 為2、3、4、5，對標注框尺寸進行聚類，結果如圖3 所示。

其中，圖4 的橫、縱坐標分別表示標注框的寬與高，不同顏色的數據點表示不同的簇，每一個簇內的黑色叉號表示該類數據的聚類中心。由圖4 可以看出，大量標注框尺寸都集中在圖像的左下方，即由于輸電線路監控攝像頭安裝位置的原因，圖像中的工程機械往往尺寸較小，其中目標框的寬與高都在200 像素以內的數量為5295 個，約占全部目標的50%以上。

使用CH 指標[23]對聚類效果進行評估，CH 指標的定義如式1 所示。其中，n 表示聚類的數目；k 表示當前的類；trB(k)表示類間離散度矩陣的跡；trW(k)表示類內離散度矩陣的跡。可以得出，CH 越大代表著簇內部數據點越緊密，簇與簇之間越分散，即更優的聚類結果。不同聚類中心數的中心點坐標與聚類評價見表3。

由表3 可以看出，當聚類中心數為3 時，CH 指標的值最大，即此時聚類效果最好。同時，分析聚類中心數為3 的中心點坐標可以看出，中心點尺寸集中在1002 ～4502之間，寬高比集中在0.57 ～2.14 之間，所以設定錨框尺寸為（4，8，16，32），此時可以覆蓋（642，1282，2562，5122）大小的原始圖像，此時錨框極大值、極小值尺寸分別大于、小于中心點坐標尺寸，滿足Faster R-CNN 的模型適應需求。分析寬高比可以發現，目標標注框的比例與預設錨框比例基本一致，所以錨框比例保持不變。

2.4 引入RoI Align的實驗對比

Faster R-CNN 算法使用的RoI Pooling 單元使得生成的特征圖候選區域映射為固定尺寸的特征圖，使該算法不再限制輸入圖像的尺寸與比例。但RoI Pooling 會通過兩次浮點數取整特征圖候選區域與最開始回歸得到的候選框存在一定差異，影響檢測準確度。尤其在進行小目標檢測時，RoI Pooling 會造成較大的精度損失，降低了后續回歸和定位的準確性。

為解決上述問題，本文引入Mask R-CNN 算法[24]中提出的RoI Align 算法，該算法使用雙線性插值算法替代了原有的取整量化，有效保留了浮點數，避免取整帶來的精度損失。RoI Pooling 與RoI Align 算法的計算結構如圖5 所示，具體實現過程如下：

1）第一次量化：假設輸電線路數據集圖像中，工程車輛的目標尺寸為300×200，圖像尺寸設為1800×1400，首先該圖像會經過特征提取網絡得到特征圖，經過網絡層后將原圖縮小為原圖的1/16，則原圖尺寸取整量化為112×87。使用RoI Align 層進行目標候選框的第一次量化時，得到尺寸為18.75×12.5 的特征區域（300/16=18.75，200/16=12.5）。

2）第二次量化：特征區域經過RoI 池化處理，劃分為49 個等大小的子區域，RoI Align 單元在第二次量化時使用雙線性插值給每個子區域取2.68×1.79 大小（18.75/7=2.68，12.5/7=1.79）。

3）最大值池化：對每個子區域取最大值作為該區域的輸出值，得到7×7 大小的特征圖。

由圖4 可知，RoI Pooling 算法經過兩次的取整量化，將原本18.75×12.5 大小的特征區域映射為14×7，這些像素偏差給后續的回歸與定位帶來了較大的精度損失。RoI Align 算法使用雙線性插值算法有效解決了取整量化導致的像素映射誤差問題，有利于提高候選框回歸的精確性。

3 算法結果對比

為了測試本文所改進的Faster R-CNN 模型性能，本節采用原始Faster R-CNN 算法，以及使用錨框尺寸修改、RoI Align 引入等優化的改進Faster R-CNN 算法，分別進行輸電線路工程機械檢測性能的測試對比，不同算法的實驗對比見表4。

由表4 可知，本文所提改進Faster R-CNN 算法相比于前3 種方法，本文算法的平均精確率最高，達到了72.58%，相比于原始Faster R-CNN 提升了16.19%。主要原因是本文算法在檢測階段采用了與所檢測目標更匹配的錨框尺寸，同時減少了候選框回歸中的精度誤差。

圖4 RoI Pooling、RoI Align結構圖Fig.4 RoI Pooling, RoI Align structure diagram

表4 不同算法實驗對比Table 4 Experimental comparison of different algorithms

為進一步研究本文所提算法對輸電線路下工程機具檢測精度的提高，部分樣本的模型檢測對比如圖5 所示。

比較圖5 中檢測結果一可以看出，原始Faster R-CNN在左側吊車檢測中發生了虛警誤報的現象，即同一輛吊車產生了多個檢測框，這是因為原始算法所使用的錨框尺寸與目標圖像并不匹配，給工程車輛目標框的位置回歸帶來影響，導致多個回歸框對同一目標產生檢測效果，進而誤報。比較檢測結果二可以看出，原始算法未能成功檢測出圖片左側的兩輛小型挖掘機，圖片中部互相遮擋的3 輛吊車也只得到了兩個結果，同樣的，檢測結果三中由于兩臺挖掘機的位置重疊，原始Faster R-CNN 發生了漏檢現象，只產生一個挖掘機的檢測結果。發生這些問題的主要原因是：原始Faster R-CNN，由于RoI Pooling 單元產生的精度誤差問題，導致其小目標檢測的不敏感，同時對于重疊物體也難以精準定位。本文所述的改進Faster R-CNN 算法引入RoI Align 單元的優勢，在訓練階段將候選框盡可能精確保留，大大提高了目標檢測與定位的準確性，尤其對于因距離傳感器較遠、目標重疊等原因導致的小目標檢測產生了非常優秀的效果。從實驗結果來看，本文算法提高了對輸電線路下機具目標的檢測能力，達到了預期的檢測效果。

圖5 Faster R-CNN及其改進算法的檢測比較Fig.5 Faster R-CNN and its improved algorithm detection comparison

4 結論

隨著電網的發展，對于輸電線路大型機械入侵檢測的準確性和泛化性提出了更高的要求，基于深度學習的目標檢測算法表現出良好的性能。本文采用Faster R-CNN 模型，針對輸電線路周圍常見的工程機械進行了位置檢測與提取。同時，針對輸電線路下監控圖像數據集的特點，采用k-means++算法對入侵機具標注框進行聚類分析，得到更符合檢測目標的錨框尺寸，并引入RoI Align 單元降低候選框回歸的精度誤差。實驗表明，改進算法大大提高了檢測精度，有效改善了漏檢和誤檢問題。在后續研究中，可考慮對回歸算法進行改進，進一步提高工程車輛檢測的精度和準確率。