基于改進Faster RCNN 的輸電線路航拍絕緣子檢測

易繼禹，陳慈發，龔國強

（三峽大學計算機與信息學院，湖北宜昌 443000）

0 概述

絕緣子是輸電線路中的重要組成部分，在長期自然環境以及惡劣條件作用下，絕緣子可能發生故障，影響電力系統的穩定運行［1］，因此定期巡檢輸電線路絕緣子，及時發現并處理故障絕緣子對電力系統的穩定性與可靠性具有重要意義。目前，我國主要的輸電線路巡檢方式是無人機巡檢［2］，它在一定程度上彌補了傳統人工巡檢的不足，有效降低了巡檢人員登桿檢查的工作強度并提高了安全性，能快速且準確地判斷缺陷情況［3］，顯著提高巡檢效率以及線路維護的響應速度。無人機巡檢主要通過采集海量航拍圖像進行檢測，因此航拍圖像中的絕緣子自動檢測研究就顯得十分重要。

最初的圖像識別算法主要通過搜集圖像，再對圖像進行處理以實現絕緣子檢測。文獻［4］采用邊緣檢測方法實現對絕緣子的檢測。文獻［5］利用自適應形態學算法實現可見光圖像中絕緣子的檢測。文獻［6］通過圖像的灰度信息計算絕緣子和背景區域的形狀特征值，設計分類決策條件進行絕緣子檢測。文獻［7］提出基于可見光圖像的絕緣子識別與故障檢測方法。文獻［8］利用閾值分割進行分步定位提取絕緣子。文獻［9］通過結合形態學、Lab 彩色空間與最大類間方差法來實現絕緣子“掉串”故障檢測。文獻［10］提出基于最優閾值的改進型Canny 算子電力設備圖像檢測算法。上述方法能實現簡單目標的絕緣子檢測，但局限于某一類別，在現實應用中受到環境等因素的影響，導致檢測結果不理想。隨后，基于機器學習方法的絕緣子識別成為研究人員關注的熱點問題。文獻［11］利用目標建議算法與結構搜索對絕緣子進行識別定位。文獻［12］采用支持向量機（Support Vector Machine，SVM）算法實現對高壓輸電線路故障的識別與分類。機器學習技術可在一定程度上提高識別可靠性，但在識別時間和準確率上仍有進一步提升的空間。

近年來，深度卷積神經網絡（Convolutional Neural Network，CNN）在目標檢測［13］任務中表現突出并得到廣泛應用。文獻［14］運用Faster RCNN 網絡實現多種類別的小部件識別定位。文獻［15］結合深度學習和隨機森林對電力設備圖像進行檢測。文獻［16］利用深度遷移學習提出一種單階段多框檢測器的目標檢測算法，并采用軟性懲罰非極大值抑制等方法進行優化，實現電力小部件檢測。上述方法相較傳統識別方法在識別時間和準確率方面均有較大的性能提升，但其研究主要集中于絕緣子識別和故障檢測，對于復雜背景下的絕緣子檢測研究較少。本文針對航拍圖像中的輸電線路絕緣子檢測問題，通過多尺度訓練提升系統魯棒性，優化區域生成網絡（Region Proposal Network，RPN）候選框比例使檢測結果更貼合目標，改進Faster RCNN［17］模型并引入遮擋掩膜生成困難樣本，通過不斷檢測學習提升遮擋情況下的絕緣子檢測精確度。

1 絕緣子檢測方法

在RCNN［18］和Fast RCNN［19］的基礎上，2015 年微軟研究院的任少慶等人提出了Faster RCNN 算法，該算法將特征提取、建議框提取、邊框回歸、分類回歸整合于一個網絡中，使得整體性能得到大幅提升，尤其在檢測速度方面，真正實現了端到端的目標檢測框架。

在海量航拍圖像中，絕緣子形態不一且目標檢測魯棒性差。為提高目標檢測準確性和檢測速度并降低漏檢率，本文選用Faster RCNN 為基礎模型進行航拍絕緣子檢測，在此基礎上結合多尺度訓練、候選區域比例微調和遮擋樣本的對手生成策略，解決目標尺寸不一、遮擋等因素對絕緣子檢測的影響，進一步提高絕緣子檢測的精確度。航拍絕緣子檢測流程如圖1 所示。

圖1 航拍絕緣子檢測流程Fig.1 Procedure of aerial insulator detection

1.1 航拍圖像處理及數據集建立

本文中的絕緣子數據集涵蓋了不同地點、不同時期的6 500 張無人機巡檢航拍絕緣子圖像。航拍圖像中部分圖像拍攝角度視野過大，檢測目標不明顯，于是對部分圖像進行預處理以減少非目標信息，并對訓練集中每張圖像出現的絕緣子進行標記。為更好地識別出測試集中的絕緣子，在標注時盡量減少標注框內的其他物體信息，同時較好地貼合航拍圖像中的絕緣子，如圖2 所示。對于測試樣本，本文選用400 張圖像作為測試集，并且測試集中不使用訓練樣本中的圖像。在識別測試集時，標記出航拍圖像中的絕緣子，包括殘缺和遮擋的絕緣子，表示實現一次成功的識別。

圖2 圖像處理及標注Fig.2 Image processing and labeling

1.2 Faster RCNN 檢測方法

Faster RCNN 檢測方法的基本流程如圖3 所示，檢測過程具體如下：1）輸入需要測試的圖像；2）通過一組基礎的CNN 網絡對輸入的整張圖像進行特征提??；3）每張圖像通過RPN 網絡生成300 個建議窗口；4）將建議窗口映射到CNN 網絡的最后一層卷積特征圖上；5）通過感興趣區域（Region of Interest，RoI）池化層使每個RoI 生成固定尺寸的特征圖；6）對分類概率和邊框回歸進行聯合訓練。

圖3 Faster RCNN 檢測方法的基本流程Fig.3 The basic procedure of the Faster RCNN detection method

Faster RCNN 檢測方法包括提取候選框的RPN網絡和檢測目標的分類回歸網絡兩部分。RPN 的本質是基于滑窗的無類別目標檢測器，作用是提供高質量的目標候選框，結構如圖4 所示，特征圖中每個像素點都配備了k種錨點作為初始檢測框，判斷該錨點是否成功覆蓋目標以及為物體錨點進行坐標修正。由于RPN 網絡對輸入樣本數據的分類為二分類問題，使得分類層可得到2k個評分，并且坐標修正為4 個值（x，y，w，h），因此回歸層可得到4k個參數化坐標。

圖4 RPN 結構Fig.4 RPN structure

在訓練RPN 時，對交并比（Intersection over Union，IoU）大于0.7 的候選框分配正標簽，IoU 小于0.3 的候選框分配負標簽。損失函數計算公式為：

1.3 改進的Faster RCNN 網絡模型

為使Faster RCNN 網絡模型更好地應用于絕緣子檢測，本文在原始Faster RCNN 網絡模型的基礎上結合多尺度訓練、候選區域比例微調和對手生成策略增強模型性能。

1.3.1 多尺度訓練

在輸電線路中，絕緣子尺寸差異較大，原始Faster RCNN 模型通常會對所有訓練圖像采用恒定的尺寸，在這種情況下會使尺寸不同的目標檢測效果較差。本文采用多尺度訓練，在保持絕緣子圖像原有比例不變的前提下，將圖像大小進行隨機調整，將圖像較短一邊的像素設置為480、600 和750，并在這3 種條件下進行網絡訓練。實驗結果證明，多尺度訓練使Faster RCNN網絡對絕緣子尺寸具有一定魯棒性。

1.3.2 候選區域比例微調

Faster RCNN 網絡的主要優勢為選用提取候選RPN 網絡代替耗時較多的選擇性搜索過程。在原始Faster RCNN 網絡中RPN 共使用128×128、256×256、512×512 這3 種縮放比例以及1∶2、1∶1、2∶1 這3 種候選區域比例，因此每個錨位置產生了9 個錨框。由于航拍圖像中絕緣子尺寸與公共數據集中多數目標不同，因此為了得到更好的識別結果，需要微調候選區域比例。對航拍絕緣子圖像訓練集中6 500 張圖像進行統計，圖像中多數絕緣子候選區域比例為1∶1、1∶2、1∶3、1∶4 和1∶5，絕緣子數量分別為552 張、981 張、1 877 張、1 789 張 和751 張。將RPN 網絡中原有3 種候選區域比例進行擴展，尋找最適宜的比例，如圖5 所示。

圖5 改進前后的候選區域比例對比Fig.5 Comparison of the proportion of candidate regions before and after improvement

1.3.3 對手生成策略

由于航拍中的不確定因素以及輸電線路結構的復雜多樣，因此導致航拍圖像中出現了背景物件過多且絕緣子被遮擋的情況，如圖6 所示，在圖6（a）中中間絕緣子顏色與桿塔近似且大部分與桿塔重疊，在圖6（b）中左上角兩個絕緣子也出現了類似情況。

圖6 被遮擋的絕緣子樣本Fig.6 Samples of shaded insulators

基于上述情況，如果直接對絕緣子進行檢測，則將會導致識別率大幅降低。借鑒A-Fast-RCNN［20］網絡模型中使用對抗網絡生成遮擋來訓練檢測網絡的思想，本文將對手生成策略引入Faster RCNN 網絡中解決遮擋樣本的檢測問題。改進的Faster RCNN網絡框架如圖7 所示。

圖7 改進的Faster RCNN 網絡框架Fig.7 Improved Faster RCNN network framework

將RoI 池化層之后的部分稱為CO 網絡，它將原始的一個網絡擴展為兩個共享網絡。網絡1 的輸入是Faster RCNN 中RoI 池化后的特征圖，通過全連接層生成遮擋掩膜，判斷在特征圖中哪些部分應丟棄后生成困難樣本，并且所有操作都是向前的。網絡2中包含向前和向后操作，它的輸入是網絡1 所產生的困難樣本，輸出的損失函數能使網絡1 中的掩膜進行自動調整。在整個過程中會訓練一個對手網絡，產生檢測困難的遮擋樣本。經過訓練的檢測網絡會檢測出某個區域被遮擋，從而遮擋此區域特征，以便使檢測網絡對困難遮擋情況進行充分分析，最終得到更高的檢測準確率。

網絡1 的輸入是特征圖，而掩膜會丟棄特征圖某一部分的特征，從而使特征對象更難檢測。特征X的尺寸為d×d×c，其中，d是 空間維度，c是通道數。掩膜Y會輸出d×d個值，這些值為0 或1。若Yij是第i行、第j列的掩膜值，則Xij是第i行、第j列的k通道特征值，其中?K表示任意的k通道。當Yij=1時，丟棄特征圖上的所有通道值，計算公式為：

在訓練過程中，使用d/3×d/3 的滑窗丟棄滑框內的特征值，生成候選區域中的新特征向量。在所有滑窗中選取損失最高的滑窗，利用該滑窗生成單一掩膜，對于n個候選區域生成n個訓練樣{(X1,Y1),本(X2,Y2),…,(Xn,Yn)}。假 設O是CO 網絡的生成器，那么O（X）就是生成的困難樣本，訓練CO 網絡的損失函數計算公式為：

其中，F是檢測器，X是候選目標。式（6）表明在對生成特征進行分類時，若過程較順利，則產生的損失較大，反之產生的損失較小，目的是生成使網絡具有高損失值的掩膜，其交叉熵損失函數計算公式為：

其中，Y表示困難樣本中的生成掩膜，Oij(Xε)表示輸入特征圖Xε的（i,j）位置中的網絡輸出。

2 實驗結果與分析

本文實驗運行在配置為Inter Core i7-9700F@4.50 GHz、8 GB 內存、RTX2070 Super Ultra OC GPU的計算機上，選取含有絕緣子的航拍圖片共6 500 張，其中，6 100 張為訓練集，400 張為測試集，航拍圖像示例如圖8 所示。

圖8 航拍圖像示例Fig.8 Examples of aerial images

為評估本文實驗的有效性，使用精確度（Precision）和召回率（Recall）［21］來衡量模型檢測結果，計算公式為：

其中，TTP表示正值正樣本，FFP表示負值正樣本，FFN表示負值負樣本。

2.1 網絡訓練對檢測結果的影響

在訓練時設置批次大小為128，即每次輸入128 張航拍圖像進行訓練，權值衰減為0.000 5，初始學習率為0.001。通過損失值來判斷網絡訓練效果，如圖9所示。可以看出，損失值隨著迭代次數增多逐漸呈現下降趨勢，在迭代次數達到一定值時，無限收斂于0，說明隨著迭代次數的增加，訓練效果越來越好。

圖9 損失值隨迭代次數的變化曲線Fig.9 The change curve of the loss values with the number of iterations

平均準確率與迭代次數的關系如圖10 所示。獲取額外100 張圖像作為驗證集，在模型迭代4 000 次后，驗證集中絕緣子識別的平均準確率接近80%并逐漸上升，在迭代次數為14 000 次時達到87%的最大值。本文將迭代14 000 次后的網絡模型作為目標檢測模型，并使用不同方法進行檢測。

圖10 平均準確率隨迭代次數的變化曲線Fig.10 The change curve of the average accuracy with the number of iterations

2.2 候選區域比例對檢測結果的影響

通過調整RPN 網絡中候選區域的比例數量，對本文建立的數據集進行檢測，得到的檢測結果平均精度（Average Precision，AP）如表1 所示。

表1 不同候選區域比例下的檢測結果Table 1 Detection results under different proportion of candidate regions

由表1 可知，最優的候選區域比例為1∶4、1∶3、1∶2、1∶1、2∶1、3∶1、4∶1。隨著候選區域比例數量的增加，會使檢測精度降低，微調后的模型精度比初始模型提升了8.16%。微調候選區域比例前后的實驗結果如圖11 所示，在圖11（a）中兩串絕緣子被單獨識別，在圖11（b）中識別框更貼合絕緣子目標，說明微調候選區域比例后，改進的Faster RCNN 網絡模型能更準確地識別絕緣子區域，減少識別區域內的非絕緣子信息。

圖11 微調候選區域比例前后的實驗結果對比Fig.11 Comparison of experimental results before and after fine tuning the proportion of candidate regions

2.3 改進Faster RCNN 網絡模型的檢測結果

Fast RCNN、YOLOv3［22］、Faster RCNN 和改進的Faster RCNN 網絡模型的檢測結果如圖12 所示?？梢钥闯?，本文改進的Faster RCNN 網絡模型相較Fast RCNN、YOLOv3 和Faster RCNN 網絡模型，能更完整地識別出被桿塔遮擋的絕緣子部分，且能識別出微小的絕緣子目標，同時識別框更貼合目標絕緣子。

圖12 4 種網絡模型的檢測結果對比Fig.12 Comparison of detection results of four network models

本文使用不同網絡模型對400 張測試集進行檢測，若能準確標識出圖像中的所有絕緣子，包括殘缺以及遮擋絕緣子，且標識框能較好地貼合絕緣子，則將其視為能正確標識測試圖片，得到的檢測結果如表2 所示?？梢钥闯觯倪M的Faster RCNN 網絡模型的精確度相較Fast RCNN、YOLOv3 和Faster RCNN網絡模型分別提升了5.10、3.58 和4.33 個百分點，召回率分別提升了9.75、5.75、7.75 個百分點。從表3可以看出，改進的Faster RCNN 網絡模型的平均檢測時間相比YOLOv3 和Faster RCNN 網絡有少許增加，但仍能滿足巡檢要求。

表2 4 種網絡模型的檢測性能對比Table 2 Comparison of detection performance of four network models

表3 4 種網絡模型的平均檢測時間對比Table 3 Comparison of average detection time of four network models s

本文采用5 種策略對網絡進行訓練和測試，進一步驗證改進的Faster RCNN 網絡模型的有效性。策略內容具體如下：1）未改進候選區域比例，未使用多尺度訓練和對手生成策略；2）改進候選區域比例，未使用多尺度訓練和對手生成策略；3）改進候選區域比例，使用多尺度訓練和未使用對手生成策略；4）改進候選區域比例，未使用多尺度訓練和使用對手生成策略；5）改進候選區域比例、使用多尺度訓練和對手生成策略。如表4 所示，策略2 相比策略1 調整了候選區域比例，使得檢測精確度提升了0.67 個百分點，可以更精確地檢測多尺寸絕緣子，策略3 相比策略2 采用多尺度訓練，使得檢測精確度提升了2.15 個百分點，具有更好的魯棒性，策略4 相比策略2 將對手生成機制引入網絡模型中，使得檢測精確度提升了2.92 個百分點。綜上所述，改進候選區域比例，使用多尺度訓練和對手生成策略這3 種方法均能提升改進的Faster RCNN 網絡模型的檢測精確度。

表4 基于5 種策略的改進Faster RCNN 網絡模型檢測結果比較Table 4 Comparison of detection results of improved Faster RCNN network model based on five strategies %

3 結束語

本文提出一種基于改進的Faster RCNN 網絡模型的輸電線路航拍絕緣子檢測方法，引入多尺度訓練提升目標檢測魯棒性，通過微調RPN 候選區域比例，使得檢測結果更精確且檢測框更貼合絕緣子，并設計對手生成策略提高困難樣本的檢測精確度。實驗結果表明，改進的Faster RCNN 網絡模型的檢測精確度相比Faster RCNN 網絡模型提升了4.33 個百分點，但平均檢測時間有所增加，并且實驗數據集中的圖像均為理想環境下拍攝得到，因此后續將通過添加紅外、缺陷等絕緣子圖像擴充實驗數據集，并進一步優化Faster RCNN 網絡模型，從而減少測試時間及提升檢測準確性。