基于改進掩膜區域卷積神經網絡的輸電線路絕緣子自爆檢測

茍軍年 杜愫愫 劉 力

基于改進掩膜區域卷積神經網絡的輸電線路絕緣子自爆檢測

茍軍年 杜愫愫 劉 力

（蘭州交通大學自動化與電氣工程學院 蘭州 730070）

由于背景復雜、目標所占像素比例較小，掩膜區域卷積神經網絡（Mask R-CNN）模型對輸電線路絕緣子缺陷檢測能力不足，該文提出一種改進的Mask R-CNN模型。具體地，首先，在特征提取網絡中引入卷積注意力模塊（CBAM），分別從通道和空間提升小目標特征保持性；其次，使用全局交并比（GIoU）計算目標間的相似度，提升定位準確性；最后，使用Tversky損失計算掩膜分支的損失，以提升不平衡樣本下的檢測效果。使用某輸電運檢中心無人機巡檢作業所得具有自爆缺陷的絕緣子照片作為數據集對該模型進行驗證，實驗結果表明，與原始Mask R-CNN模型相比，該方法的平均精確率AP50:90、AP50和AP75分別提升至0.56、0.79和0.72；與三種經典目標檢測算法相比，該算法具有較高的檢測精度，模型的分割性能有一定提升，且比原始模型具有更好的魯棒性，可以滿足電力巡檢中準確性和快速性的要求。

絕緣子缺陷檢測 掩膜區域卷積神經網絡 卷積注意力模塊 特征融合 全局交并比 Tversky損失

0 引言

絕緣子長期掛網于惡劣環境中容易出現自爆缺陷，若不及時進行更換，輸電線路由于爬距減小極易發生單相接地或相間短路故障，嚴重時甚至導致電網大規模停電。傳統人工巡檢效率低下，不能及時準確地反映線路設備的運行狀況，一旦設備發生故障，往往造成巨大損失；同時在一些跨越江河和山區的地段，線路巡檢成為盲區。使用無人機采集圖像進行巡檢可以減少環境因素帶來的影響，速度快、效率高，降低了巡檢人員的作業負擔，現已被廣泛應用于輸電線路巡檢。

目前，針對絕緣子目標和缺陷檢測的研究通常基于傳統視覺方法或深度學習方法[1]。申澤浩[2]利用圖像閾值分割方法從原圖中提取絕緣子串后，對其進行最小二乘法擬合，并利用絕緣子片的等距分布特點定位絕緣子掉串位置；Ren Ruoxu等[3]使用Otsu法和圖割算法，結合熱力圖特點，較為準確地得到絕緣子缺陷輪廓區域。此類利用圖像分割或圖像匹配的檢測方法由于光線不同、背景復雜、角度多樣，使有效分割絕緣子區域較為困難，并影響最終檢測效果。據此，傳統機器學習方法依賴絕緣子結構的人工設計特征進行檢測，考慮到絕緣子串具有明顯的閉合輪廓，翟永杰等[4]提取絕緣子的局部特征訓練分類器，再針對絕緣子獨特的骨架結構設計特征描述子來識別絕緣子，但算法適用場景單一；趙振兵等[5]利用卷積獲取圖像特征，再輸入支持向量機（Support Vector Machine, SVM）進行絕緣子缺陷分類，特征可靠性較高，但檢測速度難以滿足工業實時性要求。由于人員操作主觀性較強，傳統機器學習無法設置統一的算法評判標準，張倩等[6]提出改進型卷積神經網絡（Convolutional Neural Network, CNN）模型對絕緣子狀態進行檢測，模仿人類認知過程，在LeNet_5網絡基礎上引入隨機配置網絡分類器，添加反饋機制，采用交替優化策略更新網絡參數，而狀態評價指標則基于熵理論設置，整個算法提供了新的特征設計與指標設置思路，具有一定指導意義，且結果表明該方法檢測準確率較傳統方法而言有所提升，但網絡構建較復雜，圖像質量還不夠高。

使用深度學習方法訓練神經網絡學習目標特征，與傳統算法相比，其特征表達能力更為優異，已在絕緣子缺陷檢測上有所應用。針對已有單階段與雙階段目標檢測算法，結合實際巡檢環境與所獲圖像特征，對算法進行改進。陳明等[7]在YOLOv3中加入金字塔特征注意網絡，提升了絕緣子的定位準確率；針對紅外圖像對比度低、目標特征相近等特點，鄭含博等[8]加入Mosaic數據增強技術，增強圖像多樣性，將PANet（path aggregation network）融合到原特征金字塔（Feature Pyramid Network, FPN）結構中，改善目標特征相似性對特征提取與融合階段造成的干擾，損失函數的優化讓模型具備更優的收斂速度和精度，結果表明，改進模型分類精度較高；李瑞生等[9]使用SSD（single shot multibox detector）檢測輸電線路銷釘丟失，在網絡中加入殘差結構和一種多層級特征融合策略來提高模型魯棒性，該模型對絕緣子破裂與污穢具有突出的檢測效果；郝帥等[10]為改善復雜背景對目標檢測造成的干擾，在YOLOv5基礎上引入注意力機制，并針對多尺度特征信息設計融合模塊，結果表明改進算法可以實現輸電線路缺陷的有效檢測。

雙階段算法并不一味追求檢測速率，檢測準確率被視為算法研究重點。目前雙階段算法基于大量錨框回歸得到目標框，也有文獻指出級聯協同定位算法也可視作該領域算法[11]。針對圖像中絕緣子被遮擋的問題，易繼禹等[12]調整Faster R-CNN（faster region-convolutional neural network）候選區域比例來進一步提升模型檢測精確度；趙振兵等[13]為解決尺度特征融合的有效性，在Cascade R-CNN模型基礎上提出神經架構搜索獲取空洞卷積提升特征提取的多尺度性，解決輸電線路金具檢測率低的問題；徐建軍等[11]提出基于層次多任務深度學習的絕緣子自爆缺陷檢測模型，使用基于卷積神經網絡的分類網絡，有效區分航拍圖像中自爆絕緣子和正常絕緣子，結果表明，該模型具有較強的分類能力；王卓等[14]針對航拍圖像復雜背景干擾絕緣子檢測問題，提出協同深度學習的二階段絕緣子故障檢測方法，將全卷積網絡（Fully Convolutional Network, FCN）與YOLOv3算法相協同，首先利用FCN實現絕緣子目標的初步分割，避免背景區域對絕緣子故障檢測的干擾，然后構建YOLOv3模型進行絕緣子故障檢測，實驗結果表明，該方法能有效抑制背景干擾，較原始YOLOv3算法檢測精度有所提升，但級聯模型參數量較大，網絡訓練耗時較長。

出于安全考慮，無人機與電力線路的距離有所限制，巡檢圖像中絕緣子像素占比較少，其缺陷部分相對整張圖片而言更是微小，所以絕緣子缺陷檢測屬于小目標檢測，同時復雜的背景也增加了檢測難度。通過改進小目標的特征提取方式可以提高網絡的語義提取能力，兼具檢測精度和效率[15]。伍錫如等[16]對掩膜區域卷積神經網絡（Mask Region-Convolutional Neural Network, Mask R-CNN）主干特征層與特征金字塔間的卷積操作進行優化，保證了絕緣子形態的完整性。趙文清等[17]在Faster R-CNN特征提取階段引入擠壓激勵網絡，使模型更關注與目標相關的特征通道，提高了絕緣子的檢測準確率。

本文針對無人機巡檢圖像中絕緣子缺陷檢測這一特定情況，提出一種基于改進Mask R-CNN的輸電線路絕緣子缺陷檢測算法，其步驟為：①特征提取，將卷積注意力模塊（Convolutional Block Attention Nodule, CBAM）引入主干特征提取網絡中；②特征融合，對多尺度特征融合網絡進行了優化；③目標檢測，使用全局交并比（Generalized Intersection over Union, GIoU）指標衡量兩個檢測框的相似度；④目標分割，使用Tversky損失衡量掩膜分支的預測結果。結果顯示，與原模型對比，所提方法在檢測效果上有一定提升。

1 Mask R-CNN檢測框架

Mask R-CNN算法基于Faster R-CNN框架，增加基于FCN的語義分割分支，在目標檢測的同時進行語義分割，其基本框架如圖1所示。該模型使用ResNet101提取主干特征，FPN融合高低層特征，通過區域建議網絡（Region Proposal Network, RPN）輸出目標建議框的集合，創造性地提出感興趣區域對齊（Region of Interest Alignment, ROI Align），使目標建議框的集合產生特定大小的特征圖，很好地解決了感興趣區域池化（Region of Interest Pooling, ROI Pooling）在映射和池化過程中兩次量化造成的區域不匹配問題，最后使用兩個全連接層得到分類和邊界框預測結果，并用一個全卷積網絡得到掩膜預測結果。研究表明，一味地堆疊神經網絡的層數并不能提升網絡的特征學習能力，反而可能導致梯度彌散或梯度爆炸。Mask R-CNN在特征提取時使用了ResNet101殘差網絡[18]，該結構引入短路連接，允許保留淺層網絡一定比例的輸出，直接與底層特征相融合，保證特征信息的完整性。此過程中網絡只學習輸入、輸出的差別，最終朝恒等映射的方向收斂，有效簡化了網絡層數增加導致的訓練困難[19]。

圖1 Mask R-CNN檢測框架

在RPN網絡得到目標的建議框之后，需要將其處理為統一大小并送入全連接層處理。Faster R-CNN根據預選框坐標信息，使用ROI Pooling將特征圖中對應區域固定為統一尺寸，以便進行后續分類和包圍框回歸操作，由于預選框坐標可能存在浮點數，進行上述映射前需進行取整操作，而對所提取的ROI進行池化操作也會涉及量化取整處理，這兩次數據處理后得到的候選框和模型預選位置有一定偏差，影響最終分割準確度。為解決量化操作帶來的“不匹配問題”，Mask R-CNN提出ROI Align方法，采用雙線性插值算法，保留浮點型坐標，計算每個采樣點的像素值，將預選框與圖像中的候選區域逐像素點匹配，該方法原理如圖2所示，通過對與采樣點相鄰的格點進行雙線性插值，得到的值。具體插值過程為

2 改進的Mask R-CNN網絡框架

2.1 融合注意力機制的特征提取網絡

對絕緣子缺陷這類小目標而言，檢測時期望網絡能更多關注缺陷區域整體輪廓和邊緣，以實現更加精準的定位，這就要求網絡能夠自適應地關注有效特征。近年來，注意力機制廣泛應用于圖像處理領域，其核心思想是獲取特征重要性的差異，及時更新特征圖的權重占比，將計算資源投入更重要的任務，從而高效完成任務[20]。根據注意力權重施加位置和方式不同，將注意力機制分為通道域、空間域，對于特征圖所含信息而言，通道和像素點間蘊含豐富的語義信息，因此本文使用CBAM[21]對特征圖的通道和空間注意力信息進行融合，通過特征權值在通道域和空間域進行篩選，獲得目標所含顯著性特征。CBAM結構如圖3所示，前半部分為通道注意力（Channel Attention, CA）模塊，后半部分為空間注意力（Spatial Attention, SA）模塊，其總體特征處理過程為

圖3 CBAM結構

輸入圖像經ResNet101特征提取后可得到圖像分別壓縮2次、3次、4次及5次后包含目標不同尺度特征的結果，稱為基礎特征層C(=2, 3, 4, 5)。本文將CBAM加入4和5，以提升模型對感興趣語義信息的提取能力。

2.2 多尺度特征增強

基礎特征層C(=2, 3, 4, 5)的分辨率不同，其中蘊含的語義信息也有所差異。由于低層信息和高層信息的互補性，FPN融合低層細節特征和高層語義信息，采用金字塔式的層級結構對所獲取的低分辨率特征圖進行上采樣，利用橫向連接，與對應尺度的有效特征層進行融合。

加入注意力機制的主干特征提取網絡所獲特征層仍具有圖像金字塔特征信息的局限性，每次融合將非相鄰尺度特征信息進行稀釋[22]，忽略尺度跨度較大的信息，使得分割階段所用特征圖不夠完整，導致分割精度不高，因此必須保證特征融合可生成兼具高語義信息與位置信息的多尺度特征。為提高低層信息的利用率，Liu Shu等提出PANet[23]，增加并行“自底向上”路徑促進信息的流動。借助該融合思想，在FPN中引入一條并行的自底而上路徑和一個特征融合模塊，在有效融合多尺度特征信息的同時提升全局特征表達能力。特征融合過程如圖4所示。特征層P(=2, 3, 4, 5)由自上而下路徑得到，N(=2, 3, 4, 5)是新增自底向上路徑進一步增強所得。新增路徑中，利用一個淺層N和更深層P+1融合生成第N+1層，其中2與2相同，N經步長為2的3×3卷積進行下采樣，此時通過橫向連接與P+1逐元素相加，在不改變特征圖層數的前提下，經3×3卷積和ReLU處理，消除融合階段下采樣操作可能產生的特征混疊效應[24]。據此過程進行迭代生成N+1用于后續的子網絡，使小目標特征在特征提取時不易被網絡過濾。此時所得特征層N所含信息均基于相鄰層，利用特征融和模塊賦予每個特征層圖像全局語義信息。

融合模塊采用1×1卷積和3×3卷積串行組成。在輸入該模塊前，對N進行尺度縮放，調整為同一分辨率并行輸入，1×1卷積保證各輸入特征層的維度相同，在此基礎上進行特征融合；3×3卷積在不增加模型深度的前提下，進行細小特征提取。再次反向尺度操作恢復所需各個尺度特征層，此時便可得到包含場景全局語義信息的有效特征層。

2.3 使用GIoU衡量檢測框相似度

由于航拍場景的特殊性，絕緣子分布有所交疊且所處背景復雜，通常在目標定位階段借助非極大值抑制算法對檢測框進行篩選，根據交并比（Intersection over Union, IoU）函數選擇置信度最高的候選框作為檢測結果。這種方法對于非密集場景下的定位有出色的效果，而根據單閾值設置IoU對檢測框進行濾除[25]并未考慮目標重疊的情況，當屬于同一類的多個物體非常靠近時，算法只會保留置信度最高的候選框，從而造成目標漏檢。

IoU由錨點框A和相應實例框B計算所得，即

式（6）用于衡量兩個目標的重合度，對應值越大則說明此時定位效果越好。該指標用于表示兩個相交矩形框間的距離，對于不相交的矩形框，IoU值始終為0，無法描述目標的相對位置。為得到更一般的目標間距離與位置，實現重疊目標的有效定位，將其替換為全局交并比，該指標為

式中，C為能夠包含任意兩個框A、B的最小矩形框。IoU和GIoU兩者計算方式對比如圖5所示，GIoU解決了傳統IoU只根據兩個框自身信息進行計算而導致非重疊場景下目標漏檢問題，以及忽視目標相對位置而導致模型檢測性能不佳問題。通過引入最小外接矩形框C，增加衡量兩目標間重疊形式和重疊程度的信息，不僅可以準確刻畫目標間的距離，而且可以更為有效地表示錨點框和實例框間的重疊，即使在無重疊情況下，也可保證保留下的實例框的準確性，提升模型的定位性能。

圖5 IoU與GioU計算方式對比

2.4 分割損失函數優化

式中，為預測值（prediction）；為真值（ground truth）；|∩|為真正例（True Positive, TP），|-|為假正例（False Positive, FP），|-|為假反例（False Negtive, FN），此處，正例代表缺陷絕緣子，反例代表正常絕緣子；、分別為FP和FN的控制因子，訓練過程中只需調整控制因子，以權衡FP和FN，使模型在不均衡樣本條件下更關注FN，提升網絡學習的魯棒性，本文將其分別設置為0.3和0.7。優化后的Mask R-CNN輸出單元損失函數為

改進后的Mask R-CNN網絡結構如圖6所示。

3 實驗結果分析

3.1 數據集

本文使用的數據集源于國網某輸電運檢中心無人機作業班巡檢作業，其中含有帶缺陷的絕緣子圖像共792張。通過翻轉變換、模糊處理、加噪處理、對比度增強、色度增強、銳度增強等方法擴充數據集，最終生成絕緣子缺陷圖像3 006張，其中70%作為訓練集，10%作為驗證集，20%作為測試集。數據擴充后生成的圖像如圖7所示，并利用Labelme進行缺陷部分標注。

3.2 網絡訓練

網絡訓練使用Keras深度學習框架，腳本語言使用Python3.7.6，且均基于Intel Core i5—9400@2.90GHz CPU和6GB運行內存的NVIDIA RTX1660Ti硬件配置完成。為減少訓練時間，提高模型辨識準確率，訓練過程采用遷移學習思想[28]，利用COCO（common objects in context）數據集預訓練權重，學習率設置為0.001，動量值為0.9。為保證硬件資源與訓練時間可得到充分利用，采用凍結與解凍相結合策略進行模型訓練，前20個epoch（1個epoch為使用訓練集中的全部樣本訓練一次）用于凍結主干網絡，將更多資源投入后續網絡的訓練，且保證遷移學習不會破壞預訓練權重；然后解凍訓練130個epoch得到最終模型，考慮航拍圖像的像素與尺寸，統一設置批大小為2。

模型改進前后對應訓練損失函數和驗證損失函數如圖8所示。黑色線條為原Mask R-CNN結果曲線，紅色線條表示改進模型曲線，橫坐標為模型迭代次數，均設置迭代150個epoch，縱坐標為損失函數值。由圖8a可知，前20個epoch的凍結訓練使網絡收斂速度明顯提升，損失函數值驟降，之后損失值平穩下降，兩者均在迭代30個epoch后開始收斂，最終約穩定在0.139，從收斂情況可看出本文提出模型的訓練效果較理想。圖8b驗證了損失函數可衡量所得模型的泛化能力，由于改進后模型參數量較原模型有所增加，其驗證損失相較于原算法收斂速度較慢，在迭代120個epoch后開始收斂，最終約穩定在0.128，可證明改進模型具有良好的數據擬合能力。

3.3 缺陷檢測結果

判定網絡性能往往依據模型所得預測框和人工標注真實框的匹配度，根據匹配度差異可將檢測結果分為TP、TN、FP以及FN，在本文中真反例（True Negtive, TN）代表正常絕緣子，據此得到查準率（Precision, P）和查全率（Recall, R）指標，分別反映模型對目標的分類能力和檢測能力。以查全率為橫坐標，查準率為縱坐標繪制-曲線可作為模型綜合評價指標，曲線下所圍成的面積稱為平均精確率（Average Precision, AP），即

式中，()為-曲線。

本文通過使用相同輸電線路巡檢數據集，選擇單目標場景中存在干擾、目標與背景顏色相近、目標傾斜三種常見情形和雙目標場景的巡檢圖像進行測試，并通過消融實驗驗證改進方法的有效性。不同改進策略下的分割精度對比結果見表1，以AP50:95、AP50和AP75為主要評價指標。其中，AP50:95表示計算以0.05為步長，IoU在0.5～0.95之間變化的AP平均值；AP50和AP75分別表示IoU為0.50和0.75時計算所得AP。由表1可知，改進網絡檢測性能指標均較原始網絡有所提升，相比原網絡，AP50:95提升至0.56，AP50提升至0.79，AP75則提升到0.72；且各模塊均可有效提升模型分割精度，尤其GIoU指標的替換和使用Tversky損失作為掩膜損失這兩部分改進，具有較為突出的效果。

表1 不同改進的網絡實測指標

Tab.1 Measured indexes of different improved networks

一般而言，模型性能的要求隨IoU閾值的增大而提高，AP50可反映模型對目標的綜合檢測能力，AP75則更能體現模型對目標邊界框的回歸能力。為進一步證明改進算法針對輸電線路絕緣子自爆缺陷檢測的優越性，分別得到AP50和AP75條件下，改進前后模型的-曲線進行更為直觀的比較，如圖9所示。曲線包圍所得面積越大，則說明對應算法具有更優的分類及檢測性能。可以看出，改進后算法對應的曲線均處于外側，由此可證明本文方法的有效性，其性能優于原始算法。

本文改進模型與原始模型對絕緣子自爆缺陷檢測結果如圖10所示。通過視覺對比，原模型在背景與目標顏色相近時能較好地完成檢測，但仍會出現誤檢現象，本文方法在單目標檢測場景所得檢測框更完整，分割實例掩膜也更準確，尤其對于目標邊緣細節部分處理更平滑，分割效果有所改善；對于多目標檢測場景，也可以準確檢測并分割完整實例掩碼。可視化結果驗證了改進后Mask R-CNN對巡檢圖像中缺陷絕緣子檢測的有效性。

結合評價指標和檢測效果圖進一步分析得到以下結論：絕緣子通常處于較為復雜的自然環境，由于周圍輸電線路構件和背景與絕緣子的高似然性，對絕緣子檢測具有一定的影響。如圖10中絕緣子周圍分布輸電線與鐵架這一場景，由于線路鐵架與絕緣子骨架相近，采用原始模型出現誤檢現象；又由于絕緣子顏色與其背景色彩極為相似，對模型判斷產生了誤導，從而造成漏檢現象。改進后模型可在一定程度上避免外界高似然結構的干擾，實現絕緣子缺陷部分的有效檢測，這從一定程度上驗證了所改進模塊的有效性，尤其CBAM對目標特征的有效提取及GIoU指標對候選框的有效選擇，在一定程度上改善了小目標及樣本不均對檢測帶來的影響。

3.4 不同算法檢測結果比較

為進一步驗證本文算法的檢測性能，將所提算法與三種經典目標檢測算法Faster R-CNN、YOLOX及CenterNet進行對比，針對相同的輸電線路缺陷絕緣子數據集和環境配置進行對比實驗。各算法性能指標見表2，可視化檢測結果如圖11所示。選取兩種特殊場景圖像進行對比分析：①存在多故障目標。此時，CenterNet和YOLOX出現漏檢現象，Faster R-CNN和本文算法均可準確檢測缺陷目標，但本文算法檢測精度更高，且檢測框包圍部分更加準確；②目標存在部分遮擋。四種算法均準確定位目標，本文算法檢測精度最高，且目標置信度較其他算法有所提升。綜上所述，較高的精度值表明本文算法可實現準確的定位與分割，可視化分析則體現檢測結果與實際目標之間較高的貼合性，且算法可有效濾除背景干擾，對輸電線路缺陷絕緣子檢測效果明顯提升。

表2 不同算法檢測指標對比

Tab.2 Comparison of detection indexes of different algorithms

圖11 各算法檢測結果對比

針對改進前后Mask R-CNN性能，在比較檢測精度之余，引入參數量和GFLOPs作為模型復雜度衡量指標。其中，參數量用于衡量模型計算內存資源的消耗；GFLOPs為每秒10億次的浮點運算，反映模型訓練的計算復雜度。改進前后指標對比見表3。從表3可看出，由于改進過程中網絡規模的變化，改進后模型計算量和參數量有所增加，但均為小幅度增長，而檢測精度與改進前模型相比，有較為顯著的提升，因此，本文算法在保證足夠實時性的前提可完成高精度檢測。

表3 改進前后Mask R-CNN指標對比

Tab.3 Comparison of Mask R-CNN indicators before and after improvement

4 結論

本文提出了一種改進Mask R-CNN算法，在特征提取階段加入CBAM，并通過增加特征融合路徑和總體特征融合模塊完成絕緣子特征有效融合；在定位與分割階段利用GIoU進行檢測框有效濾除，利用Tversky損失函數緩解數據集不平衡對模型的干擾。實驗結果表明，改進網絡可有效解決輸電線路絕緣子小目標缺陷特征提取及目標高度重疊場景的檢測，提升了算法的性能，且具有較強泛化能力。

[1] 趙振兵, 翟永杰, 張珂, 等. 電力視覺技術[M]. 北京: 中國電力出版社, 2020.

[2] 申澤浩. 航拍架空輸電線路絕緣子缺陷檢測方法研究[D]. 天津: 天津工業大學, 2020.

[3] Ren Ruoxu, Hung T, Tan K C. A generic deep-learning-based approach for automated surface inspection[J]. IEEE Transactions on Cybernetics, 2018, 48(3): 929-940.

[4] 翟永杰, 王迪, 趙振兵. 基于目標建議與結構搜索的絕緣子識別方法[J]. 華北電力大學學報(自然科學版), 2016, 43(4): 66-71, 78.

Zhai Yongjie, Wang Di, Zhao Zhenbing. Recognition method of insulator based on object proposals and structure research[J]. Journal of North China Electric Power University (Natural Science Edition), 2016, 43(4): 66-71, 78.

[5] Zhao Zhenbing, Xu Guozhi, Qi Yincheng, et al. Multi-patch deep features for power line insulator status classification from aerial images[C]//2016 International Joint Conference on Neural Networks (IJCNN), Vancouver, BC, Canada, 2016: 3187-3194.

[6] 張倩, 王建平, 李帷韜. 基于反饋機制的卷積神經網絡絕緣子狀態檢測方法[J]. 電工技術學報, 2019, 34(16): 3311-3321.

Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.

[7] 陳明, 趙連飛, 苑立民, 等. 基于特征選擇YOLOv3網絡的紅外圖像絕緣子檢測方法[J]. 紅外與激光工程, 2020, 49(增刊2): 262-267.

Chen Ming, Zhao Lianfei, Yuan Limin, et al. Insulator detection method based on feature selection YOLOv3 network[J]. Infrared and Laser Engineering, 2020, 49(S2): 262-267.

[8] 鄭含博, 李金恒, 劉洋, 等. 基于改進YOLOv3的電力設備紅外目標檢測模型[J]. 電工技術學報, 2021, 36(7): 1389-1398.

Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.

[9] 李瑞生, 張彥龍, 翟登輝, 等. 基于改進SSD的輸電線路銷釘缺陷檢測[J]. 高電壓技術, 2021, 47(11): 3795-3802.

Li Ruisheng, Zhang Yanlong, Zhai Denghui, et al. Pin defect detection of transmission line based on improved SSD[J]. High Voltage Engineering, 2021, 47(11): 3795-3802.

[10] 郝帥, 楊磊, 馬旭, 等.基于注意力機制與跨尺度特征融合的YOLOv5輸電線路故障檢測[J/OL]. 中國電機工程學報: 1-12 [2022-08-09]. http://kns.cnki. net/kcms/detail/11.2107.tm.20220126.1718.008.html.Hao Shuai, Yang Lei, Ma Xu, et al. YOLOv5 Transmission Line Fault Detection Based on Attention Mechanism and Cross-scale Feature Fusion[J/OL]. Proceedings of the CSEE: 1-12 [2022-08-09]. http://kns.cnki.net/kcms/detail/11.2107.tm.20220126.1718.008.html.

[11] 徐建軍, 黃立達, 閆麗梅, 等. 基于層次多任務深度學習的絕緣子自爆缺陷檢測[J]. 電工技術學報, 2021, 36(7): 1407-1415.

Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierarchical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.

[12] 易繼禹, 陳慈發, 龔國強. 基于改進Faster RCNN的輸電線路航拍絕緣子檢測[J]. 計算機工程, 2021, 47(6): 292-298, 304.

Yi Jiyu, Chen Cifa, Gong Guoqiang. Aerial insulator detection of transmission line based on improved faster RCNN[J]. Computer Engineering, 2021, 47(6): 292-298, 304.

[13] 趙振兵, 熊靜, 李冰, 等. 基于改進Cascade R-CNN的典型金具及其部分缺陷檢測方法[J]. 高電壓技術, 2022, 48(3): 1060-1067.

Zhao Zhenbing, Xiong Jing, Li Bing, et al. Typical fittings and its partial defect detection method based on improved Cascade R-CNN[J]. High Voltage Engineering, 2022, 48(3): 1060-1067.

[14] 王卓, 王玉靜, 王慶巖, 等. 基于協同深度學習的二階段絕緣子故障檢測方法[J]. 電工技術學報, 2021, 36(17): 3594-3604.

Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.

[15] 孫備, 左震, 吳鵬, 等. 面向無人艇環境感知的改進型SSD目標檢測方法[J]. 儀器儀表學報, 2021, 42(9): 52-61.

Sun Bei, Zuo Zhen, Wu Peng, et al. Object detection for environment perception of unmanned surface vehicles based on the improved SSD[J]. Chinese Journal of Scientific Instrument, 2021, 42(9): 52-61.

[16] 伍錫如, 邱濤濤, 王耀南. 改進Mask R-CNN的交通場景多目標快速檢測與分割[J]. 儀器儀表學報, 2021, 42(7): 242-249.

Wu Xiru, Qiu Taotao, Wang Yaonan. Multi-object detection and segmentation for traffic scene based on improved Mask R-CNN[J]. Chinese Journal of Scientific Instrument, 2021, 42(7): 242-249.

[17] 趙文清, 程幸福, 趙振兵, 等. 注意力機制和Faster RCNN相結合的絕緣子識別[J]. 智能系統學報, 2020, 15(1): 92-98.

Zhao Wenqing, Cheng Xingfu, Zhao Zhenbing, et al. Insulator recognition based on attention mechanism and Faster RCNN[J]. CAAI Transactions on Intelligent Systems, 2020, 15(1): 92-98.

[18] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778.

[19] 蔣弘毅, 王永娟, 康錦煜. 目標檢測模型及其優化方法綜述[J]. 自動化學報, 2021, 47(6): 1232-1255.

Jiang Hongyi, Wang Yongjuan, Kang Jinyu. A survey of object detection models and its optimization methods[J]. Acta Automatica Sinica, 2021, 47(6): 1232-1255.

[20] 張宸嘉, 朱磊, 俞璐. 卷積神經網絡中的注意力機制綜述[J]. 計算機工程與應用, 2021, 57(20): 64-72.

Zhang Chenjia, Zhu Lei, Yu Lu. Review of attention mechanism in convolutional neural networks[J]. Computer Engineering and Applications, 2021, 57(20): 64-72.

[21] Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Computer Vision - ECCV 2018, Munich, Germany, 2018: 3-19.

[22] 史彩娟, 陳厚儒, 葛錄錄, 等. 注意力殘差多尺度特征增強的顯著性實例分割[J]. 圖學學報, 2021, 42(6): 883-890.

Shi Caijuan, Chen Houru, Ge Lulu, et al. Salient instance segmentation via attention residual multi-scale feature enhancement[J]. Journal of Graphics, 2021, 42(6): 883-890.

[23] Liu Shu, Qi Lu, Qin Haifang, et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018: 8759-8768.

[24] 文韜, 周稻祥, 李明. Mask R-CNN中特征不平衡問題的全局信息融合方法[J]. 計算機工程, 2021, 47(3): 256-260, 268.

Wen Tao, Zhou Daoxiang, Li Ming. Global information fusion method for feature imbalance problem in mask R-CNN[J]. Computer Engineering, 2021, 47(3): 256-260, 268.

[25] 侯志強, 劉曉義, 余旺盛, 等. 使用GIoU改進非極大值抑制的目標檢測算法[J]. 電子學報, 2021, 49(4): 696-705.

Hou Zhiqiang, Liu Xiaoyi, Yu Wangsheng, et al. Object detection algorithm for improving non-maximum suppression using GIoU[J]. Acta Electronica Sinica, 2021, 49(4): 696-705.

[26] 曹潔, 何智棟, 余萍, 等. 數據不平衡分布下軸承故障診斷方法[J/OL]. 吉林大學學報(工學版): 1-10 [2021-08-19]. DOI:10.13229/j.cnki.jdxbgxb20210374.

Cao Jie, He Zhidong, Yu Ping, et al. Bearing fault diagnosis method under unbalanced data distribution[J].Journal of Jilin University (Engineering and Technology Edition): 1-10 [2021-08-19]. DOI:10.13229/j.cnki. jdxbgxb20210374.

[27] Salehi S S M, Erdogmus D, Gholipour A. Tversky loss function for image segmentation using 3D fully convolutional deep networks[C]//MLMI 2017: Machine Learning in Medical Imaging, Quebec City, QC, Canada, 2017: 379-387.

[28] 周宸, 高偉, 郭謀發. 基于YOLOv4模型的玻璃絕緣子自爆缺陷識別方法[J]. 電氣技術, 2021, 22(5): 38-42, 49.

Zhou Chen, Gao Wei, Guo Moufa. Recognition method of self-explosion defects of glass insulators based on YOLOv4 model[J]. Electrical Engineering, 2021, 22(5): 38-42, 49.

Transmission Line Insulator Self-Explosion Detection Based on Improved Mask Region-Convolutional Neural Network

Gou Junnian Du Susu Liu Li

（School of Automation and Electrical Engineering Lanzhou Jiaotong University Lanzhou 730070 China）

Transmission lines occupy a relatively large proportion in the power system, in order to ensure the safe and stable operation of the power system, it is necessary to regularly inspect the transmission lines, among them, insulators in the transmission line play the role of insulation and support, due to the long-term hanging and working outdoors, prone to self-explosion defects, resulting in short-circuit faults on the line, and even large-scale power outages. With the development of artificial intelligence, the use of unmanned aerial vehicles (UAV) for line inspection, and then based on deep learning target detection methods for insulator defect detection has become an intelligent inspection method with great development potential. Due to the different shooting angles of the UAV, the insulators of the lines obtained by the inspection are different, and the environment in which the insulators are located is different, which results in the occlusion phenomenon of some insulators, to overcome these problems, this paper proposes to make relevant improvements on the basis of the two-stage target detection algorithm Mask region-convolutional neural network (Mask R-CNN), to ensure the detection speed and improve the detection rate of defective insulators by the algorithm.

For the insulator defects belonging to the category of small target detection, theconvolutional block attention module (CBAM) attention mechanism is introduced in the backbone feature extraction network, so that the network can focus on the defect contour and obtain more interesting high-semantic information in the process of extracting the semantic information of the defect part. Then, in order to improve the limitations of semantic information still possessed by the feature layer, the parallel "bottom-up" path and feature fusion module are added to the original feature fusion network to promote the flow of information and global feature fusion. Once more, with the help of Generalized Intersection over Union(GIoU) to accurately characterize the distance between targets, the positioning performance of the model can be effectively improved when the targets overlap. Conclusively, the part of the original algorithmic loss function is replaced with the Tversky Loss function to alleviate the effect of sample imbalance on model training.

Based on the defective insulator dataset obtained by the UAV operation class of a transmission and transportation inspection center of the State Grid, the training of the improved network is carried out, and the model training effect is obtained from the convergence of the loss curve, and the generalization ability of the model is also improved. By using the improved model for defect detection and comparing the visual positioning results, the proposed algorithm avoids the interference of the high likelihood structure around the target to a certain extent, which realizes the effective detection of the insulator defect part, and improves the impact of small targets and sample unevenness on the detection. Compared with the original algorithm, the AP50:95of the proposed algorithm is increased to 0.56, AP50to 0.79, and AP75to 0.72. Finally, the performance of the algorithm is comprehensively compared, and the-curves of the improved before and after models under the conditions of AP50and AP75are compared, and it can be obtained that the corresponding curves of the improved algorithm are on the outside of the original algorithm curve, which shows the effectiveness of the proposed method, and the performance is better than that of the original algorithm.

Insulator defect detection, mask region-convolutional neural network (Mask R-CNN), convolutional block attention module (CBAM), feature fusion, generalized intersection over union (GIoU), Tversky loss

10.19595/j.cnki.1000-6753.tces.220783

TM755；TP389

茍軍年 男，1977年生，副教授，碩士生導師，研究方向為CT圖像重建、機器視覺和基于深度學習的圖像處理。E-mail：junnian@mail.lzjtu.com（通信作者）

杜愫愫 女，1997年生，碩士研究生，研究方向為機器視覺和基于深度學習的圖像處理。E-mail：dssssd1201@sina.com

國家自然科學基金資助項目（72171106, 61863023）。

2022-05-10

2022-06-10

（編輯 李冰）