基于融合特征及聚類分析的多尺度電力設備識別及定位

馬靜怡 楊金龍

摘? 要：為解決數字圖像中復雜多目標電力設備的分類識別與精確定位，提出了一種基于多特征融合與聚類分析的深度神經網絡檢測模型。該模型通過跳躍連接的信息通道快連邊緣、角度及語義等多重特征，并通過階段上采樣融合不同尺度信息，以此構建出待檢特征金字塔；然后對數據集進行聚類分析，利用金字塔中各尺度網絡對原圖像的映射比例計算出與目標最佳適配的區域生成框，最終得到適用于多尺度電力設備的檢測模型。通過對比實驗結果表明，本改進方法在檢測時能夠保持高精度并具有時效性，具備一定的工程實用價值。

關鍵詞：深度學習；電力設備；多目標檢測；特征融合；聚類分析；神經網絡

中圖分類號：TP391.4；TP18；TM761? 文獻標識碼：A 文章編號：2096-4706（2023）03-0070-05

Identification and Localization of Multi-Scale Power Equipment Based on Fusion Characteristics and Cluster Analysis

MA Jingyi， YANG Jinlong

（Zhengzhou University of Science and Technology， Zhengzhou? 450064， China）

Abstract： In order to solve the classification identification and precise positioning of complex multi-target power devices in digital images， deep neural network detection model based on multi-feature fusion and clustering analysis is proposed. In this model， the edge， angle and semantic features are connected quickly through the jump-connected information channel， and the different scale information is fused through the stage sampling to construct the Pyramid of features to be examined. Then， the data set is analyzed by clustering， and the region generating frame which best adapts to the target is calculated by using the mapping proportion of the original image to the scale network in the pyramid. Finally， the detection model for multi-scale power equipment is obtained. By comparing the experimental results， it shows that the improved method can maintain high accuracy and timeliness at the time of detection， and has certain engineering practical value.

Keywords： deep learning; power equipment; multi-object detection; feature fusion; cluster analysis; neural network

0? 引? 言

電力設備是電力系統的重要組成部分，其運行狀態直接決定著電力系統是否能夠安全經濟穩定的運行[1，2]。近年來，隨著智能化電力系統的建設與發展，越來越多的變電站或野外輸電線路都采用無人機[3]、巡檢機器人等工具對電力設備進行在線監測[4]。但通過人工進行實時圖像監測的方法易受精力等主觀因素影響。因此，采用智能圖像分析技術自動處理非結構化的視頻和圖像數據具有重要意義。

由于圖像采集距離遠、角度多變且電力設備分布較密集，導致設備最終成像的灰度及紋理等視覺特征不明顯[5]，且在尺度和形狀方面存在變化。因此無法使用依賴人工設計先驗條件的圖像分割加分類器[6，7]類算法完成多尺度設備檢測。

而另一種通過組建多層神經網絡模擬人腦的深度學習[8-13]類方法，利用逐層的卷積計算，自行迭代調整信息權重以擬合目標圖像與其類別的非線性映射，同時標記目標位置以實現定位。其中，Faster RCNN因其高精度而受到許多學者的青睞。例如：趙振兵等人[14]基于Faster RCNN，提出了使用KL散度作為網絡訓練的損失函數，同時將數據集中不同類別金具的形狀特征作為損失函數的約束，克服了輸電線路航拍巡檢圖像中金具目標間以及金具與背景間的相互干擾。但他們構建的數據集中的目標寬高分布呈線性相關，無法適用于不同尺度的設備檢測。為此，韓松臣[15]等人在使用ResNet[16]作為特征提取網絡的基礎上提出了一種類似金字塔[17]的特征融合模塊。但未考慮到異階特征層對原圖的映射比不同，因而忽略了對生成框的比例設計，不滿足目標生成域的精確度要求。

針對上述問題，本文針對現有Faster RCNN提出如下改進：采用ResNet作為特征提取網絡并抽取不同尺度特征層構建待檢金字塔。同時，根據計算得到的不同階網絡層對原圖像的映射比，結合對實際圖像中的目標尺度的聚類分析[18]結果，修改每層金字塔中的生成框的尺寸和寬高比。在構建的變電站圖像數據集中，通過實驗驗證了改進方法可實現對多尺度設備的檢測，本文提出的改進算法較原Faster RCNN檢測性能更優，證明了該方法在工程應用中的有效性和可行性。

1? 改進模型算法分析

1.1? Faster RCNN算法在檢測小目標時的缺陷

Faster RCNN是目前主流算法中性能最強的檢測模型之一，如圖1所示，其檢測過程可分為三部分：首先，利用卷積神經網絡，通過對輸入圖像逐層計算得到包含位置、形狀、語義等信息的特征圖；隨后，區域建議網絡（Region Proposal Network， RPN）接收基礎網絡最后一次計算得到的特征圖，在其上利用錨框和非極大值抑制（Non-Maximum Suppression， NMS）[19]等篩選策略得出候選區域；最后，將各個候選區域映射回原特征圖，通過池化（ROI Pooling）固定尺寸，再輸入子網絡進行目標識別與定位[20，21]。

由Faster RCNN的檢測過程可知，算法并未將輸入圖像的全部區域視作檢測對象，而是利用RPN網絡篩選出可能存在目標的候選域。換言之，RPN的計算結果直接決定了哪些區域能夠參與檢測。當RPN的選擇合理時，這種事先淘汰無用區域的方法能夠降低計算量，提高檢測效率。但是當RPN篩選策略并不合理時，檢測子網也只能對RPN提供的候選域進行分類和坐標回歸。因此，為了保證模型的檢測性能和效率，需要構建一個合理的區域建議網絡。

由RPN的運行過程可知，生成初步候選域的方法是使用卷積核在特征圖上進行滑窗，隨后在原圖中對應位置生成錨框后篩選出前景框。那么影響候選域結果的兩個主要因素就是基礎特征圖和錨框[12]。對這兩個因素進行分析，得到原RPN不適用于多尺度電力設備識別與定位的原因有：

（1）滑窗計算是在由基礎網絡計算得到的最后一層特征圖上進行遍歷，由于單層特征圖的感受野是固定的，那么特征圖上每個單元在原圖上的映射區域面積就是一個定值。因為特征圖與原圖的映射縮放比例固定，即使錨框的生成設置是可以人為改動的，原圖上劃分的候選域也被限制了檢測范圍，無法全面地對尺度變化大的電力設備進行檢測。除此之外，因為基礎網絡中的下采樣計算會損失細節信息，所以最后得到的單張特征圖上可能只保留了較大尺度的目標信息，并不利于多尺度目標檢測。

（2）Faster RCNN中初始的錨框設置和電力設備的圖像并不適配，以原始設置生成的錨框在原圖上的映射框無法選中完整的目標，也就無法獲取正確的候選域，導致模型對多尺度目標的檢測能力低。

1.2? 改進算法分析

基于上述分析，本文針對性地提出兩點改進：首先，為了解決作為候選域計算依據的特征圖尺度單一的問題，引入特征金字塔結構。通過在不同感受野的多層特征圖上進行滑窗，在原圖上映射得到多種的候選域，全面覆蓋了目標尺度的可能性。然后根據實際圖像中電力設備的成像特點，同時考慮不同特征層與原圖間的映射倍數，設置合理的錨框生成參數，從而提高模型對多尺度電力設備的檢測能力。為此，本文提出了一種結合多尺度特征的改進區域建議網絡。

1.2.1? 基于特征融合的改進網絡結構

改進的區域建議網絡的設計思想中并不改變錨框的生成方式，而是通過構建特征金字塔，使用更多尺度的特征圖參與計算，消除單層特征圖固定感受野造成的限制。對基礎網絡ResNet，選擇每個stage的輸出結果構建特征金字塔。改進后的網絡整體結構如圖2所示。

改進網絡中，C2～C5為ResNet中每個stage的輸出，C5經過1×1卷積降維和3×3卷積后得到P5。每一層Pi都由Pi-1逐級上采樣并融合對應的Ci后得到，其中每次融合后的3×3卷積都是為了緩沖不同層之間的混疊。最后，由P2～P5組成的特征金字塔即為改進模型的區域建議網絡。

假設原圖尺寸為224×224，網絡各級的輸出尺寸如表1所示。

1.2.2? 錨框改進措施

為了根據目標的區域特點設計少而精的錨框，需要先對目標的尺寸進行統計分析。在統計學中，能夠清晰、簡明的表達某一類數據中存在某種共性的計算方法有描述統計、推論統計和聚類分析等。其中，描述統計傾向于表述數據的分布趨勢；推論統計以統計結果為依據，目的是證明或推翻某個命題；而聚類分析將數據分類到不同的簇，簇間數據具有強相似性，而簇與簇之間的差異性很大。根據三種統計方法的特點，顯然聚類分析法更適用于統計電力設備目標尺寸。

K-means聚類分析[22]因其算法簡單有效，且在許多軟件上都有成熟的應用而廣受歡迎。算法通過提前設置k個中心，將n個數據對象歸到距離最近的中心完成聚類。使用K-means聚類分析目標框尺寸流程為：

（1）希望得到的目標框類型盡可能的少且覆蓋全面，因此根據圖像中目標區域特點，選擇9個初始中心點，點的坐標代表目標框的寬和高。

（2）對所有樣本計算其到各中心的歐氏距離，將樣本歸到距離最短的中心所在的類。

（3）取每一類中的樣本均值作為新一次迭代的初始值，即更新類的中心。

（4）重復第（2）（3）步，直到更新后的中心維持不變。

想要對目標框進行聚類分析，首先要統計數據，根據標注得到的.xml文件中坐標信息可以計算得到目標框的寬高。然后根據K-means聚類流程進行迭代計算，最后按照提前設置好的聚類中心個數，得到九個目標框的寬高如表2所示。

根據表中前兩行的數據可以計算得到各類框相應的面積和寬高比，計算結果如表中第三行和第四行所示。可以看出，目標框的寬高比例近似集中于0.24、0.47、2.78和5.37。考慮到區域建議網絡中，參與候選域計算的特征圖有四種尺度，也就是說特征圖與原圖之間存在四種放縮比例。因此，只能暫時選定最符合實際情況的錨框比例分別{0.2，0.5，2.5，5}，然后針對不同層的特征圖分別進行計算使用所需的錨框大小。

根據上述中對目標的聚類結果，得到了符合電力設備圖像中目標特點的錨框的比例。為了進一步得到錨框設置的大小，需要分別在4個具有不同感受野的金字塔網絡上進行計算。根據原圖上的目標框的原始大小，按照每層區域建議網絡與原圖之間的放縮倍數，計算目標在特征金字塔上對應的錨框面積大小。計算過程如下：

為了方便計算，假設原圖尺寸為224×224，根據表1可算出P5層中特征圖的尺寸是原圖的1/32。也就是說P5上的每個像素點對應著原圖上49個像素大小的面積，此時在原圖上寬高低于7的目標信息已經在卷積和下采樣的過程中損失掉了，P5上只存在較大尺寸的目標信息。由此可得出，P5上只需要設置用于檢測較大物體的錨框，根據聚類結果可將尺寸設置為{16，25}。緊接著P4層由P5融合C4，其感受野大小維持不變。因此P4層的錨框尺寸仍可設為{16，25}。

P4在上采樣之后融合C3得到P3，此時的感受野大小發生了改變。因為C3中包含的中小目標的信息量明顯高于C4，而P3又是由全局信息豐富的P4反卷積得到，因此P3上對中小型目標的檢測能力明顯升高。由相同的理論可以推出，P2層可進行對小尺寸目標的檢測。綜合上述結論，可將P3和P2中的錨框尺寸分別設置為{10，16}和{6，10}。

綜合上述分析可得，對于改進區域建議網絡中的每一層特征圖，都有8種錨框。各層中錨框的生成參數如表3所示。

2? 實驗設計與分析

2.1? 實驗數據集及平臺

本文中所使用的源數據集是實地采集的變電站內電力設備圖像，數據集中涉及的目標類型共9種：電流互感器（CT）、電壓互感器（VT）、絕緣子（Insulator）、隔離開關（Insolating_switch）、變壓器（Transformer）、避雷器（Lightning_arrester）、環形斷路器（Circuit_breaker）、油枕（Conservator）和套管（Branch_pipe）。分別從不同的角度和距離對每個類型的設備圖像進行采集，由于數據集的容量遠遠低于模型訓練的需求量，因此需要通過平移、翻轉、縮放等手段對原始圖像進行樣本擴充，數據增強后的數據集共8 000張。為了訓練模型并驗證模型性能，需要將數據集以隨機的原則劃分為訓練集、驗證集和測試集，劃分比例取5：2：3。訓練集用于訓練模型得到網絡層權重，驗證集用于調整訓練超參數以優化模型，最后在測試集上檢測模型性能。

在數據收集完成后需要對所有圖像中的目標進行標注，通過“標簽值”讓模型學習輸入和輸出之間的映射關系。LabelImg是開源的專用于圖像標注的工具，使用方法非常簡單：對圖像中的目標一一進行框選并標注，每幅圖像生成一個儲存著標注信息的XML文件，包含有圖像整體大小、所有目標的類別信息以及標注框的坐標信息。標注的過程及結果如圖3所示。

本文所使用的硬件環境為個人PC端，搭載的CPU處理器型號為Intel（R）Core（TM）i7-9730H 2.60 GHz，配置

NVIDIA GEFORCE GTX1660Ti顯卡；軟件環境為Windows 10+CUDA 10.0+cudnn-v 7.0，Python IDE使用Anaconda 3。

2.2? 對比試驗設計及評價指標

為了檢驗本文中針對區域建議網絡提出的改進措施的有效性，設計兩組對比實驗測試不同模型的檢測性能：在分別采用50層和101層網絡結構的基礎上，對比Faster RCNN+ResNet和加入特征金字塔的改進模型Faster RCNN+P-ResNet。為了控制變量，兩模型中除了本身結構不同以外，訓練策略和各個超參數全部保持一致。

因為Faster RCNN是個多任務網絡模型，所以往往采用近似聯合訓練以實現共享網絡權重。它將RPN和檢測子網視作一體進行訓練，在反向傳播過程中只傳回分類分支的梯度進行訓練，舍棄候選域的坐標預測梯度，以此提高網絡訓練的效率。

為了純粹比較模型的優劣，盡可能地減少在訓練過程中加入tricks。因此訓練方式采用小批量梯度下降（Mini-Batch Gradient Descent， MBGD）[23]，考慮到樣本總數，設置每批次訓練樣本數為16。同時，為了提高訓練速度并避免訓練陷入局部最小，引入動量項并固定為0.9。設置訓練的最大迭代次數為5×104，初始學習率為1×10-2，以0.1為調整倍數進行階梯式衰減。

常用的模型評估指標有準確率（Accuracy）、精確率（Precision）以及召回率（Recall）等，式（1）～（3）為：

（1）

（2）

（3）

其中，P、N分別表示區域類別為前景和背景；T、F分別表示預測結果正確和預測結果錯誤。由公式可看出，準確率衡量的是正確預測數目占所有觀測值比重；精確率是針對所有被模型預測為Positive的樣本而言，即在所有被預測為正例的樣本中，判斷正確的數目所占比重；召回率則是在所有真實值為Positive中，模型正確預測所占比重。而在這其中，由于計算因素的互補性，召回率與精確率兩種指標是相互矛盾的，故而研究采用同一類別內的平均準確率（Average Precision， AP）以及不同類別間的平均準確率均值（mean Average Precision， mAP）作為模型的評價指標。

為使衡量標準更加多樣化，降低實驗結果隨機性。參考COCO數據集衡量標準，在使用mAP的基礎上增加交并比（IoU）限制。

3? 實驗結果分析

改進算法與原Faster RCNN算法（基礎網絡分別為ResNet50及ResNet101）在多種交并比閾值下的mAP結果如表4所示。

由結果可以看出，無論是在哪種交并比取值情況下，加入特征金字塔后的改進算法的檢測精度均優于Faster RCNN+ ResNet。分析第一組50層網絡結構的實驗結果可知，三種交并比下改進算法對模型檢測準確率的提高點分別為1.27%、2.7%和1.38%；分析第二組101層網絡結構的實驗結果可知，三種交并比下改進算法對模型檢測準確率的提高點分別為1.11%、0.4%和0.96%。由于交并比的取值越大，得到的預測框越接近真實值，預測結果也就越精確。由此可得出推論：本章中提出的改進算法Faster RCNN+FSD-ResNet能夠有效地改善模型對多尺度的目標的檢測能力。

4? 結? 論

針對Faster RCNN在檢測多尺度電力設備時的缺陷，本研究提出了相應的改進方法：

首先，原檢測模型僅靠特征提取網絡最后一次卷積計算得到的結果生成錨框，而單張特征圖不僅存在特征不均衡的問題，而且以此生成的錨框的檢測尺度有下限，導致RPN無法實現全尺度、多特征的候選區域列舉。因此，在RPN中引入了特征金字塔結構，通過構建多尺度和多層次感受野的區域建議網絡并在此之上計算候選域。

其次，為了針對性的檢測電力設備，需要根據實際的目標大小、形狀特點進行錨框的生成設置。結合統計學，采用聚類分析法得到目標尺度特點，而后根據感受野理論逐層的計算錨框的基礎大小和變換比例，實現以任務為導向的精確檢測。最后，通過實驗驗證了本章中提出的改進方法可以有效地提升模型對多尺度目標的檢測性能。

雖然本研究已被證實能夠有效地提高多目標電力設備的檢測性能，但仍存在一些可優化的問題，例如：引入特征融合模塊導致模型復雜度上升，損失了一部分檢測效率等。在后續的工作中，應考慮優化方法以在保證模型檢測精度的同時簡化網絡結構。

參考文獻：

[1] 唐文虎，牛哲文，趙柏寧，等.數據驅動的人工智能技術在電力設備狀態分析中的研究與應用 [J].高電壓技術，2020，46（9）：2985-2999.

[2] 周俊煌，黃廷城，謝小瑜，等.視頻圖像智能識別技術在輸變電系統中的應用研究綜述 [J].中國電力，2021，54（1）：124-134+166.

[3] 林剛，王波，彭輝，等.基于改進Faster-RCNN的輸電線巡檢圖像多目標檢測及定位 [J].電力自動化設備，2019，39（5）：213-218.

[4] 陳樹勇，宋書芳，李蘭欣，等.智能電網技術綜述 [J].電網技術，2009，33（8）：1-7.

[5] 章立.可見光圖像弱小目標的檢測與跟蹤研究 [D].西安：西安科技大學，2018.

[6] 趙振兵，王樂.一種航拍絕緣子串圖像自動定位方法 [J].儀器儀表學報，2014，35（3）：558-565.

[7] 馮玲，黃新波，朱永燦.基于圖像處理的輸電線路覆冰厚度測量 [J].電力自動化設備，2011，31（10）：76-80.

[8] LECUN Y，BENGIO Y，HINTON G. Deep Learning [J].Nature，2015，521（28）：436-444.

[9] KULKARNI A，CALLAN J. Selective Search [J].ACM Transactions on Information Systems （TOIS），2015，33（4）：1-33.

[10] XIANG P，ZHOU H X，LI H. Hyperspectral anomaly Detection by Local Joint Subspace Process and Support Vector Machine [J].International Journal of Remote Sensing，2020，41（10）：3798-3819.

[11] GIRSHICK R. Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1440-1448.

[12] REN S Q，HE K M，GIRSHICK R，et al. Faster R-CNN：towards Real-Time Object Detection with Region Proposal Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[13] REDMON J，DIVVALA S，GIRSHICK R，et al. You only Look Once：Unified，Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：779-788.

[14] 趙振兵，李延旭，甄珍，等.結合KL散度和形狀約束的Faster R-CNN典型金具檢測方法 [J].高電壓技術，2020，46（9）：3018-3026.

[15] 韓松臣，張比浩，李煒，等.基于改進Faster-RCNN的機場場面小目標物體檢測算法 [J].南京航空航天大學學報，2019，51（6）：735-741.

[16] HE K，ZHANG X Y，REN S Q，at al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[17] LIN T Y，DOLL?R P，GIRSHICK R，et al. Feature Pyramid Networks for Object Detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：936-944.

[18] 馬秀麟，姚自明，鄔彤，等.數據分析方法及應用——基于SPSS和EXCEL環境 [M].北京：人民郵電出版社，2015.

[19] NEUBECK A，GOOL L V. Efficient Non-Maximum Suppression [C]//18th International Conference on Pattern Recognition（ICPR'06）.Hongkong：IEEE，2006：850-855.

[20] LONG J，SHELHAMER E，DARRELL T. Fully Convolutional Networks for Semantic Segmentation [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Boston：IEEE，2015：3431-3440

[21] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet Classification with Deep Convolutional Neural Networks [J].Communications of the ACM，2017，60（6）：84-90.

[22] 張建萍，劉希玉.基于聚類分析的K-means算法研究及應用 [J].計算機應用研究，2007（5）：166-168.

[23] RUDER S. An Overview of Gradient Descent Optimization Algorithms [J/OL].arXiv：1609.04747 [cs.LG].[2022-09-03].https：//arxiv.org/abs/1609.04747.

作者簡介：馬靜怡（1995—），女，漢族，四川巴中人，助教，碩士，研究方向：目標檢測；楊金龍（1990—），男，漢族，河南鶴壁人，助教，碩士，研究方向：精密儀器測量。

收稿日期：2022-10-19