基于改進高斯卷積核的變電站設備紅外圖像檢測方法

吳添權，郭 競，茍先太，黃勤琴，周維超

〈圖像處理與仿真〉

基于改進高斯卷積核的變電站設備紅外圖像檢測方法

吳添權1，郭 競2，茍先太2，黃勤琴2，周維超3

（1. 廣東電網有限責任公司潮州供電局，廣東 潮州 521000；2. 西南交通大學電氣工程學院，四川 成都 611756；3. 四川賽康智能科技股份有限公司，四川 成都 610041）

在無錨點算法CenterNet模型的基礎上，針對基于紅外圖像的目標檢測算法檢測精度低、耗時長的問題，給出了一種基于改進高斯卷積核的變電站設備紅外圖像檢測方法，該目標檢測方法模型網絡結構精簡，模型計算量較小。通過現場變電站巡檢機器人設備收集數據樣本，進行算法模型的訓練及驗證，實現紅外圖像變電站設備精準識別及定位。本文以變電站巡檢機器人搭配紅外熱成像儀采集到的紅外圖像庫為基礎，用深度學習方法對數據集進行訓練和測試，研究變電站紅外圖像的目標檢測技術。通過深度學習技術判斷設備中心點位實現目標分類和回歸。實驗結果表明，該方法提高了變電站目標檢測方法的識別定位精度，為變電站設備紅外圖像智能檢測提供了新的思路。

無錨點算法；紅外圖像；目標檢測；高斯卷積核；變電站設備

0 引言

目標檢測一直以來都是計算機視覺領域的研究重點[1]，也是計算機視覺領域的難點[2]之一。在工業生產、無人駕駛、視頻監控等領域都有廣泛應用[3]。紅外圖像目標檢測系統具有抗干擾性、全天候工作等特點，在電力行業發揮了重要的作用，紅外圖像檢測質量將直接影響電網系統正常工作的有效作用距離、監控設備及人員的配置，在紅外圖像預警系統中發揮著至關重要的作用。

在設備采集的過程中，紅外圖像分辨率受環境因素（大氣吸收和散射）的影響，不能還原真實分辨率，對比度表現效果不足，不能完全反映待檢測目標的紋理信息[4]。通過傳統機器學習方法不能精準分類識別戶外一次設備[5]缺陷，同時受到其他環境因素及非一次運行設備發熱點影響，易造成誤判斷。

傳統的目標檢測方法提出使用一些特征描述來檢測目標[6]，取得了一些效果但是檢測精度太低，在真實變電站場景下不具備廣泛適用性，不能滿足實踐需求。

在沒有結合深度學習以前，傳統的目標檢測方法主要有兩大類：目標實例檢測和傳統的目標類別檢測[7]。2014年以來，主要有兩類目標檢測方法：one-stage類別的目標檢測方法和two-stage類別的目標檢測方法。目前常用的典型one-stage網絡有（You Only Look Once，YOLO）[8]、YOLO9000[9]、YOLO v3[9]結合YOLO和（Regions with Convolutional Neural Networks，RCNN）模型特點的（Single Shot MultiBox Detector，SSD）[10]系列。常用的典型two-stage網絡有RCNN[11]系列。不管two-stage方法還是one-stage方法都各有優劣。受限于模型的架構大小和檢測標準要求，這兩類方法在實際場景中的應用達不到預期的效果。

2019年4月，中科院聯合牛津大學、華為諾亞方舟實驗室在已有基礎上提出了新的檢測方法CenterNet[12]。該方法提供了一種新的思路，將物體檢測的問題轉換為中心關鍵點的檢測，在目標不完整的前提下就能獲得感知物體內部信息的能力，模型結構簡單直接，對計算能力的要求較小，在數據集（Common Objects in Context，COCO）上，檢測準確率達到47%，領先以往one-stage算法的幅度至少達4.9%，是目標檢測現階段算法中性能最好的方法。

目前應用于變電站設備檢測的CenterNet模型研究還處于初級階段。因此，本文在CenterNet模型的基礎上，研究變電站紅外圖像的目標檢測技術，針對基于紅外圖像的目標檢測算法檢測精度低的問題，給出基于改進高斯卷積核的變電站設備紅外圖像檢測方法，該目標檢測方法模型網絡結構精簡，模型計算量較小，從而實現紅外圖像中變電站設備中心點位及目標分類，提高一次設備和關鍵點位[13]的識別定位的精準度。通過收集現場變電站設備紅外熱圖像數據樣本，訓練及驗證算法模型，最終實現紅外圖像變電設備目標檢測。

1 變電站設備紅外數據集

通過巡檢機器人搭配紅外熱成像儀器對變電站設備進行紅外圖像采集，對得到的紅外圖像通過（Open Source Computer Vision Library，OpenCV）技術進行數據預處理，包括翻轉變換、隨機修剪、旋轉變換、仿射變換、尺度變換等操作。為后續送入無錨點深度學習模型訓練做充足準備。

訓練使用的變電站紅外數據集一共有1570張圖像，分為10類目標，圖像分辨率640×480。如表1所示。

表1 紅外圖像數據集

在圖1中可以看到，變電站設備紅外圖像數據集具有以下特點：目標部分信息丟失，看不到目標整體輪廓；圖像失焦，幾乎沒有較大像素值之間的變化，對比度較差，溫度區間界限不明顯；紅外圖像中設備被探測設備實時顯示數據遮擋；紅外圖像中設備類型多且復雜[15]。對于以上特點，用現有的目標檢測算法對紅外圖像中的設備識別有較大難度。

圖1 訓練數據集部分樣本

2 實踐依據

2.1 無錨點目標檢測方法介紹

基于無錨點方法的CenterNet網絡目標檢測流程如圖2所示。

圖2 目標檢測流程圖

得到一些預測參數：預測中心點的heatmap以及基于中心點(,)的預測框寬和高。整個模型除了識別屬性類別以外，只對,,,進行回歸，即中心點(,)以及(,)。

通過主網絡得到圖像的特征圖，再通過高斯核函數[16]將關鍵點分布到特征圖上。根據特征圖上的值篩選出100個大于或者等于周圍8個相鄰點值的點作為初步預測的中心點；使用3×3的MaxPooling取100個中心點。

通過網絡預測出中心關鍵點的偏移量（表示第個目標）：

和當前點對應目標的長寬：

得到預測的bounding box的坐標值（標定框）：

CenterNet將圖像像素點和中心點結合使用。預測每一個像素點是否為物體中心，如果是的話，針對中心點預測物體邊界。預測框的選擇標準是，首先盡可能選擇與標簽圖（Ground Truth，GT）有高交并比的預測框，以及滿足GT的中心區域與預測框的中心區域重合，若以上條件都滿足則選擇該預測框，如圖3所示。

2.2 熱力圖生成

輸入紅外圖像表示如下：

∈R××3(4)

式中：和分別是紅外圖像的寬和高，目標輸出則是生成關鍵點的熱力圖（key point heatmap）[17]：

圖3 通過中心點預測候選框

2.3 關鍵點分布到特征圖

對于每個標簽圖中類別數，關鍵點的計算方式：

式中：是下采樣因子，＝4，最終計算出來的中心點是對應低分辨率的中心點。通過高斯核Y計算將關鍵點分布到特征圖上，如下所示：

2.4 無錨點算法損失函數

計算損失函數，總的損失函數公式如下：

式中：L表示中心點損失函數；size表示目標大小的損失函數；off表示目標中心點偏置損失函數。size和off為權重系數，size＝0.1，off＝1。

3 改進高斯核函數

實驗希望GT框和候選框左上角和右下角存在一個可控的誤差范圍，為了計算該范圍，我們引入高斯核函數。設置熱力圖GT的時候，我們不能僅僅只在top-left/bottom-right的位置標簽，如圖4所示。

圖4 多個滿足條件的候選框

其中實線框為GT框，虛線框其實同樣可以很好地包圍目標。所以檢測中只要預測的范圍在top-left/bottom-right點的某一個半徑內，并且其與GTbox的交并比（Intersection over Union，IOU）大于閾值0.7，不直接將這些點的標簽置為0，采用一種改進的二維高斯核，在原高斯散射核的熱力圖計算上加以改進。正常情況下，熱力圖在實際檢測中是橢圓，調整半徑計算方法。有3種情況，如圖5所示。

圖5 預測框與GT box三種不同位置關系圖

首先確定高斯核半徑，以上3種情況整理為的方程，overlap為預測框與GTbox的比值，如下所示：

第一種情況：

第二種情況：

第三種情況：

綜合3種情況，設這3個中的最小值為高斯半徑，即＝min(1,2,3)。但是實踐應用中構造熱力圖GT的過程中存在這樣的情況：

1）待檢測目標的高斯半徑是相等的（圓形）。

2）bbox計算的坐標范圍未覆蓋整個熱力圖。

因為待檢測目標的形狀往往是不規則的，使用普通的高斯核函數無法完全匹配熱力圖形狀，需要讓熱力圖隨著待檢測目標長寬的趨勢進行變化，然后根據待檢測目標尺寸計算一個自適應半徑，再全圖構造熱力圖。高斯核半徑計算需要注意以下兩各方面：

①對待檢測目標，高斯核半徑應該隨著目標的寬和高的趨勢變化；

②計算的坐標范圍應該限于目標框以內。

修改前與修改后的區別如圖6所示，左圖表示對于不同形狀的待檢測目標都是一個圓形熱力圖，不隨著目標形狀變化而變化，右圖表示熱力圖隨著目標形狀而發生改變。左圖bbox以外存在大于0的熱力值，而右圖中bbox包含整個熱力圖。這種差異帶來的差別是，左圖的熱力圖構造方式會導致正負樣本劃分模糊，在計算loss時加權不準確，迷惑卷積網絡的自主學習，加重模型的計算量。

圖6 高斯卷積核改進前后的Boundingbox和Heatmap示意圖

除了中心點外，其他都為負樣本。但是負樣本損失是有權重的，離中心點越近，負樣本損失權重越低，反之越高。那么對于bbox外的點，都是負樣本，理論上反映到熱力圖上，bbox外的值應該為0，由此可見改進后的熱力圖更加合理的。否則采用改進前的熱力圖計算時，bbox外的樣本損失權重大于1，但實際是小于1的值，本來嚴格的負樣本變得有一定的權重偏向于正樣本，這與實際不符。

采用改進的高斯卷積核，熱力圖隨著目標的長寬發生改變，熱力圖在實際檢測中是橢圓，平均精確度（Average Precision，AP）值越高，檢測效果越好。

用3D方式展示高斯核函數，通過調用matplotlib的函數，畫出二維高斯核函數的三維網格圖，如圖7、圖8所示。

圖7 s＝1的高斯核函數

圖8 s＝5的高斯核函數

4 實驗結果與分析

實驗使用Windows10操作系統，PyTorch深度學習框架，計算機硬件配置如表2所示。在圖片訓練之前用Labelimg對采集到的紅外圖像進行設備標注，然后整理成符合COCO標準圖片格式的訓練集，完成后使用CenterNet進行多次對照實驗訓練，每個步驟迭代訓練200次，學習速率為0.001。

實驗通過基于改進的高斯卷積核目標檢測系統，完成了對變電站紅外圖像的訓練和測試，通過訓練得到的模型，在測試集上進行預測。分析常用的目標檢測評價指標，如平均精度均值（Mean Average Precision，mAP）、交并比IOU和Loss值，對模型進行評價。

表2 計算機硬件配置

計算目標檢測算法的結果參照兩個指標[18]：

1）能否正確地預測框物體的類別。

2）預測的框和人工標注框的重合程度。

平均精度均值，即先計算每個類別的精度均值，再各自取出每一類的精度均值，然后計算所有類別的精度均值的平均值，結果是對檢測結果的整體測評[19]。交并比用來判斷預測的物體框和真實框的重合程度。設置交并比IOU＝0.5的閾值評價最終結果性能，模型根據該IOU進行計算，大于該值，就找到了符合條件的檢測結果，該結果可以作為計算平均精度均值的評價指標。

在DLA-34、Res-101、Res-18三個基礎網絡上做了高斯卷積核改進前后的對比實驗，結果如下所示：

由表3測試結果可知，DLA-34、ResNet-101、ResNet-18的mAP值分別提升了2.9%、9.4%、25.7%，平均提升mAP值12.7%。通過改進高斯卷積，模型的訓練準確度總體有所上升，其中ResNet -18模型提升的最為明顯。通過實驗證明，改進高斯卷積核后的模型，目標檢測精度方面表現優于原Centenet模型。

由表3可知，應用改進后的高斯卷積核后，ResNet-101基礎網絡的mAP值最大，因此將其作為改進后CenterNet模型的基礎網絡。本次實驗測試是在真實場景下進行的，使用了387張變電站紅外圖片，結果如表4所示。

表3 紅外圖像數據集測試結果

表4 針對變電站真實條件下的性能試驗記錄表

由表4可知，斷路器、電流互感器、電壓互感器這3類的平均準確度（被正確預測的正樣本）均達到了90%以上。將所有的平均準確率相加除以類別數，得到所有類別的平均準確度達到85.4%，能夠滿足變電站紅外圖像目標檢測高精度的要求，有廣泛的應用前景。

檢測圖像的部分檢測結果如圖9所示。

結果表明，通過該方法可以有效排除紅外圖片中的多種干擾因素，自動定位并識別出變電站設備類型，提高了變電站設備的識別定位精度。

圖9 部分檢測結果圖

5 結語

紅外圖像目標檢測系統在電網領域具有抗干擾性、全天候工作等特點，在電力行業發揮了重要的作用，紅外圖像檢測質量將直接影響電網系統正常工作的有效作用距離及監控設備和人員的配置，在紅外圖像預警系統中發揮著至關重要的作用。但在變電站設備紅外目標檢測實際檢測過程中面臨目標部分信息丟失、圖像失焦、圖像被遮擋、設備類型多等多種因素干擾，給紅外圖像變電站設備檢測造成了一定的困難和挑戰。

本文給出了基于改進高斯卷積核的變電站設備紅外圖像檢測方法。實驗結果表明，該方法可以從較為復雜的紅外圖像中以較高的準確率將紅外圖像中的變電站設備識別定位出來，具備較好的檢測效果，為變電站設備紅外檢測提供了更加精準高效的檢測思路。

[1] Junwei Hsieh, Yungtai Hsu, Hongyuan Mark Liao, et al. Video-based human movement analysis and its application to surveillance systems[J]., 2008, 10(3): 372-384.

[2] 黃文清, 汪亞明, 周志宇. 計算機視覺技術在工業領域中的應用[J]. 浙江理工大學學報: 自然科學版, 2002,19(2):28-32.

HUANG Wenqing, WANG Yaming, ZHOU Zhiyu. Application of computer vision technology in the field of industry[J]., 2002, 19(2): 28-32.

[3] Leonid Sigal, Michael J Black. Guest editorial: state of the art in image- and video-based human pose and motion estimation[J]., 2010, 87(1): 1-3.

[4] Yuki Kitahara, Seiji Takahashi, Noriyuki Kuramoto. Ion attachment mass spectrometry combined with infrared image furnace for thermal analysis: evolved gas analysis studies[J]., 2009, 81(8): 3155-3158.

[5] 王勇, 梅生偉, 何光宇. 變電站一次設備數字化特征和實現[J]. 電力系統自動化, 2010, 34(13): 94-99.

WANG Yong, MEI Shengwei, HE Guangyu. The characteristics and realization of digitization of primary equipment in substations[J]., 2010, 34(13): 94-99.

[6] Felzenszwalb P F, Girshick R B, Mcallester D, et al. Object detection with discriminatively trained part-based models[J]., 2010, 32(9): 1627-1645.

[7] 方路平, 何杭江, 周國民. 目標檢測算法研究綜述[J].計算機工程與應用, 2018, 54(13): 11-18.

FANG Luping, HE Hangjiang, ZHOU Guomin. Research overview of object detection methods[J]., 2018, 54(13): 11-18.

[8] 阮激揚. 基于YOLO的目標檢測算法設計與實現[D]. 北京: 北京郵電大學, 2019.

RUAN Jiyang. Design and Implementation of Target Detection Algorithm Based on YOLO[D]. Beijing: Beijing University of Posts and Telecommunications, 2019.

[9] 李鵬飛, 劉瑤, 李珣, 等. YOLO9000模型的車輛多目標視頻檢測系統研究[J]. 計算機測量與控制, 2019, 27(8): 21-24．

LI Pengfei, LIU Yao, LI Xun, et al. A detection method of multi-target for vehicles based on YOLO9000 model[J]., 2019, 27(8): 21-24．

[10] 季航, 賈镕, 劉曉, 等. 一種基于YOLOv3的紅外目標檢測系統[J]. 電子設計工程, 2019, 27(22): 61-64.

JI Hang, JIA Rong, LIU Xiao, et al. An infrared target detection system based on YOLOv3[J]., 2019, 27(22): 61-64.

[11] 欒浩, 王力, 姜敏, 等. 基于改進SSD的目標檢測方法[J]. 軟件, 2020, 41(1): 29-35．

LUAN Hao, WANG Li, JIANG Min, et al. Object detection method based on improved SSD[J]., 2020, 41(1): 29-35．

[12] 謝奇芳, 姚國清, 張猛. 基于Faster R-CNN的高分辨率圖像目標檢測技術[J]. 國土資源遙感, 2019, 31(2): 38-43．

XIE Qifang, YAO Guoqing, ZHANG Meng. Research on high resolution image object detection technology based on Faster R-CNN[J]., 2019, 31(2): 38-43.

[13] DUAN K, BAI S, XIE L, et al. CenterNet: keypoint triplets for object detection[C]//, 2019: 6569-6578．

[14] 楊海燕, 蔣新華, 聶作先. 基于并行卷積神經網絡的人臉關鍵點定位方法研究[J].計算機應用研究, 2015, 32(8): 283-285.

YANG Haiyan, JIANG Xinhua, NIE Zuoxian. Facial key points location based on parallel convolutional neural network[J]., 2015, 32(8): 283-285.

[15] 劉云鵬, 裴少通, 武建華, 等. 基于深度學習的輸變電設備異常發熱點紅外圖片目標檢測方法[J]. 南方電網技術, 2019, 13(2): 27-33.

LIU Yunpeng, PEI Shaotong, WU Jianhua, et al. Deep learning based target detection method for abnormal hot spots infrared images of transmission and transformation equipment[J]., 2019, 13(2): 27-33.

[16] 林海波, 王浩, 張毅. 改進高斯核函數的人體姿態分析與識別[J]. 智能系統學報, 2015, 10(3): 436-441.

LIN Haibo, WANG Hao, ZHANG Yi. Human postures recognition based on the improved Gauss kernel function[J]., 2015, 10(3): 436-441.

[17] WU Jiajun, XUE Tianfan, Joseph J. Lim. Single image 3D interpreter network[C]//, 2016: 1-18.

[18] 莫邵文, 鄧新蒲, 王帥, 等. 基于改進視覺背景提取的運動目標檢測算法[J]. 光學學報, 2016(6): 196-205.

MO Shaowen, DENG Xinpu, WANG Shuai, et al. Moving object detection algorithm based on improved visual background extractor[J]., 2016(6): 196-205.

[19] 朱伯偉, 庾農, 肖松. 紅外極小目標檢測算法研究[J]. 航空電子技術, 2011, 42(3): 5-11.

ZHU Bowei, YU Nong, XIAO Song. Approaches on infrared point targets detection algorithm[J]., 2011, 42(3): 5-11.

Method of Detecting Substation Equipment in Infrared Images Based on Improved Gaussian Convolution Kernel

WU Tianquan1，GUO Jing2，GOU Xiantai2，HUANG Qinqin2，ZHOU Weichao3

(1.,521000,;2.611756,;3.610041,)

Slow and inaccurate target detection algorithms used to analyze infrared images are the focus of this study. An infrared image detection method is proposed for substation equipment using an improved Gaussian convolution kernel, which is based on the CenterNet algorithm without an anchor point. In brief, data samples were first collected using on-site substation inspection robot equipment, the algorithm model was trained and verified, and finally, accurate identification and positioning of infrared image substation equipment was achieved. Specifically, based on the infrared image library collected by the substation inspection robot and the infrared thermal imager, methods of deep learning were applied to train and test a model using the dataset, the target detection technology of substation infrared images was studied, and the equipment center was accurately judged through deep learning technology to achieve target classification and regression. The identification and positioning accuracy of the substation target detection were improved by adopting this proposed method, and it provides new ideas for the intelligent detection of infrared images for substation equipment.

without anchor point，infrared image, target detection, Gaussian convolution kernel, substation equipment

TM727

A

1001-8891(2021)03-0230-07

2020-04-16；

2020-12-28.

吳添權（1977-），男，廣東潮州人，高級工程師，主要從事電氣設備試驗工作，主要研究方向為電氣試驗技術。

茍先太（1971-），男，四川三臺人，副教授，博士，主要研究方向為電網智能化、人工智能技術。E-mail: 491098063@qq.com。

四川省人工智能重大專項項目（2018GZDZX0043）；中國南方電網科技項目（035100KK52190003）。