一種瓷支柱絕緣子紅外圖像目標檢測算法

周陽洋，胡俊華，徐 華，尹駿剛，李慶明，吳慧玲

（1. 國網(wǎng)浙江省電力有限公司，杭州 310007；2. 湖南大學 電氣與信息工程學院，長沙 410082；3. 湖南湖大華龍電氣與信息技術有限公司，長沙 410205）

0 引言

支柱絕緣子作為絕緣控件，被廣泛應用于變電站中。由于支柱絕緣子暴露在室外復雜環(huán)境下長期運行，受到機械載荷、浮塵、冰雹、酸雨、震動等多種復雜因素的影響，其機械性能與絕緣性能會逐漸下降，進而產(chǎn)生缺陷［1-3］。缺陷支柱瓷絕緣子無法承受正常的機電負載，會導致異常發(fā)熱、局部放電等現(xiàn)象，甚至出現(xiàn)斷裂事故，對電力系統(tǒng)安全穩(wěn)定運行產(chǎn)生嚴重威脅［4-5］。

目前，瓷支柱絕緣子故障檢測方法包括超聲波、振動聲學、可見光、紅外檢測等，其中，支柱絕緣子紅外檢測技術分為紅外熱波法和紅外熱像法兩類。王黎明等［6］提出一種基于紅外熱波技術的支柱瓷絕緣子無損檢測方法，利于閃光燈對支柱絕緣子施加高能光脈沖，通過分析紅外熱像儀采集的紅外熱圖序列識別缺陷支柱絕緣子。紅外熱像法應用于懸式絕緣子劣化檢測的時間相對較早，研究人員在邊緣檢測、目標分割、特征提取、智能識別等方面開展了大量研究，取得了較好的實用化效果［7-9］。楊高坤［10］提出一種基于YOLOv4的電力設備紅外圖像故障診斷算法，平均精度與檢測速度分別達到了91.23%和69.1幀/s。段中興等［11］針對電力設備紅外圖像存在的圖像視覺效果差、尺度差異性大、數(shù)據(jù)類別不平衡等問題，提出了一種基于改進YOLOv4 的目標檢測模型，所提方法對8 類電力設備的平均識別精度達96.31%，檢測速度達71幀/s。顧星等［12］針對紅外場景中目標檢測精度低、實行性差的問題，提出一種基于注意力機制的紅外目標檢測方法，檢測精度和速度有了顯著提高。劉冬等［13］針對地面復雜場景下，紅外目標檢測準確率低、網(wǎng)絡模型過大難以應用于移動或嵌入式平臺等問題，提出一種輕量級紅外實時目標檢測模型MCA-YOLO。王媛彬等［14］提出一種基于輕量骨干網(wǎng)絡和注意結構的變電設備紅外圖像識別算法，通過在YOLOv5 骨干網(wǎng)絡中引入Ghost 卷積，實現(xiàn)網(wǎng)絡輕量化，使得整體識別精度達到93.80%，檢測速度達到了90.9 幀/s。劉國特等［15］提出了一種基于改進級聯(lián)Gentle Adaboost（G-Adaboost）的支柱絕緣子紅外圖像AI 識別算法，將支柱絕緣子作為正標簽，其他作為負標簽，利于Haar-like 進行特征提取，通過改進弱分類器和權值更新規(guī)則，提高精度和減少檢測時間，并將其串聯(lián)，得到的模型對多目標檢測精度達到了93.90%。

總的來說，目前針對支柱絕緣子紅外熱像目標檢測模型的研究較少。隨著深度學習技術的迅速發(fā)展，其卓越性能遠超經(jīng)典算法，圖像檢測精度大幅提高。本文提出一種瓷支柱絕緣子紅外圖像輕量級目標檢測算法，通過改進YOLOv7 訓練一種針對瓷支柱絕緣子的輕量級目標檢測模型，將普通卷積核替換為膨脹卷積核，使用DMobilenet 替換主干網(wǎng)絡ELANCSP，實現(xiàn)紅外圖像多目標快速檢測和精準定位。

1 目標檢測模型結構

1.1 主干網(wǎng)絡替換

YOLO 目標識別定位算法，開創(chuàng)性地將候選區(qū)與對象識別兩個階段變成一個階段，極大地提高了檢測速度，在目標識別領域被廣泛使用。當前的YOLOv7結構主要分為主干網(wǎng)絡ELANCSP、加強特征提取的SPPCSPC（空間金字塔池化）及PANet預測網(wǎng)絡。本文使用D-Mobilenet網(wǎng)絡替換ELANCSP網(wǎng)絡，如圖1所示。

圖1 YOLOv7模型網(wǎng)絡結構替換Fig.1 Network structure replacement of YOLOv7 model

1.2 膨脹-深度可分離卷積

膨脹卷積通過給卷積核增加間隙來變相地增大感受野。如果每兩個相鄰元素之間有D-1 個空洞，則卷積核的有效大小可表示為：

式中：K為膨脹卷積核實際尺寸；k為標準卷積核尺寸；D為膨脹率，當D=1時卷積核為標準的卷積核。

該卷積增加感受野同時不增加參數(shù)量，利于提取更深層次的特征，本文提出一種類似Mobilenetv2的輕量級神經(jīng)網(wǎng)絡，在深度可分離卷積層中加入膨脹卷積核。DDSC（膨脹-深度可分離卷積）結構如圖2所示，通過逐點卷積將深度卷積輸出的無關特征圖融合。

圖2 膨脹-深度可分離卷積結構Fig.2 Structures of dilated convolution and depthwise separable convolution

根據(jù)式（2）得標準卷積計算量：

根據(jù)式（3）得深度卷積的計算量：

根據(jù)式（4）得逐點卷積的計算量：

式中：Gc為標準卷積計算量；Gf為標準卷積后特征圖邊長；Gk為標準卷積核邊長；I為輸入通道數(shù)；O為輸出通道數(shù)；Dc為深度卷積計算量；Df為膨脹卷積后特征圖邊長；Dk為膨脹卷積核有效參數(shù)邊長；Pc為逐點卷積計算量。

輸入6×6×3 的特征圖，padding（填充）、stride（步幅）分別為1，卷積核為3×3（膨脹卷積核5×5），輸出6×6×4 的特征圖。普通卷積參數(shù)為108（3×3×3×4，卷積核大小×輸入通道數(shù)×輸出通道數(shù)），計算量為3 888（6×6×108，卷積核移動次數(shù)×普通卷積參數(shù)）。膨脹-深度可分離卷積參數(shù)為39（3×3×3+3×4，膨脹卷積核有效大小×輸入通道數(shù)+輸入通道數(shù)×輸出通道數(shù)），計算量為624（4×4×39，膨脹卷積核移動次數(shù)×膨脹-深度可分離卷積參數(shù)）。與普通卷積相比，DDSC的參數(shù)量與計算量明顯減少。

本文提出D-Mobilenet網(wǎng)絡，由于在檢測過程中使用膨脹卷積，會丟失部分圖像連續(xù)信息，影響對小目標的識別。為保持對于小目標識別的足夠精度，僅在主干網(wǎng)絡高層加入了部分膨脹卷積。

1.3 特征金字塔結構

本文特征金字塔的網(wǎng)絡結構是指網(wǎng)絡替換后，除去YOLO Head 和D-Mobilenet 外的部分，模型使用SPPCSPC 層，防止圖像拉伸和裁剪過程中，由于輸入圖像尺寸不一致，導致圖像失真的現(xiàn)象。SPPCSPC層結構如圖3所示。

圖3 SPPCSPC結構Fig.3 Structure of SPPCSPC

使用大小不同的池化核（無處理、5×5、9×9和13×13）對D-Mobilenet 主干網(wǎng)絡的末尾特征層進行最大池化，增加輕量級網(wǎng)絡的感受野，分離出紅外圖像中的有效特征。PANet（路徑聚合網(wǎng)絡）結構如圖4所示。

圖4 PANet結構Fig.4 Structure of PANet

其中，Multi_Concat_Block、UpSampling2D、Transition_Block 分別是多重分支堆疊、上采樣、分支堆疊下采樣模塊。由于殘差結構容易優(yōu)化，因此多重分支堆疊中大量使用該結構，同時可以增加網(wǎng)絡深度來增加精度。但為避免網(wǎng)絡深度過深造成梯度消失，在殘差塊中使用大量跳躍連接。

1）多重分支堆疊模塊

Left1 使用一個CBS（Conv2d+BN+SiLU，卷積標準化激活函數(shù)），Left2 使用一個CBS，Left3 使用3 個CBS，Left4 使用5 個CBS，將4 個特征層堆疊后再使用一個CBS來特征整合。

2）分支堆疊下采樣模塊

左部分是一個最大池化和一個卷積，右部分是兩個卷積，將兩部分的結果堆疊輸出。

多重分支堆疊模塊與分支堆疊下采樣模塊如圖5、圖6所示。

圖5 多重分支堆疊模塊結構Fig.5 Structure of multi-branch stacked modules

圖6 分支堆疊下采樣模塊結構Fig.6 Structure of branch-stacked sampling modules

使用FPN（特征金字塔網(wǎng)絡）的PANet 結構對有效特征層進行特征融合。

1.4 預測框機制

本文的輕量級網(wǎng)絡模型在對紅外圖像多目標檢測時，首先是在多尺度特征圖的中間層、中下層和底層上提取3個有效特征層。它們的shape（形狀）分別是（80，80，512）（40，40，1 024）（20，20，1 024）。輸出層的shape 分別是（20，20，18）（40，40，18）（80，80，18），輸出層shape的最后一維度為18，是因為支柱瓷絕緣子代表1個類，再加上4個調(diào)整參數(shù)（x_offset 和y_offset 代表x和y坐標偏移量，h和w代表框的高和寬）和置信度1，就有最后的維度3×（1+5）=18。

表1 先驗框與真實框比值結果Table 1 Ratios of prior bounding box to ground truth box

YOLOv7 的9 個先驗框分別為［12，16］、［19，36］、［40，28］、［36，75］、［76，55］、［72，146］、［142，110］、［192，243］和［459，401］。假設真實框為［200，200］，設定閾值為4，比較結果比值如表1所示。

取表1 每行的最大比值，獲得下述矩陣：［16.66666667，10.52631579，7.14285714，5.55555556，3.63636364，2.77777778，1.81818182，1.215，2.295］

由上可知，矩陣中比值小于4的有5個，在其分別對應的不同尺寸先驗框中，［76，55］、［72，146］屬于40×40，［142，110］、［192，243］和［459，401］屬于20×20，此時的先驗框可用作真實框的預測。

YOLOv7的Loss（損失）由3個部分組成：

1）通過真實框獲取對應先驗框的預測框，用真實框和預測框計算損失，如式（5）所示。

式中：RCIOU為完整交并比；RIOU為交并比；k為預測框中心；kt為真實框中心；ρ2（k，kt）為兩個中心歐式距離；c為兩框最小閉包區(qū)域對角線距離；α為v的影響因子；v為預測框。真實框寬高比相似度由式（6）、式（7）得出。

式中：ht和wt分別為真實框的高和寬。

2）把真實框對應先驗框看為正樣本，其余的看作負樣本，根據(jù)樣本和特征點預測位置是否包含目標計算交叉熵損失。

3）獲取真實框和預測框的種類預測結果，計算預測結果交叉熵損失。

2 數(shù)據(jù)增強

2.1 紅外圖像數(shù)據(jù)集

本文實驗采用某變電站支柱瓷絕緣子的紅外圖像（共計450 張）作為模型訓練樣本，通過SJS（剪切、抖動、縮放）方法將數(shù)據(jù)擴充至650張，并進行標注，最后得到約1 300個檢測對象。

2.2 數(shù)據(jù)增廣

SJS方法是對圖像進行仿射變換、縮放，并且進行長和寬的扭曲、旋轉、平移，在其多余的地方填充黑條將圖片變得更加多樣。如圖7所示，一張紅外圖像生成了新的4 張圖像，形態(tài)發(fā)生了變化。經(jīng)過這樣處理的圖像，可以增強神經(jīng)網(wǎng)絡魯棒性，有利于網(wǎng)絡對小目標的識別，提高了識別精度。

圖7 紅外圖像增廣Fig.7 Infrared image augmentation

Mosaic 數(shù)據(jù)增強是隨機對4 張不同紅外圖像分別使用仿射變換、翻轉、放縮等技巧，并且貼合進行擺放，最后將4張新圖片拼接為一張可用作訓練的新圖像，如圖8所示。

圖8 Mosaic數(shù)據(jù)增強效果Fig.8 Mosaic data enhancement effect

這樣在進行BN（批歸一化）過程中，會有4個目標紅外圖像的信息。使用Labelimg 手動標注上述紅外圖像目標并自動保存xml 文件，其中包括框的坐標信息Xmin、Ymin、Xmax、Ymax以及框內(nèi)檢測對象類名稱，將標注好的xml 文件和支柱瓷絕緣子的紅外圖像轉化為標準格式的Pascal VOC 數(shù)據(jù)集。

3 實驗結果及分析

3.1 實驗環(huán)境與實驗流程

實驗環(huán)境：在Windows10 64 位操作系統(tǒng)中采用PyTorch 框架搭建網(wǎng)絡，GPU：NVIDIA Ge-Force RTX 2080Ti。CPU：Intel Core i5-11600KF@3.90GHz。

本文的輕量級模型為減少參數(shù)量、增加輸出單元的感受野，提出D-Mobilenet 主干網(wǎng)絡結構，并且替換YOLOv7 中的ELANCSP，提取3 種不同尺度的有效特征層。通過SJS 方法進行數(shù)據(jù)擴充，運用K-means 聚類方法確定先驗框的個數(shù)與尺度，將用于訓練的紅外圖像全部設置為640×640大小。

在遷移學習中設置多階段訓練方式，將Pascal VOC權重參數(shù)遷移過來作為初始權重，可以加快網(wǎng)絡收斂，減少訓練時間。在前50 輪凍結訓練中，將學習率設置為1×e4，后250 輪訓練中，學習率設置為上限1×e6、下限1×e7，使用余弦退火技巧調(diào)整學習率，避免陷入局部最優(yōu)解。在訓練過程中同時使用Mosaic 數(shù)據(jù)增強來提高網(wǎng)絡的訓練效果。利用訓練好的模型對目標進行檢測時，采用非極大抑制對檢測產(chǎn)生的有效邊框進行篩選，不斷重復操作，保留最后的框。最后構建基于YOLOv4、YOLOv5、YOLOv7、G-Adaboost 算法的輸電線路目標檢測模型與本文算法的輕量級目標檢測模型進行性能比較。

3.2 評價準則

本文用mAP（平均精度均值）、模型內(nèi)存大小和FPS（每秒幀率）作為模型性能判斷依據(jù)，計算公式為：

式中：APi為檢測單個目標的精度；N為目標個數(shù)；NS為檢測圖片總時間；WmAP和WFPS分別為mAP和FPS的計算值。

3.3 消融實驗

在輸入圖像分辨率為640×640 條件下，對測試集圖像進行YOLOv7 與兩種改進模型的消融實驗。由表2 可見，VOLOv7 骨干網(wǎng)絡替換為MobileNet 后，與原網(wǎng)絡相比，精準度雖下降0.6%，但模型體積減少61%，檢測速度提升9.1%。進一步地，在MobileNet加入膨脹卷積核后，相比原網(wǎng)絡，精準度雖降低0.2%，但模型體積減少67.5%，檢測速度提升了18.4%。由此可見，D-MobileNet更具實時檢測的優(yōu)越性。

表2 YOLOv7與改進模型的消融實驗研究Table 2 Study of ablation experiment of YOLOv7 and the improved model

3.4 模型檢測效果

為驗證本文輕量級模型可用性，因此訓練YOLOv4、YOLOv5、YOLOv7、G-Adaboost 算法的紅外圖像目標檢測模型，從保存的權重文件選取損失最低的進行檢測性能對比，如表3 所示。可知本文算法的mAP 高于YOLOv4、YOLOv5、G-Adaboost。與YOLOv4 相比，YOLOv7 減少75%的參數(shù)，36%計算量，AP 增加1.5%，完全滿足支柱瓷絕緣子紅外圖像識別的需求。值得關注的重點是，本文提出的輕量級模型大小只有51.1MB，但又保持了較高的精度，可以滿足移動端或嵌入式設備上部署的條件。

表3 不同算法模型的性能對比Table 3 Performance comparison of different algorithmic models

將本實驗算法與YOLOv4、YOLOv5、YOLOv7 以及G-Adaboost 檢測算法的識別效果進行比較。如圖9 所示。本文所提出的輕量級算法模型，檢測速度更快、精度更高，能夠快速、準確地識別出目標，預測框更貼合檢測對象，用低于YOLOv7模型0.2%的識別準確率換取了18.4%的檢測速度提升。

圖9 檢測效果對比Fig.9 Comparison of detection effects

4 結論

本文提出了一種改進的輕量級目標檢測算法，建立了基于瓷支柱瓷絕緣子紅外熱像的目標檢測模型。驗證了該算法的有效性和可行性，對比其它算法的檢測效果，得出如下結論：

1）D-Mobilenet使用DDSC替換普通卷積，大幅減少了計算量和參數(shù)，使得模型更小，并且不影響對小目標的檢測和定位。

2）使用SJS 數(shù)據(jù)增廣、Mosaic 數(shù)據(jù)增強、Kmeans聚類、余弦退火衰減等訓練技巧，選取各模型最低的權重文件進行實驗，得出的mAP值達到94.1%。

3）與YOLOv4、YOLOv5 和YOLOv7 算法相比，本文算法的魯棒性和泛化能力更強，且模型更為輕量化，有利于運維人員快速掌握瓷支柱絕緣子運行狀態(tài)，為設備故障紅外診斷提供有力技術支撐。