基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測

趙文清，劉亮，胡嘉偉，翟永杰，趙振兵

（1.華北電力大學 控制與計算機工程學院, 河北 保定 071003; 2.復雜能源系統智能計算教育部工程研究中心,河北 保定 071003; 3.華北電力大學 電氣與電子工程學院, 河北 保定 071003）

變壓器滲漏油是造成變壓器故障的最主要原因，嚴重時會發生擊穿事故[1]，導致大面積停電甚至電網崩潰事故的發生[2]，常規的變壓器巡檢主要采取人工巡檢通過目測法判斷變壓器是否滲漏油，這種巡檢方式效率較低。而無人機巡檢、高清攝像頭巡檢和地面智能巡檢機器人巡檢正在成為變壓器智能巡檢的常態化巡檢方式。所以，目前變壓器巡檢的主要痛點是大幅增長的復雜背景下的巡檢圖像缺陷檢測需求與檢測精度、效率的相對低下之間的矛盾。基于深度學習神經網絡的發展對目標缺陷檢測起到了巨大推進作用[3-4]。隨著深度學習發展的同時數據匱乏這個問題顯得尤為突出[5]，因此如何在少量數據樣本中訓練出高精度網絡也非常值得思考。電力視覺技術的提出在電力系統、計算機視覺、深度學習三者之間建立了聯系[6]。近年來具有良好圖像分類效果的網絡通常是由卷積神經網絡（convolutional neural network，CNN）構成，因為CNN 往往具有很強的特征提取能力，在物體檢測、分割中有很好的表現。現在的目標檢測網絡主要分為兩大類，一類是單階段檢測網絡，如Redmon 等[7]提出的單次檢測算法YOLO(you only look once)、YOLOv2[8]、YOLOv3[9]，Bochkovskiy 等[10]提出的YOLOv4、YOLOv7[11]，Liu 等[12]提出的單階段多框檢測算法(single shot multibox detector，SSD)。另一類是雙階段檢測網絡，如Girshick 等[13]提出的基于候選區域的卷積神經網絡(region-based convolutional neural network, R-CNN)和Ren 等[14]提出的Faster R-CNN。其中單階段檢測網絡的精度低于雙階段檢測網絡，但單階段檢測網絡在檢測速度方面卻明顯高于雙階段檢測網絡。Li 等[15]利用熒光標記法進行滲漏油圖像識別,通過構造飽和度和強度間的線性關系實現變壓器滲漏油的檢測。文獻[16]提出了一種基于RGB 圖像與熱圖像特征相融合的管道滲漏油檢測網絡。Li 等[17]為了能夠在日光下利用熒光標記法實現變壓器滲漏油的檢測，增加了可見光組件來獲得變壓器表面強烈的鏡面反射，借此補充日光下熒光標記法的不足。鮑偉超等[18]利用循環訓練的方法實現變壓器地面滲漏油的檢測，通過引入帶有陰影的變壓器圖像提升模型對陰影的特征提取能力，該方法有效提高了地面滲漏油的檢測精度。Ghorbani等[19]通過遷移學習，利用VGG16 檢測圖像中是否存在滲漏油，隨后，使用語義分割網絡進行像素級溢油檢測。Wang 等[20]通過捕獲溫度與油位之間的關系，提出了一種基于懲罰卷積的滲漏油檢測模型,以此捕獲溫度和油位之間的關系，然后，得到除溫度影響外靜態油位計和油量之間的真實關系，以此判斷是否存在滲漏油情況。Chen等[21]先利用VGG 進行溢油分類，然后利用多類分割網絡完成滲漏油檢測。Li 等[22]提出了一種兩階段的變電設備缺陷檢測模型，第一階段利用分割算法提取目標設備，第二階段通過缺陷識別方法來識別紅外圖像中的變電設備存在的缺陷。文獻[15]與文獻[17]實驗數據停留在實驗室階段，對觀測條件和設備要求較高，無法應用到復雜背景下的變壓器日常巡檢任務中。文獻[18]提出算法對于地面滲漏油檢測精度較高，與背景復雜多變的巡檢圖像相比，地面滲漏油圖像背景較為單一。綜上所述，以上算法均不適用于本文所提出復雜背景下的變壓器滲漏油檢測。無人機巡檢、高清攝像頭巡檢和地面智能巡檢機器人巡檢等巡檢方式可以全方位、無死角的覆蓋到設備的各個層面，有利于快速且準確地判斷變壓器缺陷情況。因此，利用光學檢測圖像處理、計算機視覺和深度學習技術等研究變壓器巡檢圖像中變壓器滲漏油的視覺檢測方法是非常緊迫和必要的，可提高其檢測的精度和效率，及時發現早期滲漏油，使變壓器的運行維護更為高效和智能。

針對變壓器滲漏油形狀的不規則性，滲漏油所處背景的復雜性，本文選用DeepLabv3+[23]作為復雜背景下變壓器滲漏油檢測的基本模型，Xception[24]作為特征提取網絡。在此基礎之上，提出一種基于深度可分離空洞卷積金字塔結構的變壓器滲漏油檢測模型。首先，將預處理后的變壓器圖像輸入到特征提取網絡，為增強特征圖語義信息的同時控制計算開銷，在特征提取網絡中提出了深度可分離空洞卷積金字塔結構。其次，為減少進行采樣時產生信息丟失，改進了低階特征與高階特征融合過程。最后，在特征融合過程中引入多注意力機制，進一步增強特征圖中的語義信息。

1 基本原理

DeepLabv3+采用編碼器解碼器結構，如圖1所示。編碼器中采用Xception 作為特征提取網絡。然后在特征提取網絡尾端引入空洞卷積金字塔模塊，增強特征圖語義信息。相比DeepLabv3[25]，DeepLabv3+在解碼器中將低階特征與高階特征進一步融合，提升語義分割邊界的準確性。

圖1 DeepLabv3+網絡結構Fig.1 DeepLabv3+ network structure

1.1 Xception 特征提取網絡

Xception 主要由普通卷積層和深度可分離卷積層組成。深度可分離卷積層采用前向特征傳播，上一層的輸出用作本層的輸入，在每2 層深度可分離卷積層后引入殘差邊，提高網絡的特征提取能力。同時在每一個深度可分離卷積層后添加最大池化層來減少計算量。

1.2 空洞卷積金字塔

空洞卷積金字塔由1 個1×1 卷積層、3 個不同倍率的空洞卷積層（膨脹系數分別為6、12、18）、一個池化層組成，將提取到的特征輸入空洞卷積金字塔后得到5 個具有不同感受野的特征圖，最后，將得到的特征圖進行拼接，并通過卷積調整通道數大小。

2 基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型

圖2 為本文提出的基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型（depth-separable atrous convolution pyramid，DSACP）。該模型主要包括圖像預處理模塊、深度可分離空洞卷積金字塔模塊、特征融合模塊、多注意力模塊等。圖像預處理模塊會對變壓器滲漏油圖像進行不失真調整，將原圖像調整至512 像素×512 像素。深度可分離空洞卷積金字塔模塊起到特征提取作用，相較于普通卷積，該模塊在卷積核大小相同情況下，感受野更大且計算開銷更低。特征融合模塊將低階語義信息特征圖與高階語義信息特征圖融合，進一步豐富特征圖語義信息，在融合過程中引入多注意力機制，可以使模型對變壓器滲漏油圖像中滲漏油部分有更好的特征提取能力。在此基礎之上，完成變壓器滲漏油檢測。

圖2 基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型Fig.2 Transformer leakage oil detection model based on depth-separable atrous convolution pyramid

2.1 圖像預處理

首先，對變壓器滲漏油圖像進行預處理，將圖像長寬限制為512 像素×512 像素。然后將預處理后的變壓器圖片輸入到特征提取網絡。

2.2 變壓器滲漏油圖像特征提取網絡

特征提取網絡完成變壓器滲漏油圖像特征提取。該主干網絡由多層深度可分離卷積塊構成，塊內前向傳播實現變壓器特征信息重用，增強特征圖的語義信息。同時塊間添加殘差邊來豐富特征圖的語義信息，在特征提取網絡后部引入深度可分離空洞卷積金字塔結構。

圖3 為深度可分離空洞卷積金字塔結構。深度可分離空洞卷積金字塔由深度空洞卷積(Depthwise Atrous Convolution)和點卷積(Pointwise Convolution)兩部分構成。Depthwise Atrous Convolution的計算方式十分簡單，空洞卷積可以在卷積核不變的情況下擴大感受野，它對輸入特征圖的每一個通道進行空洞卷積，其中rate 代表空洞倍率，最后將卷積結果進行拼接，然后通過1×1 卷積得到最終特征圖。Pointwise Convolution 實際上為1×1卷積，它主要有兩個作用。第1 個作用是能夠調整期望輸出通道數，第2 個作用是對Depthwise Atrous Convolution輸出的特征圖進行通道融合。

圖3 深度可分離空洞卷積金字塔結構Fig.3 Depthwise-separable dilated convolutional pyramid structure

下面對深度可分離空洞卷積金字塔和普通卷積的計算量進行分析，假設輸入特征圖尺寸為DK×DK×M，卷積核尺寸為DF×DF×M，卷積核數量為N。假設對應特征圖的每一個點都會進行一次卷積操作。

單個卷積核計算量為

N個卷積核計算量為

Depthwise Atrous Convolution 計算量為

Pointwise Convolution 計算量為

深度可分離空洞卷積金字塔的計算總量為

深度可分離空洞卷積金字塔與標準卷積計算量比值為

由式(6)可知深度可分離空洞卷積金字塔效率遠高于標準卷積。

2.3 變壓器滲漏油特征融合

2.3.1 多注意力模塊

多注意力模塊借鑒了空間注意力和位置注意力思想[26]，如圖4 所示。輸入的變壓器滲漏油特征圖會經過一個通道注意力模塊，通道注意力模塊對輸入的變壓器滲漏油圖像特征圖分別進行平均池化和最大值池化對特征圖在空間層面進行壓縮。之后，通過共享全連接層后進行元素合并。最后，通過Sigmod 函數得到通道注意力特征圖。空間注意力模塊將通道注意力特征圖作為輸入，通道注意力特征圖經過平均池化和最大池化后通道被壓縮。然后，在經過1 次卷積層后通道數被調整為1。最后，根據Sigmod 函數生成多注意力特征圖。

圖4 多注意力模塊Fig.4 Multi-attention module schematic

2.3.2 改進的特征融合模塊

圖5 是改進的特征融合過程。本文在低階特征F1與高階特征F3融合的基礎上，增加了低階特征F2與融合后的特征(F1,F3)的融合。在輸入低階特征后，會對特征圖添加注意力機制得到注意力特征圖。首先，輸入高階特征圖F3后會對高階特征圖F3進行上采樣，將高階特征圖F3尺寸與低階特征F1調整一致。其次，上采樣完成后會對低階特征圖F1與高階特征圖F3進行拼接操作。然后對融合后的特征圖(F1,F3)進行上采樣，將特征圖(F1,F3) 尺寸與低階特征圖F2調整一致。最后，對低階特征圖F2與特征圖(F1,F3)進行拼接操作。

圖5 改進特征融合過程Fig.5 Improved feature fusion process

2.4 Dice 損失函數

Dice系數是一種集合相似度度量函數，通常用于計算兩個樣本的相似度(取值范圍為[0,1])，公式為

式中： |X∩Y|表 示集合X和Y的交集， |X|和 |Y|表示元素個數，對于語義分割任務， |X|和 |Y|分別代表GroundTrue和PredictMask。Dice系數越大代表重合度越大，但作為Loss是越小越好，所以Diceloss=1-Dice。為了防止分母為零，通常會添加一個Smooth作為緩沖，由此得到Diceloss：

3 實驗及結果分析

3.1 數據及實驗參數

本文實驗數據集為變電站中實際采集數據，共計變壓器滲漏油圖像2 000 幅，以9∶1 的比例劃分為訓練集和測試集。利用開源數據標記軟件Labelme 對圖像完成標記操作。本文使用的操作系統為Windows11，GPU 選用NVIDIA GTX 3060Ti，深度學習框架為Pytorch1.12.1。為了減少特征提取網絡的初始化權重對實驗結果造成的影響，本文所選取骨干網絡Xception 已在ImageNet 上進行過預訓練，采用隨機梯度下降法進行模型參數的更新。

本文實驗參數設置如表1 所示。

表1 實驗參數Table 1 Experimental parameters

3.2 實驗結果及分析

采用查準率(Precision,P)、平均交并比mIOU(Mean Intersection over Union, mIoU)、召回率(Recall,R)、檢測速率作為評價指標進行實驗結果的分析。

式(9)～(11)所用符號注釋已在表2 中給出。

表2 符號注釋Table 2 Symbol notes

3.2.1 變壓器滲漏油數據集上的消融實驗

本文設計了5 組消融實驗，實驗結果如表3 所示。表3 中，B_LINE 代表基礎網絡，IFFN 代表改進特征融合過程的網絡，MN(多注意力機制網絡，multihead attention net)代表結合多注意力機制的網絡，IFFN+MN 代表結合多注意力機制和改進特征融合的網絡，DSACP 代表結合多注意力機制+改進特征融合+深度可分離空洞卷積金字塔的網絡。

表3 消融實驗結果Table 3 Ablation experimental result %

由表3 可知，使用未經任何修改的模型進行訓練，模型的查準率、平均交并比、召回率分別為67.52%、57.48%、67.90%。分析B_LINE 和IFFN 的實驗結果發現，網絡的查準率、平均交并比、召回率分別提升了2.51%、4.00%、1.97%，說明對特征融合過程改進后增強了特征圖上的變壓器滲漏油語義信息。分析B_LINE 和MN 的實驗結果發現，網絡的查準率、平均交并比、召回率分別提升了5.67%、5.04%、5.07%，說明添加多注意力機制可以提高網絡的學習能力。分析IFFN+MN和DSACP 的實驗結果發現，改進后的深度可分離空洞卷積金字塔結構與原空洞卷積金字塔結構相比，改進后的網絡查準率、平均交并比分別提升了1.7%、0.56%，這是由于深度空洞卷積可以在卷積核大小不變的情況下擴大特征提取網絡感受野，使特征提取網絡提取到的特征圖語義信息更加豐富，從而導致網絡查準率、平均交并比的提升，以此說明提出的深度可分離空洞卷積金字塔結構增強了特征提取網絡的提取能力。分析B_LINE 和DSACP 的實驗結果發現，網絡的查準率、平均交并比、召回率分別提升了9.33%、7.15%、5.66%。綜上所述，說明本文提出的3 種改進方法對變壓器滲漏油圖像檢測確有優勢。

消融實驗結果可視化如圖6 所示。

圖6 消融實驗可視化檢測結果Fig.6 Visualization of ablation experiment results

消融實驗部分結論分析部分的查準率、平均交并比、召回率的百分數提升如表4 所示。

表4 消融實驗結果提升率Table 4 Improvementrate of ablation experimental result %

3.2.2 與其他常用語義分割模型比較

為進一步驗證本文所提出模型的有效性，在變壓器滲漏油數據集上，使用本文提出模型DSACP與其他常用語義分割模型進行了對比。對比實驗參數的設置和本文方法的實驗參數設置一致，卷積核大小均為3×3，實驗結果如表5 所示。

表5 與其他算法比較Table 5 Comparison with other model arithmetic

由表5 可知，分析UNet 與DSACP 的實驗結果發現，本文所提模型DSACP 的查準率、平均交并比、召回率相較于UNet 分別提升了13.3%、5.75%、10.15%，檢測速率提升了10 f/s。分析PSPNet 與DSACP 的實驗結果發現，本文所提模型DSACP的查準率、平均交并比、召回率相較于PSPNet 分別提升了2.75%、4.39%、5.76%，檢測速率提升了3 f/s。分析Deeplabv3+與DSACP 的實驗結果發現，本文所提模型DSACP 的查準率、平均交并比、召回率相較于PSPNet 分別提升了9.33%、7.15%、5.66%，檢測速率降低了4 f/s，原因是添加多注意力模塊后模型的計算開銷增加，但在計算開銷略有增長的情況下，查準率、平均交并比、召回率明顯提升。分析MCNN 與DSACP 的實驗結果發現，本文所提模型DSACP 的查準率、平均交并比、召回率相較于MCNN 分別提升了14.73%、5.37%、2.56%，檢測速率提升了5 f/s。本文所提模型DSACP 與其他語義分割模型相比具有明顯的優勢, 查準率、平均交并比、召回率均有提升，DSACP 的檢測速率高于UNet、PSPNet 和MCNN算法，模型生成的掩碼圖更加貼合變壓器實際滲漏油區域，并且能夠很好地捕捉變壓器滲漏油圖像中的邊緣滲漏油區域。進一步證明了本文模型DSACP 針對變壓器滲漏油圖像檢測的優勢。

不同語義分割模型實驗結果可視化如圖7所示。

圖7 不同語義分割算法可視化檢測結果Fig.7 Visualization of detection results of common semantic segmentation algorithms

4 結束語

針對變壓器滲漏油背景復雜、油液形狀多樣、特征圖語義信息不豐富等問題，本文在語義分割網絡DeepLabv3+的基礎上提出了基于深度可分離空洞卷積金字塔的變壓器滲漏油檢測模型。主要工作如下：

1）提出深度可分離空洞卷積金字塔結構，該模塊可以增強特征圖的視覺信息和語義信息；

2）通過對特征圖進行二次融合，改進特征融合過程；

3）引入多注意力機制增強網絡對圖像的特征提取能力。

實驗結果表明，本文所提模型DSACP 可以顯著提升變壓器滲漏油的檢測效果,模型的查準率、平均交并比、召回率大幅提升，可為變壓器滲漏油檢測提供量化依據與指導。本文的研究成果可以推廣到其他領域的滲漏油檢測中，如：海洋滲漏油檢測、鐵路軌道滲漏油檢測，展現出十分廣闊的應用前景。