融合知識遷移和改進YOLOv6 的變電設備熱像檢測方法

趙振兵，馮爍，趙文清，翟永杰，王洪濤

（1. 華北電力大學 電子與通信工程系, 河北 保定 071003; 2. 華北電力大學 復雜能源系統智能計算教育部工程研究中心, 河北 保定 071003; 3. 華北電力大學 河北省電力物聯網技術重點實驗室, 河北 保定 071003; 4. 華北電力大學 控制與計算機工程學院, 河北 保定 071003）

在“雙碳”和“新基建”雙重背景下，智能電網在促進中國經濟發展與能源綠色轉型中發揮著重要作用[1]。近年來，快速發展的人工智能技術為電力設備運行狀態的評價提供了新的理論與關鍵技術支撐，如何利用人工智能等數字化技術實現對新型電力系統的高效運維這一問題亟待解決[2]。變電站作為電力系統重要組成部分，其運行狀態直接關系到整個電網的安全可靠運行，為了及時并準確獲取反應變電設備運行狀態的圖像信息，必須完成對其圖像的智能處理[3]。紅外熱像檢測技術因具有不接觸和操作簡單的優勢，在變電設備溫度狀態監測領域中有著廣泛應用。隨著無人值守變電站的普及，遠程圖像監測系統、無人機和巡檢機器人等設備已經被大量應用，這些設備在運行時會產生大量紅外圖像，僅依靠人工對圖像進行處理，存在漏檢的問題且效率低[4-6]。基于深度學習的圖像處理技術逐漸成為對變電設備紅外熱像進行智能分析的有力工具，為變電站的智能化巡檢提供了可靠穩定的技術支持，因此對多類變電設備熱像進行快速精準檢測的研究具有極高價值。

目前，電力領域中絕大部分的圖像數據并未被公開，已有的變電站設備檢測工作[7-12]都是基于少量私有圖像完成的。為了解決樣本不足問題，多種擴增圖像數據的方法被引入到電力領域：文獻[7-8]通過圖像的鏡像、翻轉，以及改變原始圖像的大小、亮度和模糊度來擴增訓練數據集；文獻[9-12]通過調整圖像的飽和度、曝光度和色調來生成更豐富的樣本。但以上方法仍存在以下問題：通過旋轉等方法雖提升了訓練圖像的數量，卻難以提升訓練數據的信息量；在人工、無人機或巡檢機器人采集圖像的過程中，均力圖使變電設備在圖像中保持豎直、清晰的狀態，而使用旋轉、翻折等方法擴充的訓練圖像，與真實圖像的風格并不相符。

目前針對變電設備紅外熱像檢測的研究普遍涉及到對深度學習模型進行改進，通過改進深度學習模型自身的檢測性能來提升對變電設備的識別準確率，進而獲得變電設備在紅外熱像中準確的類別信息、區域信息和溫度信息。文獻[7]首先將變電設備熱像由偽色圖轉換為灰度圖，并將YOLOv4[13]目標檢測模型的骨干網絡維度壓縮為原網絡的80% 來減少計算量，最后使用改進的YOLOv4 模型在灰度圖上進行設備檢測和溫度信息提取。文獻[8]提出使用改進的殘差網絡來替換CenterNet[14]的骨干網絡，并調整了骨干網絡中激活函數的數量，提升了對變電設備熱像的檢測精度。文獻[9]使用Mask R-CNN[15]算法檢測熱像中的絕緣子區域，同時利用熱像中的溫度信息對絕緣子的狀態進行評估。文獻[10]提出在淺層網絡中進行特征增強改進了FSSD[16]網絡，并根據變電站中絕緣子的長寬比重新設計了原算法的錨框，最后通過在公共數據集上預訓練模型實現了遷移學習，提升了對絕緣子熱像的檢測精度。文獻[11]將Faster R-CNN[17]模型中較深的卷積層進行了刪減，提升了訓練和檢測速度，在模型中增加了兩種新型錨框來提升對細長型變電設備的檢測精度，通過對五類設備熱像的檢測實現對設備溫度狀態的監測。文獻[12] 提出首先使用DenseNet[18]的網絡結構替換YOLOv4 模型的部分骨干網絡，修改特征融合網絡以改變信息流，然后利用改進的YOLOv4 網絡對變電設備的可見光圖像進行檢測，最后通過圖像配準將檢測結果映射到熱像中，實現對變電設備的溫度狀態評估。

從上述工作中可以看出，對深度學習模型的結構進行改進，并基于變電設備的熱像對模型進行參數調優，是較為理想的熱像檢測方案。但是電力領域的圖像數據因保密性要求不能公開，使得現有研究面臨圖像樣本缺乏的問題，尤其是復雜背景的熱像樣本。此外，不同的變電設備往往具有外形類似的主體結構，使其外觀之間存在較高的視覺相似性，相比于可見光圖像，這一現象在缺失細節信息的紅外熱像中更為顯著，增大了檢測熱像中變電設備的難度。

本文基于以上問題進行研究，針對變電設備熱像檢測任務中存在的復雜背景樣本不足問題，本文提出基于知識遷移的紅外樣本生成方法，使用去噪擴散概率模型(denoising diffusion probabilistic model，DDPM)[19]提取出域外數據中的背景知識，將變電設備在真實樣本中的位置知識遷移到背景知識，從而生成具有較復雜背景的人工熱像；針對熱像中設備外觀相似度高和細節信息丟失的問題，本文將多頭注意力(multi-head self-attention，MHSA)機制[20]融入到YOLOv6[21]模型的骨干網絡中，增強模型對變電設備的特征提取能力，將包含多層感知機(multiple perceptron, MLP)[22]和可學習視覺中心(learnable vision center, LVC)機制[23]的顯示視覺中心(explicit visual center,EVC)模塊引入到YOLOv6 模型的特征融合網絡，MLP 可以從最深層特征中學習全局長距離依賴關系，LVC 負責捕獲輸入圖像的局部區域信息。結合基于知識遷移的樣本生成方法和改進的YOLOv6模型，顯著提升了變電設備熱像的檢測精度。

1 基于知識遷移的樣本生成方法

針對部分熱紅外圖像背景較復雜影響設備檢測精度的問題，樣本擴充能夠有效提升模型訓練效果，現有研究普遍依靠變電設備圖像的簡單變換來擴充樣本，為實現更高質量的樣本擴增，本文提出基于知識遷移的樣本生成方法，如圖1 所示。

圖1 樣本生成方法Fig. 1 Method of sample generation

本文將樣本生成問題分解為背景生成和設備熱像生成兩個部分，兩個部分均依靠知識遷移來完成：在背景生成過程中，使用DDPM 模型從域外數據中提取背景知識，模型訓練完成后，依靠背景知識的指導可生成大量背景圖像，實現了由真實熱紅外圖像中到人工背景樣本的知識遷移；在設備熱像生成過程中，基于真實樣本中設備的位置先驗知識，以知識遷移的形式將真實設備樣本融合到人工背景樣本中，完成高質量的熱像樣本擴增。

1.1 基于DDPM 模型的背景生成方法

去噪擴散概率模型DDPM 于2020 年被提出用于圖像生成工作，該模型使用隨機噪聲來生成圖像，該模型相比于對抗生成網絡有著訓練更穩定的優點，在公共數據集上表現出較好的效果。

擴散模型分為擴散過程和去噪過程。擴散過程的原理是分t次為輸入圖像x0添加高斯噪聲，直至將圖像破壞為隨機噪聲xt，如圖2 所示。

圖2 DDPM 模型結構Fig. 2 Structure of DDPM model

每一次添加噪聲后輸出的圖像僅由輸入圖像決定，所以擴散過程符合馬爾可夫鏈過程。第t次加噪聲的過程可以表示為

式中：xt-1為輸入圖像，xt為輸出圖像。由輸入得到輸出的過程q(xt|xt-1)滿足以為均值，βt為方差的高斯分布。在訓練中，因 βt和xt-1等參數均不參與訓練，所以擴散過程不是一個可學習過程。從xt-1得到xt的過程表示為

其中：αt表示取值服從標準正態分布。訓練過程中模型需要學習的是，在由xt-1可以得到xt的前提下，將xt恢復為xt-1。由式(2)可得：

其中∈θ(xt,t)是網絡預測出的噪聲，用來模擬在擴散過充中添加到xt中的 ∈t噪聲，顯而易見，當 ∈θ與 ∈t足夠接近后，模型就可以從一個初始噪聲XT經過T次去噪過程得到一個真實圖像X0。如圖2 所示，在模型的實際訓練過程中，對 ∈θ的預測由一個Unet 網絡[24]來完成，由 ∈θ和 ∈t二者之間的歐氏距離作為損失函數：

本文使用課題組收集的域外數據來訓練DDPM模型，域外數據由712 張絕緣子熱紅外圖像構成，其不參與后續目標檢測模型的訓練。

圖3 給出了DDPM 模型生成紅外背景圖像的可視化過程，經過訓練的DDPM 圖像能夠利用域外數據中的背景知識，從初始化的隨機噪聲中逐步去噪，最終生成人工背景樣本。

1.2 基于知識遷移的設備樣本生成方法

考慮到現有圖像生成方法難以直接生成變電設備圖像這一問題，本文提出從真實樣本中提取多種變電設備的圖像和位置分布先驗知識，結合DDPM 模型生成的背景圖像本，來合成人工熱像。

首先，利用圖像實例分割算法SOLOv2[25]從原始圖像中提取出多種設備的圖像樣本，如圖4所示，圖4(a)～(d)分別為分割后的電流互感器、電壓互感器、避雷器和套管樣本。

圖4 4 類變電設備圖像Fig. 4 Images of four types of substation equipment

其次，對用來訓練目標檢測模型的數據集進行分析，來獲取不同設備在熱像中的位置分布情況。該過程的原理是借助標注過程，實現對圖像中設備種類和位置信息的標識，通過統計不同設備在數據集中的矩形框坐標，得到每類設備在圖像中出現的位置范圍，用矩形框的中心點坐標(x,y)表示設備在圖像中出現的位置，數據集中每張包含該設備的圖像均可提供至少一組中心點坐標(x,y)，以避雷器為例，遍歷數據集后即可得到圖像中避雷器的中心點坐標集合L，利用L中x與y的極大（?。┲悼梢源_定出一個矩形區域，如圖1 所示。該區域的范圍將作為避雷器在原始數據集中的位置先驗知識，在生成人工樣本的過程中遷移到新數據集中，具體方法如下：在已經得到人工背景樣本和設備真實樣本的情況下，設備真實樣本在人工背景樣本中的中心點坐標N(XN,YN)將從位置先驗中產生，矩形區域可由P1(XM,YM)、P2(XMAX,YMAX)表示，其中P1,P2為矩形區域的左下角和右上角，XM，XMAX和YM，YMAX為矩形區域中橫縱坐標的極值，XN，YN將從矩形區域中隨機產生：

在位置先驗知識約束下，將設備真實樣本融合到人工背景圖像中，即可實現對不同變電設備的樣本自動擴增。

2 基于改進YOLOv6 的設備檢測方法

YOLOv6 是美團在2022 年提出的目標檢測模型，模型由輸入端(input)、骨干網絡(backbones)、頸部(neck)和檢測頭(head)構成。如圖5 所示，YOLOv6 的骨干網絡是基于RepVGG[26]的輕量化網絡EfficientRep；頸部網路為Rep-PAN 結構；檢測頭網絡為3 個解耦檢測頭，每個檢測頭中存在兩個檢測分支，分別實現分類(Cate)和定位(Box)。

圖5 改進YOLOv6 結構圖Fig. 5 Structure diagram of the improved YOLOv6

本文在YOLOv6 的EfficientRep 骨干網絡上進行改進，在其深層網絡中加入了MHSA 層來提升模型的特征提取能力；在Rep-PAN 頸部網絡中加入了顯性視覺中心模塊，從深層特征中獲得視覺中心信息以改善淺層特征，增強頸部網絡的特征融合能力。

2.1 融合MHSA 機制的骨干網絡

相比于卷積神經網絡(convolutional neural network, CNN) 重點關注圖像的局部區域，MHSA機制可以捕獲圖像數據的全局相關性，能夠表示數據之間更豐富的聯系。如圖6 所示，輸入特征的高度、寬度和維度分別為H、W和d，將輸入特征在WV、WK和WQ中分別進行逐點卷積，得到Q、K、V(Q為查詢向量、K為鍵向量、V為值向量)，同時，兩個可學習的參數向量Rh和Rw分別表示對特征圖中不同位置的高度和寬度進行位置編碼，將Rh和Rw通過廣播機制擴增到H×W×d的形狀后進行相加，得到相對位置編碼的輸出R。將Q分別與R和K進行相乘后，得到兩個寬高均為H×W的矩陣，將二者相加后進行歸一化(softmax)操作,將輸出結果與V進行相乘，得到最終輸出結果。以上過程獨立重復h次(本文中h為4)，最后將h次的結果進行拼接，再進行一次線性變換得到MHSA 模塊的最終輸出。

圖6 MHSA 機制原理Fig. 6 Schematic of the MHSA mechanism

將MHSA 機制與基于CNN 的骨干網絡相結合，能夠有效提升其特征提取能力，在這方面較為經典的研究工作是BoTNet[27]中將MHSA 與ResNet[28]相結合的做法，受此啟發，本文將MHSA機制融合到EfficientRep 網絡的深層結構中。加入位置如圖5 中所示，MHSA 層的輸入與輸出維度相同，均為512。

2.2 顯性視覺中心模塊

目前FPN[29]網絡已成為目標檢測模型中常見的頸部網絡，用來融合不同層級的特征圖，但現有FPN 網絡的功能主要集中在實現層間特征的相互作用，但忽略了層內特征的規則，而這些規則已經被證明有利于視覺識別任務。針對如何利用深層特征的層內特征來改善淺層特征的問題，文獻[23]在YOLOX[30]的頸部網絡中進行了嘗試，提出使用輕量化多層感知機(lightweight multiple perceptron，LMLP)和可學習的視覺中心(learnable vision center, LVC)機制來構建顯性視覺中心(explicit visual center, EVC)模塊：其中LMLP用來從特征圖中計算全局長程相關性，LVC 和LMLP共同使用，用來聚焦輸入圖像更多的局部區域，實現對深層特征圖的特征信息增強，借助頸部網絡的特征融合路徑，用增強后的深層特征改善淺層特征。

如圖7 所示，骨干網絡輸入EVC 的特征圖，首先進入Stem Block 模塊，借助卷積核大小為7、個數為256 的卷積層，將輸入特征圖的維度由512 維降至256 維，降維后的特征圖輸入到LMLP和LVC 模塊中。

圖7 EVC 模塊結構Fig. 7 Structure of EVC module

LMLP 模塊主要由兩個殘差模塊構成，特征圖輸入到第一個殘差模塊時，先經過群組歸一化(group normalization)，隨后輸入逐通道卷積(depthwise convolution)層，逐通道卷積在提升特征表征能力的同時可以降低計算量，隨后在經過通道縮放(channel scaling)與路徑丟棄(droppath)后，與原輸入通過殘差路徑進行相加，隨后將特征圖輸入第二個殘差模塊，在經過群組歸一化后，在特征圖上實現通道MLP(channel MLP)，最后經過通道縮放與正則化后輸出特征圖。

LVC 模塊首先使用一組卷積層的組合(包括1×1 卷積和3×3 卷積)對輸入特征圖進行編碼，隨后將編碼特征送入一個碼本(Codebook)，碼本中包含固有碼字B={b1,b2, …,bK}和一組縮放因子S={s1,s2, …,sk, …,sK}，輸入的編碼特征為X={X1,X2, …,XK}，通過縮放因子sk使xi和bk映射相應的位置信息ek：

式中：xi為輸入特征圖的第i個像素，bk是第k個可學習的視覺碼字，sk是第k個縮放因子。xi-bk是每個像素相對于碼字的位置信息。K是視覺中心的總數。整個碼本的輸出e可以表示為

將碼本的輸出輸入到全連接層和1×1 卷積層來預測能夠突出類別的特征，最后將輸出特征與輸入LVC 的特征圖先后進行通道上的相乘和相加，作為LVC 模塊的輸出。將LMLP 和LVC 的輸出特征圖拼接之后，利用1×1 卷積層將特征圖維度調整到256，與輸入特征圖保持一致。

如圖8 所示，在文獻[23]的基礎上，將顯性視覺中心模塊構建在了Rep-PAN 這一雙向特征融合金字塔結構上。

圖8 頸部網絡結構圖對比Fig. 8 Comparison of structural diagrams of the neck network

顯式視覺中心模塊利用Rep-PAN 雙向融合的特性，在改善淺層特征的同時，利用自底向上的路徑改善了深層特征。

3 實驗結果及分析

本文中的實驗在操作系統為Ubuntu18.04 LTS 的計算機上完成，其中CPU 為I9-10900X，GPU 為NVIDIA RTX A5000。使用的深度學習框架是Pytorch1.8.0。模型的訓練輪次(epoch) 為100，訓練時的批處理(batch size)參數為16。

本文選取了9 類變電設備的熱紅外圖像作為實驗對象，其中原始訓練集和驗證集樣本圖像分別為903 張和152 張，在數據集擴增階段，利用本文提出的樣本生成方法，對4 類背景較為復雜的設備熱像進行了訓練集擴充，如表1 所示，在數據擴增后，訓練集圖像為1 347 張，驗證集圖像數量不變。

表1 數據集詳細情況Table 1 Dataset details

本文使用AP(average precision) 以及mAP(mean average precision)作為評價標準，AP 由召回率R(recall)、準確率P(precision) 計算得到，除AP 和mAP 外，同時使用了AP50和AP75作為指標，AP50、AP75指的是計算預測框和標注框的交并比后，認為交并比分別在50%、75%以上時預測框為正確結果，并計算對應AP 值。

3.1 消融實驗

為了驗證本文方法中每個模塊的有效性，本文設計了兩組共8 個消融實驗。為了驗證本文提出的樣本生成方法的有效性，依據訓練模型時使用的數據集，將實驗分為使用原始訓練集和使用擴增后的訓練集兩組。在每組實驗中設置了4 個實驗模型：模型A 為YOLOv6 基線模型；模型B 為具有MHSA 機制的YOLOv6 模型；模型C 為具有EVC 機制的YOLOv6 模型；模型D 為同時具有MHSA 和EVC機制的YOLOv6 模型。表2給出了消融實驗結果。

表2 消融實驗結果Table 2 Ablation test results%

從表2 中可以看出，在YOLOv6 模型中使用本文中相應的方法均能提升模型的檢測準確率。與原始訓練集相比，僅使用本文提出的樣本生成方法來擴增數據集，在基線模型上，mAP、AP75分別提升了1%、1.7%；在最終改進后的YOLOv6 模型上，mAP、AP75分別提升了2.1%、3.7%，均有效提升了模型的檢測精度。在使用擴充訓練集的前提下，與YOLOv6 基線模型相比，分別使用MHSA機制和EVC 機制能夠使mAP 提升1.2%和0.4%，而同時使用兩個方法能夠使mAP 提升2.1%，因為MHSA 和EVC 是針對YOLOv6 模型不同的部件進行改進的，將MHSA 機制融入到骨干網絡的最后一層，有效改善了深層特征的提取效果，EVC機制在頸部網絡中進一步增加了深層特征的顯式信息，進而提升了改進模型的檢測精度。

為了更明確地體現本文中樣本生成方法的作用，表3 給出了經過數據擴增的4 種設備熱像的精度指標AP，可以看出，使用本文提出的樣本生成方法來擴充訓練數據集，能夠有效提升模型的檢測精度，在模型A 的實驗結果中，僅套管(Bushing)的檢測精度低于擴增前的結果，而使用擴增訓練集進行訓練的模型D，對4 類設備的檢測精度均超過了未進行數據擴增的模型D。

表3 經過數據擴增的設備熱像檢測精度APTable 3 Device thermal image detection accuracy after data amplification%

表4 給出了在實驗中始終沒有進行數據擴增的五類設備熱像檢測精度，可以看出這五類設備雖然數據量較少，但其因背景較為簡單，從熱像中檢測設備的難度較低，在不同實驗條件下，檢測精度未出現明顯波動。

表4 數據未擴增的設備熱像檢測精度APTable 4 Device thermal image detection accuracy for non-amplified data%

從表4 中可以看到，隨著模型改進和數據集擴增，數據量并未發生變化的流變側套管(LBCTG)的檢測精度一直在上升，模型D 與擴增數據集的組合，使得FLT 和TVT 的檢測精度也高于基線模型A。雖然對TCT 和TLT 的檢測精度出現了下降，但從模型A 的角度來看，擴增后的數據集對TCT 的精度有提升，對比模型A 和模型D 對TLT的檢測精度可知，僅使用模型D 造成了對TLT 檢測精度的下降，因此本文認為TCT 和TLT 的最終精度下降或由模型D 造成。

3.2 模型檢測結果可視化對比實驗

為了定性分析改進模型的檢測性能，使用GradCAM 熱力圖[31]可視化方法，對基線模型和改進模型的預測結果進行對比，圖9 中給出了2個模型對多個設備熱像的檢測熱力圖，可見改進后的模型關注區域更加準確，而基線模型更容易關注到一些無關區域，驗證了改進方法的可行性。

圖9 模型熱力圖可視化Fig. 9 Visualization of model heat map

圖10 中的可視化結果來自參與數據擴增的4 類設備熱像，圖11、12 中的可視化結果來自未參與數據擴增的5 類設備熱像。

圖10 檢測結果可視化Fig. 10 Visualization of test results

圖11 測試結果可視化Fig. 11 Visualization of test results

圖10 (c)與(a)對比后可以看出，第3、4 行中的Current Transformer 類，在基線模型與原始數據集的組合中均出現了被漏檢的情況，而改進后的YOLOv6 模型與擴增數據集的組合能夠有效減少對變電設備的漏檢情況。圖11(c)與(a)、(b)對比后可以看出，改進后的YOLOv6 模型與擴增數據集的組合實現了最優的檢測效果：基線模型對TCT圖像的檢測出現了漏檢，而在改進模型的預測結果中均檢測出了圖像右下角的設備目標；在使用原始數據集的情況下，基線模型和改進模型對TLT 圖像的檢測均出現了誤檢，使用擴增數據集后消除了圖像左下角的誤檢；改進模型與原始數據集的組合，對TVT 圖像的檢測中出現了誤檢，在使用擴增數據集后避免了誤檢。

對比圖12 中的設備檢測結果，能夠看出改進模型或擴增數據集在提升部分設備檢測精度的同時，均未降低對這兩類設備的檢測效果，定性地表現了本文方法的有效性與穩定性。

圖12 測試結果可視化Fig. 12 Visualization of test results

3.3 與先進模型對比實驗

為了驗證本文提出方法的有效性和先進性，本文使用多種目標檢測算法在變電設備熱像數據集上進行訓練，分別與Faster R-CNN、Cascade RCNN[32]、FCOS[33]、YOLOv5、YOLOX、YOLOF[34]、YOLOv7[35]和YOLOv8 進行了比較，各項測試指標如表5 所示。從表5 中可以看出，本文模型在多個指標上與先進方法相比，均有較明顯的提升，AR 為檢測模型的平均召回率，因為數據集中變電設備的目標普遍偏大，所以加入了APl這一指標，來表示圖像中大目標的檢測精度。通過和最新方法YOLOv8 的比較，可以看出其檢測精度雖與本文模型較為接近，但在檢測速度這一指標上，本文模型優勢明顯。

表5 本文方法與先進目標檢測模型的性能對比Table 5 Performance comparison of improved models with advanced object detection models

4 結束語

針對變電設備熱像檢測中存在復雜背景樣本不足和檢測精度不理想的問題，本文提出了基于知識遷移和改進 YOLOv6 的變電設備熱像檢測方法。首先基于DDPM 模型提取真實熱像中的背景知識，生成人工背景樣本，基于位置分布先驗知識，將真實變電設備樣本與人工背景樣本進行融合，生成了人工熱像，解決了復雜樣本不足的問題；然后在YOLOv6 的骨干網絡中實現MHSA機制，提升模型特征提取能力，并在其頸部網絡中加入顯示視覺中心模塊，改善深層特征的特征表示。實驗結果表明，本文提出的基于知識遷移的樣本生成方法，能夠有效解決樣本不足的問題，同時，本文模型能夠有效提升對變電設備熱像的檢測精度，在變電設備熱像數據集上的檢測效果和檢測速度優于多種先進模型。

本文提出的樣本生成方法，為輸變電設備熱像的數據擴增提供了一種新的思路。另外本文提出的改進模型具有較高的檢測精度，下一步工作可以從小樣本學習和高精度檢測模型相結合的角度入手，研究基于少量標注樣本實現高質量自動標注的實現方法。