基于熱成像技術的電氣設備目標檢測方法

霍成軍,史奕龍,武曉磊,李俊午,陸 鑫,陳 婧

(1.國網山西省電力公司,山西 太原 030001；2.國網信通億力科技有限責任公司,福建 福州 350003)

1 引 言

設備檢測是保證電力系統安全運行的重要環節。通過對電氣設備的監測,可以及時發現設備的老化、故障,防止意外停電、火災和其他潛在風險。因此,熱成像相機被廣泛使用,它提供了一種非接觸的方式來感知設備表面發出的紅外能量,從而可以在不關閉任何系統的情況下進行檢測,采集到的熱圖像顯示了溫度分布,從而可以對設備狀態進行診斷。傳統的診斷主要由經驗豐富的電工來完成。隨著傳感數據的急劇增加,使得診斷的自動化程度越來越高。

自動診斷首先要通過分割設備區域或使用邊界框定位設備來檢測熱像圖中的電氣設備[1-3]。考慮到電氣設備的不同部分可能顯示出不同的溫度模式,本文旨在檢測每個設備的各個部分,而不是作為一個整體來檢測。與彩色圖像中的一般目標檢測相比,本研究具有以下特點:①由于背景干擾或相機設置不當,熱圖像可能呈現過于集中的溫度分布,導致對比度低。②大多數圖像都是由手持攝像機拍攝的,在手持攝像機中,設備并沒有很好地垂直對齊。因此,圖像中的設備可能略微傾斜,甚至嚴重傾斜。③不同的設備可能包含不同數量的零件,但設備的零件應具有與剛體特性相同的方向角。此外,雜亂的背景和外觀、形狀、尺度的變化,使根據本研究具有很高的挑戰性。

本文提出了一種基于YOLO[4-5]的深卷積神經網絡(convolutional neural network,CNN)來預測各設備部件的坐標、方位角和類別類型。本文所提方法是第一個應用面向對象的深度學習技術的電氣設備檢測方法,可以提供每個設備部件的位置、方向和類別類型,從而方便后續的狀態診斷。將方向一致性先驗知識集成到模型中的方法,通過這種方法可以提高檢測結果,特別是對于小尺寸設備部件。此外,構建了一個包含四種主要電氣設備的大型熱像集,這使得訓練基于深度學習的模型成為可能。實驗結果表明,該方法對噪聲具有很強的魯棒性,當過并集閾值為0.5時,平均精度達到93.7 %。

2 相關研究

2.1 自動診斷技術

多年來,自動診斷的各種技術都得到了發展。一般來說,包含三個階段的通用框架:設備檢測、特征提取和狀態分類。例如,文獻[6]應用Watershed變換對避雷器進行分段,采用模糊神經網絡將故障、正常、輕度和可疑情況進行分類。文獻[7]使用K-means聚類算法對電氣設備進行分割,提取統計特征,并使用支持向量機進行分類。這些研究僅在包含數百個簡單圖像或更少圖像的小數據集中得到驗證,它們與實際應用之間還有很大的差距。近年來,深度學習方法被應用于故障診斷,這些技術能夠對故障進行端到端的檢測,隨著傳感數據的增加,它們將逐漸成為主要的研究方向。

2.2 電氣設備檢測

診斷的成功在很大程度上取決于設備的正確檢測。因此,為了解決設備檢測問題,人們進行了多種研究[8-10]。文獻[1]通過提取、匹配和聚類稀疏特征點來檢測故障區域。文獻[8]提出了一種局部定義聚類復雜度度量方法來提取故障區域。文獻[9]將Otsu方法應用于閾值設備區域。文獻[10]利用二元形狀先驗和特征池檢測絕緣體。這些方法大多使用對方差和噪聲敏感的特征,并僅在簡單圖像的上進行驗證。本文所提方法在大量的圖像中得到了驗證,并證明了它具有很高的魯棒性。

2.3 目標檢測

目標檢測是計算機視覺中的一個關鍵問題。目前,最先進的檢測方法都是基于深度學習[11]的,如YOLO[5]、R-CNN[12]和SSD[13]。這些方法在垂直目標檢測上效果良好,但是,方向的改變可能會導致外觀的大幅度變化,并遭受嚴重的背景干擾,從而導致對定向目標的檢測失敗[14]。圖1給出了傳統目標檢測與面向包圍盒預測的檢測方法示意圖。圖1(a)給出了傳統目標檢測方法預測垂直邊界框的示例,可見使用垂直包圍盒定位設備可能會導致多余的背景噪聲和不必要的重疊。圖1(b)給出了面向包圍盒預測的元件檢測方法示例,不同顏色的框表示它們處于不同組。

圖1 傳統目標檢測與面向包圍盒預測的檢測方法示意圖

如今,手持攝像機采集越來越多的圖像,這些圖像中的對象通常沒有很好地對齊。因此,近年來面向目標檢測逐漸被關注,文獻[15]提出了不同的面向目標檢測方法。與彩色圖像中傾斜文本的檢測相比,我們的設備部件檢測是在強度對比度較低的紅外熱像中進行的,這使得預測更加困難。而且,幾乎所有的面向目標檢測方法都是將目標作為一個整體來處理的,而一個電氣設備可分成幾個部分。如何挖掘部件之間的結構信息至關重要。

3 所提方法

當給定一幅圖像時,可以通過預測一組有向包圍盒來檢測設備部件,每個包圍盒都由其中心坐標、寬度、高度和方向角參數化。為此,本文提出了一個基于回歸的檢測框架,該框架基于深卷積神經網絡,如圖2所示。圖中,深卷積神經網絡以熱像為輸入,輸出有向包圍盒和相關類概率,然后進行非最大抑制(Non-Maximum Suppression,NMS)得到最終的檢測結果。與這些現有的預測垂直邊界框的方法不同,所提方法還預測了方向角,并考慮了零件之間的方向約束。在常規檢查過程中收集到的熱圖像,首先被送入卷積層和最大池層的堆棧中進行特征提取。然后,通過組織層將在不同層上獲得的特征連接起來,并將其轉發到另外兩個卷積層。最后一層的輸出生成有方向的邊界框和相關的類概率。最后,采用非最大抑制過程來定位概率最高的部分。

圖2 所提框架的示意圖

3.1 網絡體系結構

所提網絡結構由六層的特征提取棧組成。如圖2所示,前兩個堆棧中的每一個都包含一個卷積層和一個最大池層；第三個或第四個堆棧包含三個卷積層,后跟一個最大池層；第五個堆棧包含五個卷積層,后跟一個最大池層；第六個堆棧包含七個卷積層。圖2中每個卷積層都有k×k核和c通道,用k×k×c表示。由第四層和第六層堆棧提取的特征通過重組層連接起來,并轉發到另外兩個卷積層中進行參數預測。每層的大小如圖2所示。該網絡以固定尺寸的416×416×3熱圖像作為輸入。圖像被劃分為S×S網格,每個網格單元預測B個邊界框。一個框有五個描述坐標的參數,一個反映框預測值的置信度分數,以及K類概率值。因此,輸出是一個S×S×(B(5+1+K))維量。當預測每個單元中的B邊界框時,不是直接預測坐標,而是預測與錨盒相關的五個參數(tx,ty,tw,th,tθ),如圖3所示,錨盒用虛線表示,預測邊界框用實線表示。假設單元格與圖像左上角的偏移量為(cx,cy),目標框的寬度為wa,高度為ha。然后,根據預測參數計算出該單元格中的預測邊界框(x,y,w,h,θ),如式(1)所示：

(1)

其中,σ()是一個tx或ty的邏輯函數,取值為[0,1]。使用K-means算法對B個錨盒進行聚類,即從訓練樣本中獲得B個不同大小的錨盒。通過這種方法,可以將設備部件的尺寸先驗值融入到所提模型中,使網絡訓練穩定,并獲得更好的定位效果。

圖3 與錨盒相關的邊界框

3.2 損失函數

在訓練網絡時,給出了一組熱像圖作為訓練樣本。圖像中的每一個設備部分都用一個有方向的邊界框和一個類標簽作為進行注釋。該網絡被訓練來預測定位和分類結果,是一個多任務學習問題。因此,我們提出了一個多任務損失函數L,如式(2)所示,其中包括定位損失Lloc、分類損失Lcl以及將部件之間的方向角約束為一致的損失Lort。

L=Lloc+Lcls+Lort

(2)

3.2.1 定位損失

(3)

3.2.2 分類損失

在我們的任務中,我們有K種電氣設備部件。所構造的網絡為每個邊界框預測一個K維向量p。p的每個條目表示屬于某個類的預測邊界框的概率。分類損失也只考慮那些“負責任”的邊界框。因此,定義如下:

(4)

3.2.3 定向一致性損失

當檢測一臺設備的不同元件(例如電流互感器或電壓互感器)時,這些元件應有相同的定向角。可以采用該先驗來改進包圍盒的預測。因此,提出了一致性損失來約束元件之間的定向角。在施加此約束之前,首先需要確定哪些元件位于同一設備上。因此,首先將帶注釋的邊界框劃分為不同的組,每個組表示一個設備實例,如圖2(b)所示。這可以根據以下條件檢查元件的定向角來完成。當給定兩個帶注釋的邊界框a和b時,如果滿足式(5),它們屬于同一組。

(5)

接著,將所有部分分成不同的組。假設一個圖像包含G組設備元件,并且每個組可以包含不同數量的元件。定向一致性損失公式如下:

(6)

3.3 訓練與測試

使用損失函數以一種端到端的方式訓練網絡。訓練圖像及其注釋被輸入到網絡中。采用隨機梯度下降法(Stochastic Gradient Descent,SGD)優化損失,批量大小為16,動量為0.9,重量衰減為0.0005。采用了文獻[16]的策略來調整學習率,對于前35000次迭代,學習率固定為0.01,之后降低為0.001。

測試時,一個單獨的圖像被輸入到訓練的網絡中。最后一層產生輸出預測位置、可信度和類概率。將類別概率與置信度相乘,以表示盒子的置信度。NMS選擇置信度最高的盒子作為最終結果。

4 算例分析

4.1 數據集

目前,還沒有公開的熱像數據集用于電氣設備的檢測和診斷。為了對該方法進行評價,本文構造了一個數據集。某變電站,當電工進行例行檢查時,圖像由手持熱相機拍攝,如FLIR T640、FLIR T660和FLIR P660。該數據集中于四種主要類型的變壓器設備,包括電流互感器(current transformer,CT)、電壓互感器(potential transformer,PT)、避雷器(surge arrester,SA)和斷路器(circuit breaker,CB)。為了訓練網絡和評估測試結果,手動標注了7955幅圖像。圖像中的每個設備元件都用一個定向邊界框和一個類標簽進行注釋。根據這些設備的組成,將所有部件分為六類:套管、波紋管、均壓環、套管連接器、凸緣和滅弧室。例如,電流互感器由波紋管和套管連接器組成,但是電壓互感器可能由不同數量的套管連接器、凸緣、均壓環和套管組成。表1列出了圖像中存在的元件和設備的數量。所有元件的方位角分布如圖4所示,以正x軸為基準0°角,方位分布在65°到115°之間,且多數為直立。

表1 數據集中不同部件、設備和圖像的數量

圖4 數據集中所有設備部件的方向分布

4.2 實驗裝置

在數據集中,隨機選擇60 %的圖像進行訓練,其余的圖像進行測試。圖像的原始分辨率為480×640或640×480。兩者都被縮放到480×480輸入。同時,通過以下方法來增加訓練數據:將每個訓練圖像隨機裁剪成416×416的小塊,并以0.5的概率水平移動,此外在色調、飽和度和曝光度上應用一些偏移。在所有的實驗中,采用了文獻[5]中的默認參數設置,即S=13,λnoobj=0.2,設置K=6來表示六個設備部件類別。采用K-means算法對B=5個錨盒進行聚類,得到42×195、92×66、81×120、38×299和38×36的錨盒。模型需要10個小時左右的時間來訓練。為了測試,它每秒鐘可以訓練20幀。

4.3 實驗結果

4.3.1 與其他方法相比

首先采用所提完整模型進行實驗,并將其與為垂直目標檢測的最新方法進行比較,這些方法包括YOLO9000[5]、R-CNN[12]和SSD[13]。結果根據平均精度(Average Precision,AP)進行評估,平均精度是衡量類的精度召回曲線下面積的一個標準。在計算精確率和召回率時,如果與地面事實的交集(intersection over union,IoU)大于閾值,將預測的邊界框判斷為真實。與大多數目標檢測工作一樣,閾值通常設置為0.5。表2給出了每個類的AP以及所有類的平均精度(mean Average Precision,mAP)。結果表明,本文提出的方法獲得了最高mAP,優于其他所有的垂直目標檢測方法。這種改進主要得益于模型中對旋轉的考慮,從而使模型對旋轉引起的外觀變化更具魯棒性,對背景噪聲的影響更小。

表2給出了以每秒幀數(frames per second,FPS)表示的時間比較。由于在計算IoU時,定向包圍盒的非最大抑制與直立包圍盒的非最大抑制略有不同,因此在估計FPS時,也考慮了非最大抑制的時間,以便進行比較。所提模型可以達到20 f/s,比R-CNN快。由于定向包圍盒非最大抑制的復雜性,所提模型比YOLO9000和SSD慢。

表2 實驗結果與其他方法的對比

4.3.2 燒蝕實驗

為了研究所提方法中方向一致性損失的有效性,對所提出的不存在方向一致性損失的模型進行了訓練和測試,稱為“所提w/o”。并對結果進行了mAP評價。為了更好地評估定位性能,報告了IoU閾值在0.5到0.8之間變化的結果。表3列出了完整模型和無方向損失約束模型在不同閾值下的結果。表4還給出了IoU分別為0.5和0.7的每個類的AP。根據這些結果,可以觀察到:

1)當IoU閾值從0.5提高到0.8時,平均精度逐漸下降。因為IoU越高,定位結果就越精確。當將所提完整模型與無方向損失約束的模型進行比較時,發現完整模型更優。當IoU為0.5時,mAP增加0.5 %,隨著IoU的增加,mAP增加到3.1 %。這說明元件之間的方向約束可以提供更好的定位性能。

2)通過比較各元件的AP,可以看出,對于波紋管、套管連接器、均壓環等高寬比較小的設備部件,AP有較大的改善,原因是這些元件的方向預測比其他類型的元件對噪聲更敏感。利用所提方向一致性損失,可以得到了更穩健的預測結果。

表3 相對于mAP(%)的燒蝕實驗結果

表4 消融實驗結果與AP和mAP比較

圖5給出了使用所提完整模型在測試集上檢測到的典型結果。結果表明,該方法能夠精確地檢測出元件,對尺寸、溫度和方向角的變化具有魯棒性。即使在背景雜亂的情況下,也能獲得較好的檢測結果。

圖5 所提完整模型得到的測試結果

5 結 論

設備檢測是實現自動檢測和診斷的基礎。基于深度學習技術,本文提出了一種檢測熱圖像中細粒度設備的方法。所提方法能夠通過預測包圍盒來檢測設備部件,無論它們是直立的還是傾斜的。該方法已經在構建的大型數據集中得到了驗證。實驗表明,所提方法能夠較好地檢測電氣設備,元件之間的方向約束可以提供更好的定位性能,方法具有魯棒性。后續將進行基于檢測結果的故障診斷研究。