基于深度學(xué)習(xí)的無人機(jī)巡檢圖像銷釘故障檢測

(深圳供電局有限公司，廣東 深圳 518000)

0 引言

針對我國能源資源分布與需求不平衡的問題，我國電力系統(tǒng)發(fā)展戰(zhàn)略實(shí)施了“西電東送”、“南北互供”、“全國聯(lián)網(wǎng)”三大工程。全國互聯(lián)大電網(wǎng)具有長距離、跨區(qū)域的特點(diǎn)，需要用龐大的輸電線路網(wǎng)絡(luò)進(jìn)行電能的輸送。因此，輸電線路是電力系統(tǒng)的重要組成部分，它擔(dān)負(fù)著輸送和分配電能的任務(wù)。

我國目前已形成華北、東北、華東、華中、西北和南方電網(wǎng)共6個(gè)跨省電網(wǎng)，110 kV以上輸電線路[1]已達(dá)到近51.4萬km。同時(shí)，輸電線路網(wǎng)絡(luò)由于常年暴露在自然環(huán)境中，很容易受到天氣、鳥類等因素的影響。最常見的天氣因素包括雷擊、暴雨和高溫。這種劇烈的環(huán)境條件，很大程度上會(huì)導(dǎo)致線路部件產(chǎn)生一定程度的形變，甚至破損。因此，定時(shí)對電力輸電線路進(jìn)行巡檢，及時(shí)檢測輸電線路中部件出現(xiàn)的故障，從而保證電力系統(tǒng)高效穩(wěn)定運(yùn)行。當(dāng)前主要的輸電線路巡檢模式主要有人工巡檢、直升機(jī)巡檢[2]和無人機(jī)巡檢[3-5]，以及3種巡檢模式相互組合協(xié)同進(jìn)行。考慮到無人機(jī)巡檢具有野外作業(yè)風(fēng)險(xiǎn)低、效率高的特點(diǎn)[6]，而且無人機(jī)攜帶方便、操作簡單、反應(yīng)迅速、起飛降落對環(huán)境的要求低等，無人機(jī)巡檢逐漸成為主流的巡檢方式并慢慢代替?zhèn)鹘y(tǒng)巡檢。但是，無人機(jī)巡檢會(huì)產(chǎn)生大量用于分析是否出現(xiàn)故障的圖片，因此，一種可以代替人工判讀的智能識(shí)別與檢測算法用于檢測輸電線路部件故障具有非常重要的意義。

目前，針對輸電線路中比較容易看見的部件故障檢測算法已經(jīng)取得了不錯(cuò)的效果。經(jīng)典的輸電線路部件故障檢測算法主要是從目標(biāo)的輪廓入手結(jié)合紋理特征進(jìn)行檢測識(shí)別。例如根據(jù)由直線和曲線片段組成的2AS相互關(guān)系判決均壓環(huán)是否發(fā)生傾斜[7]。對于輸電線，可以通過Freeman[8]鏈碼準(zhǔn)則判斷是否發(fā)生斷股故障[9]，也可以利用Hough變換算法檢測輸電線，并判斷是否有異物懸掛在輸電線上[10]。近年來，隨著深度學(xué)習(xí)在圖像識(shí)別與檢測領(lǐng)域引起了人們的廣泛關(guān)注。利用深度學(xué)習(xí)算法，針對無人機(jī)巡檢圖像中絕緣子[11-13]、防振錘[14-15]、均壓環(huán)[16]和輸電線[17]等部件故障檢測的效果得到了顯著地提升。然而針對輸電線路中的細(xì)小部件故障，如銷釘脫落，依舊是輸電線路故障檢測中的困難點(diǎn)。

架空輸電線路中大量的設(shè)備部件是通過螺母-銷釘進(jìn)行連接或者固定。由于輸電線路長期暴露在自然環(huán)境中，而銷釘是一種金屬器具，容易受到雨水侵蝕生銹，從而發(fā)生形變脫落。或是受鳥害影響，將其從螺母中抽離。一旦這一安全隱患未能及時(shí)處理，以至于固定點(diǎn)螺母發(fā)生松動(dòng)，從而引起輸電線路關(guān)鍵部件解體，以及桿塔的不牢固。本文采用了在圖像檢測領(lǐng)域效果優(yōu)異的Faster R-CNN[18]算法并分析了不同的初始化網(wǎng)絡(luò)，如VGG16[19]，ResNet-50[20]，ResNet-101[20]和ResNet-152[20]對銷釘脫落這一故障進(jìn)行定位識(shí)別的效果。除此之外，本文進(jìn)一步對比Hough梯度圓檢測+直線段檢測(Line Segment Detector, LSD)[21]、聚合通道特征(Aggregate Channel Features, ACF)[22]+Adaboost[23]和Faster R-CNN三種算法在無人機(jī)巡檢圖像中銷釘脫落故障檢測性能。

1 銷釘脫落檢測研究

螺母-銷釘是一種人造部件，具有嚴(yán)格的幾何造型。圖1是無人機(jī)巡檢獲得的螺母-銷釘實(shí)例圖，其中圖1(a)為兩張正常的螺母-銷釘樣圖，圖1(b)為銷釘脫落的故障樣圖。

圖1 螺母-銷釘實(shí)例圖

1.1 Faster R-CNN

近年來，基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測算法逐漸成為研究熱點(diǎn)。經(jīng)典的R-CNN[24]目標(biāo)檢測算法在2014年由Girshick等人提出，由于其檢測精度與效率存在較大的提升空間，在這之后，先后提出了Fast R-CNN[25]和Faster R-CNN算法。其中Faster R-CNN算法已經(jīng)成功應(yīng)用于多個(gè)領(lǐng)域。

Faster R-CNN對無人機(jī)巡檢圖像中銷釘脫落檢測流程如圖2所示。我們可以分為4個(gè)階段，首先將圖片輸入到CNN模型中訓(xùn)練，隨后用區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network, RPN)對提取后的特征圖進(jìn)行處理，尋找可能包含目標(biāo)的區(qū)域，再用感興趣區(qū)域池化(Region of interest Pooling, RoIP)處理，提取出與目標(biāo)物相關(guān)的特征向量，最后再由卷積層和全連接層得到目標(biāo)物邊界框的坐標(biāo)和分類結(jié)果。

圖2 Faster R-CNN銷釘故障檢測過程

在第一階段，從圖2中可以看出，我們將任意尺寸的無人機(jī)巡檢圖像輸入至卷積神經(jīng)網(wǎng)絡(luò)中，通過訓(xùn)練得到可被后續(xù)RPN網(wǎng)絡(luò)和檢測網(wǎng)絡(luò)共享的特征圖。不同的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)并不相同，檢測效果也不盡相同。本文分別采用VGG16，ResNet-50，ResNet-101和ResNet-152作為Faster R-CNN目標(biāo)檢測中的預(yù)訓(xùn)練CNN模塊，用以提取輸入圖片的特征圖(Feature map)。VGG16模型的網(wǎng)絡(luò)結(jié)構(gòu)包括有13個(gè)卷積層，13個(gè)激活層和4個(gè)池化層。而ResNet網(wǎng)絡(luò)模型則由1個(gè)卷積層，1個(gè)池化層，和若干個(gè)殘差模塊組成。其中ResNet-50、ResNet-101、ResNet-152分別包含16、33、50個(gè)殘差模塊。

圖3 RPN網(wǎng)絡(luò)示意圖

一般，螺母-銷釘組件在無人機(jī)巡檢獲取的圖片中只占很小的一個(gè)區(qū)域。如果對所有的區(qū)域都遍歷一遍，并得到檢測結(jié)果，勢必會(huì)導(dǎo)致檢測效率的下降以及增大了網(wǎng)絡(luò)模型訓(xùn)練難度。為解決這一問題，F(xiàn)aster R-CNN拋棄了傳統(tǒng)的滑動(dòng)窗口的方法并提出通過RPN和檢測網(wǎng)絡(luò)共享特征圖的方式來減少復(fù)雜計(jì)算所導(dǎo)致的時(shí)間消耗，其中RPN網(wǎng)絡(luò)示意圖如圖3所示。先用512個(gè)3×3卷積核進(jìn)一步集中特征信息，并分別輸入邊框分類器和邊框回歸器中。假設(shè)特征圖中的某個(gè)目標(biāo)區(qū)域生成了k個(gè)不同范圍的候選框，那么邊框分類器則輸出每個(gè)目標(biāo)候選框?qū)儆谀囊环N螺母-銷釘狀態(tài)或者是背景的概率。于是，總共有2k個(gè)輸出。假設(shè)輸電線路部件矩形框的位置由 (x,y,w,h) 來表示。其中矩形框的中心點(diǎn)坐標(biāo)為(x,y)，w,h分別表示矩形框的寬和高。因此，邊框回歸網(wǎng)絡(luò)有4k個(gè)輸出。隨后將得到的候選區(qū)域信息和特征圖共同送入RoIP層中從而獲得建議特征圖并傳遞至檢測網(wǎng)絡(luò)中。檢測網(wǎng)絡(luò)包括有兩個(gè)分支，分別為邊框分類網(wǎng)絡(luò)和邊框回歸網(wǎng)絡(luò)。其中邊框分類網(wǎng)絡(luò)通過全連接層和Softmax分類器對螺母-銷釘或背景做進(jìn)一步判斷，邊框回歸網(wǎng)絡(luò)則通過全連接層從而獲取更高進(jìn)度的邊框區(qū)域。

1.2 ACF+Adaboost

ACF是一種多特征融合算法。本文從6個(gè)不同方向的梯度直方圖，3個(gè)LUV顏色通道和1個(gè)梯度幅值通道，共10個(gè)特征通道并使用快速特征金字塔[26]計(jì)算無人機(jī)巡檢圖像在不同尺度變化下的特征通道值。使用滑動(dòng)窗口對特征通道進(jìn)行遍歷，計(jì)算其積分圖的特征值之和并作為特征向量送入Adaboost分類器，通過非極大值抑制[27](Non-Maximum Suppression, NMS)得到螺母-銷釘?shù)臋z測框，判斷銷釘是否脫落。

1.3 Hough+LSD

對螺母-銷釘?shù)臋z測中，將螺母和銷釘作為一個(gè)整體進(jìn)行判定。考慮到螺母是一種類圓形部件，銷釘?shù)闹本€特征比較明顯，在檢測過程如圖4所示，使用Hough梯度進(jìn)行圓檢測，而直線段檢測有LSD算法完成。隨后根據(jù)兩者之間的位置關(guān)系判斷銷釘是否與螺母分離脫落。

圖4 螺母尺寸背景下的銷釘檢測

2 數(shù)據(jù)集與模型訓(xùn)練

2.1 數(shù)據(jù)集準(zhǔn)備

本文使用的數(shù)據(jù)集是由無人機(jī)巡檢時(shí)獲得的圖像。本文針對輸電線路銷釘脫落故障檢測這一任務(wù)，將數(shù)據(jù)集分為了3個(gè)部分，其中訓(xùn)練樣本3600張，驗(yàn)證樣本1 200張，測試樣本1 200張，測試集中的1 200張樣本都不存在于訓(xùn)練樣本和驗(yàn)證樣本中。其中，故障銷釘和無故障銷釘兩個(gè)類別各占3個(gè)樣本集的50%。

2.2 模型訓(xùn)練

本實(shí)驗(yàn)的計(jì)算機(jī)配置為Intel(R) Core(TM) i7-7820X 3.6 GHz CPU，TITAN Xp GPU，64 G 內(nèi)存，采用Tensorflow深度學(xué)習(xí)框架，使用Faster R-CNN實(shí)現(xiàn)網(wǎng)絡(luò)模型的訓(xùn)練，先后選取VGG16，ResNet-50，ResNet-101和ResNet-152預(yù)訓(xùn)練模型對前置ImageNet網(wǎng)絡(luò)進(jìn)行初始化。根據(jù)多次實(shí)驗(yàn)經(jīng)驗(yàn)所得，本文在訓(xùn)練階段設(shè)置學(xué)習(xí)率為0.001，反向梯度的動(dòng)量為0.9，學(xué)習(xí)率衰減權(quán)重為0.1，批尺寸大小為256，NMS閾值為0.7，其前后候選框個(gè)數(shù)分別為12 000和2 000，交集并集比(Intersection over Union, IoU)大于0.7時(shí)為正樣本，IoU小于0.3時(shí)為負(fù)樣本。模型檢測效果以平均準(zhǔn)確率作為主要評(píng)判標(biāo)準(zhǔn)，檢測用時(shí)為次要標(biāo)準(zhǔn)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 銷釘故障檢測過程

使用Faster R-CNN算法對銷釘故障檢測效果的測試過程，首先根據(jù)2.1節(jié)中的數(shù)據(jù)集劃分方式，將測試集中1 200張圖片(600張有銷釘圖片、600張無銷釘圖片)同時(shí)輸入至2.2節(jié)中訓(xùn)練得到的檢測模型。檢測模型的卷積層分別對輸入的每一個(gè)測試圖片進(jìn)行特征提取，提取出的特征圖中包含有前景(螺母-銷釘或單螺母)和背景的特征。隨后檢測網(wǎng)絡(luò)中的區(qū)域候選層將特征圖劃分成若干個(gè)區(qū)域，并對每個(gè)區(qū)域生成不同尺寸的候選框，接著用一組全連接層對候選區(qū)域進(jìn)行分類，判斷是前景還是背景，再用另一組全連接層對不同尺寸的候選框進(jìn)行回歸選出能夠較好的將前景包含在內(nèi)的候選框。最后將篩選的結(jié)果與之前提取的特征圖一同輸入由全連接層(分類器與回歸器)組成的檢測網(wǎng)絡(luò)中，其中回歸器用于進(jìn)一步鎖定目標(biāo)的邊框位置，分類器用于判別是螺母-銷釘和單螺母中的哪一類，從而完成銷釘是否脫落的故障檢測過程。

為保證實(shí)驗(yàn)結(jié)果的客觀性，進(jìn)行了多次重復(fù)實(shí)驗(yàn)。每次實(shí)驗(yàn)都對數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集。通過對實(shí)驗(yàn)結(jié)果進(jìn)行平均得到以下結(jié)果。

3.2 不同模型檢測效果對比

通過對2.2節(jié)中訓(xùn)練得到4種檢測模型進(jìn)行測試，并計(jì)算查準(zhǔn)率(Precision, P)、查全率(Recall, R)和平均精度(Average Precision, AP)。

(1)

以故障銷釘為例，查準(zhǔn)率表示檢測出的故障中，正確檢測的比例；查全率表示所有故障中被檢測出的比例；其中TP為挑選出的故障銷釘中判斷正確的數(shù)量，F(xiàn)P為判斷錯(cuò)誤的數(shù)量，F(xiàn)N為未被檢測出的故障銷釘?shù)臄?shù)量。根據(jù)實(shí)驗(yàn)結(jié)果繪制對應(yīng)的Precision-Recall曲線，如圖5所示。

圖5 4種Faster R-CNN檢測模型Precision-Recall曲線

根據(jù)Precision-Recall曲線，可計(jì)算每一分類的平均精度。平均精度是衡量模型在某一分類上檢測性能，是對Precision-Recall曲線上11個(gè)點(diǎn)(當(dāng)Recall≥0,0.1,…,1時(shí)Precision的最大值)的平均。在此基礎(chǔ)上計(jì)算所有類別平均精度的均值，即均值平均精度(mean Average Precision, mAP)用以判斷模型的整體性能。并將以上實(shí)驗(yàn)結(jié)果和檢測時(shí)間匯總為表1所示。對于正常銷釘?shù)钠骄葋碚f，ResNet-50模型的效果最好，其次是ResNet-152，再者是ResNet-101，最后是VGG16；對于故障銷釘?shù)钠骄葋碚f，ResNet-50、ResNet-152和VGG16不相上下且不如ResNet-101模型的效果好；對于均值平均精度，ResNet-101模型的效果依舊優(yōu)于其他3個(gè)模型；在檢測時(shí)間的消耗上，隨著模型復(fù)雜度的增加，VGG16、ResNet-50、ResNet-101和ResNet-152模型的用時(shí)也隨之遞增，其中ResNet-152模型的耗時(shí)近乎是VGG16模型的兩倍。圖6為ResNet-101模型的檢測效果。

表1 4種Faster R-CNN模型檢測結(jié)果

圖6 銷釘故障檢測效果

通過對比不同模型的檢測效果可以看出對于好的銷釘?shù)臋z測效果遠(yuǎn)超于對壞的銷釘?shù)臋z測效果。主要原因?yàn)檩旊娋€路網(wǎng)絡(luò)中，除了螺母-銷釘?shù)募庸滩考猓€存在有單獨(dú)的螺母零件，它與銷釘脫落后的螺母相比，僅是否有銷釘孔這一區(qū)別。由于拍攝角度、光線等因素的影響，存在一定的可能性將銷釘脫落后的螺母與單獨(dú)的螺母混淆，而螺母-銷釘結(jié)構(gòu)相對獨(dú)特，以至于兩者檢測效果相差較大。總體效果而言，ResNet-101模型的表現(xiàn)明顯優(yōu)于其他模型，特別是在檢測壞的銷釘方面。越為復(fù)雜的深度模型，越依賴數(shù)據(jù)的豐富性。與整個(gè)龐大的輸電線路系統(tǒng)相比，部件故障出現(xiàn)的情況十分稀少，對于銷釘這類微小部件更是少見，數(shù)據(jù)量不足這是導(dǎo)致ResNet-152模型的效果不如ResNet-101模型的原因。

3.3 不同算法檢測效果對比

根據(jù)3.1節(jié)的實(shí)驗(yàn)結(jié)果，選取最優(yōu)模型ResNet-101模型與其他目標(biāo)檢測算法進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表2所示。根據(jù)表2的實(shí)驗(yàn)數(shù)據(jù)，不可否認(rèn)傳統(tǒng)目標(biāo)檢測算法在檢測時(shí)間方面比深度學(xué)習(xí)方法要快。不過檢測精度還是無法與Faster R-CNN算法比擬。以ACF+Adaboost算法為例，雖然銷釘脫落故障的檢測時(shí)間僅為Faster R-CNN算法的1/4，但其誤檢率較高，導(dǎo)致整體精度下降。而Hough+LSD算法的缺陷比較明顯，由于銷釘在無人機(jī)巡檢圖像中僅占一小部分，像素總數(shù)相對較少，同時(shí)圖像中其他直線段特征存在干擾，以至于檢測效果遠(yuǎn)低于Faster R-CNN算法。

表2 3種目標(biāo)檢測算法檢測結(jié)果

4 結(jié)束語

實(shí)現(xiàn)無人機(jī)巡檢圖像中輸電線路銷釘脫落故障的自動(dòng)檢測，是保證輸電系統(tǒng)安全穩(wěn)定的重要前提。深度學(xué)習(xí)在無人機(jī)巡檢圖像檢測任務(wù)中具有非常好的應(yīng)用前景，本文在此基礎(chǔ)上，研究不同F(xiàn)aster R-CNN網(wǎng)絡(luò)模型對無人機(jī)巡檢圖像中銷釘脫落故障檢測效果的影響，同時(shí)本方法的準(zhǔn)確率都優(yōu)于經(jīng)典圖像檢測算法。在實(shí)際應(yīng)用中可以節(jié)省大量人力和時(shí)間成本，極大地提升巡檢效率，及時(shí)處理輸電線路系統(tǒng)中存在的安全隱患。

未來的工作中，將搜集更多的圖片樣本，擴(kuò)大樣本庫建設(shè)，優(yōu)化深度學(xué)習(xí)算法，提高識(shí)別準(zhǔn)確率以及增加識(shí)別的關(guān)鍵部件種類，推動(dòng)無人機(jī)全自動(dòng)化巡檢的研究進(jìn)程。