基于深度學(xué)習(xí)的復(fù)雜背景下絕緣子圖像識(shí)別及定位

盧勝標(biāo)　夏良標(biāo)　石英　韓西坪　龐統(tǒng)　莫止范　劉曉偉　李德洋　田丁

摘 要：針對(duì)復(fù)雜背景下航拍圖像中絕緣子識(shí)別定位困難問(wèn)題，引入深度學(xué)習(xí)算法，利用基于區(qū)域建議的Faster R-CNN算法實(shí)現(xiàn)圖像中的絕緣子識(shí)別及定位。利用采集的絕緣子圖像進(jìn)行Faster R-CNN網(wǎng)絡(luò)的訓(xùn)練，使其自主學(xué)習(xí)絕緣子圖像特征。在卷積網(wǎng)絡(luò)輸出的特征圖上運(yùn)用RPN生成絕緣子目標(biāo)候選框，RPN與Faster R-CNN網(wǎng)絡(luò)共享卷積結(jié)果，使網(wǎng)絡(luò)運(yùn)算速度明顯提升。對(duì)于訓(xùn)練好的基于區(qū)域建議的Faster R-CNN模型，輸入待檢測(cè)圖像，模型將根據(jù)自主學(xué)習(xí)的圖像特征，自動(dòng)判斷圖像中是否存在絕緣子，判斷絕緣子類型，并用方框定位出絕緣子所在區(qū)域。最后，采用輸電線路巡線中無(wú)人機(jī)拍攝的現(xiàn)場(chǎng)照片對(duì)該模型檢測(cè)效果進(jìn)行了測(cè)試，結(jié)果表明，相對(duì)于傳統(tǒng)目標(biāo)識(shí)別方法，該方法極大的提升了識(shí)別精度，并有效縮短了檢測(cè)時(shí)間。

關(guān)鍵詞：絕緣子識(shí)別 無(wú)人機(jī)巡檢 航拍圖像 深度學(xué)習(xí) 區(qū)域建議網(wǎng)絡(luò)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-9082（2019）01-00-03

引言

近年來(lái)隨著我國(guó)經(jīng)濟(jì)快速增長(zhǎng)，輸電線路規(guī)模不斷隨之增加。尤其是超、特高壓輸電線路，跨越崇山峻嶺，暴露在野外惡劣的自然環(huán)境下，長(zhǎng)期承受著風(fēng)吹日曬、機(jī)械拉力、電磁輻射、雷擊閃絡(luò)等危害。絕緣子作為輸電線路重要的絕緣部件，承擔(dān)著絕緣、機(jī)械支撐等作用，一旦發(fā)生絕緣子閃絡(luò)、破損、掉串等故障，極易引發(fā)輸電線路故障，導(dǎo)致供電中斷，嚴(yán)重時(shí)甚至導(dǎo)致大規(guī)模線路斷電。因此，針對(duì)絕緣子缺陷的巡檢是輸電線路巡檢內(nèi)容的重要一環(huán)。

目前輸電線路巡檢方式主要包括傳統(tǒng)人工巡檢、直升機(jī)巡檢及無(wú)人機(jī)巡檢等。其中傳統(tǒng)人工巡檢由于耗時(shí)費(fèi)力正逐漸被取代，而直升機(jī)巡檢成本高安全性差，隨著自動(dòng)化、智能化程度的提高，輕巧靈便的無(wú)人機(jī)巡檢得到越來(lái)越廣泛的應(yīng)用[1]。同時(shí)，隨著無(wú)人機(jī)巡檢拍攝了大量圖片，對(duì)其的智能化處理也變得越來(lái)越重要。

由于絕緣子處在環(huán)境復(fù)雜的戶外，目標(biāo)物體的角度、光照、陰影、背景等條件紛繁復(fù)雜。希望利用計(jì)算機(jī)判別絕緣子缺陷，如何在圖片中定位絕緣子便成為了其首要問(wèn)題。目前絕緣子圖像識(shí)別的算法主要是基于絕緣子的輪廓、顏色、紋理等特征，識(shí)別精度不高，運(yùn)算速度較慢，效率低；尤其是其識(shí)別效果嚴(yán)重依賴設(shè)定參數(shù)，算法對(duì)于不同背景適應(yīng)性較差，識(shí)別率穩(wěn)定性差。

針對(duì)復(fù)雜背景下航拍圖像中絕緣子識(shí)別難、速度慢的問(wèn)題，本文提出了一種基于Faster R-CNN算法的絕緣子圖像識(shí)別方法，并以輸電線路無(wú)人機(jī)巡檢拍攝的絕緣子圖像進(jìn)行了驗(yàn)證。。

一、絕緣子識(shí)別網(wǎng)絡(luò)框架

本文提出的基于深度學(xué)習(xí)的復(fù)雜背景下絕緣子圖像識(shí)別算法總體框架如圖1所示，利用深度學(xué)習(xí)算法實(shí)現(xiàn)圖像中絕緣子識(shí)別，不需要人為提取絕緣子的特征，實(shí)現(xiàn)復(fù)雜背景下絕緣子圖像智能化自動(dòng)識(shí)別。

二、基于區(qū)域建議的Faster R-CNN算法

本文利用基于區(qū)域建議（Region Proposal Networks，RPN）的Faster R-CNN算法實(shí)現(xiàn)絕緣子圖像的識(shí)別，能夠大大縮短算法運(yùn)行時(shí)間，并提高識(shí)別精度。RPN是一種全卷積網(wǎng)絡(luò)，通過(guò)端對(duì)端訓(xùn)練產(chǎn)生目標(biāo)候選區(qū)域，將RPN產(chǎn)生的候選區(qū)域映射到Faster R-CNNs的最后一層卷積特征圖上，實(shí)現(xiàn)RPN與Faster R-CNNs的共享卷積計(jì)算，進(jìn)而通過(guò)Softmax Loss和Smooth L1 Loss對(duì)分類概率和邊框回歸聯(lián)合訓(xùn)練，輸出圖像的目標(biāo)區(qū)域。

1.Faster R-CNN性能提升機(jī)理

Fast R-CNN是一種近年來(lái)用于目標(biāo)檢測(cè)中性能較為優(yōu)異的網(wǎng)絡(luò)模型，其檢測(cè)目標(biāo)圖像的步驟為：輸入測(cè)試圖像，利用SS算法提取圖像中的目標(biāo)候選框，再將整張圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)CNN中提取特征，并將SS算法提取的目標(biāo)候選框映射到CNN的最后一層卷積特征圖上，通過(guò)RoI pooling層使每一個(gè)目標(biāo)候選框生成固定尺寸的特征圖后，利用Softmax Loss（探測(cè)分類概率）和Smooth L1 Loss（探測(cè)邊框回歸）對(duì)分類概率和邊框回歸（Bounding box regression）聯(lián)合訓(xùn)練，就可輸出最后的圖像目標(biāo)檢測(cè)框。

相對(duì)于R-CNN將一張圖像上生成的目標(biāo)候選框全部當(dāng)成獨(dú)立的圖像進(jìn)行后續(xù)的CNN特征提取及SVM目標(biāo)分類，F(xiàn)ast R-CNN對(duì)于一張圖像只提取一次卷積層特征，并將每個(gè)目標(biāo)候選框的卷積層特征輸入到全連接層進(jìn)行后續(xù)操作，因此大大降低了運(yùn)算時(shí)間。但是由于每個(gè)目標(biāo)候選框的尺度不同，而全連接層的輸入要求是固定長(zhǎng)度，因此增加RoI pooling層固定目標(biāo)候選框的維度。

基于區(qū)域建議的Faster R-CNN在上述基礎(chǔ)上，使用RPN代替原來(lái)的SS算法生成目標(biāo)建議框，并將產(chǎn)生目標(biāo)候選框的卷積神經(jīng)網(wǎng)絡(luò)CNN與目標(biāo)檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)CNN共享。這個(gè)過(guò)程能夠在保證檢測(cè)精度的前提下，使目標(biāo)候選框的數(shù)量由2000個(gè)降低到300個(gè)，大大縮短模型運(yùn)算時(shí)間。

2.RPN網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)中使用較多的候選區(qū)域的產(chǎn)生方法主要有Selective Search（SS）和Edge Boxes兩種，但這兩種方式在產(chǎn)生候選框時(shí)都比較慢（SS每張圖像2秒，Edge Boxes每張圖像0.2秒）降低了網(wǎng)絡(luò)的實(shí)用性[2，3]。而RPN方法通過(guò)與目標(biāo)檢測(cè)網(wǎng)絡(luò)共享卷積層的方式，極大的減少了耗時(shí)（每張圖像10毫秒），與整個(gè)網(wǎng)絡(luò)的計(jì)算時(shí)間相比幾乎可以忽略。

基于區(qū)域的目標(biāo)檢測(cè)器所利用的卷積特征映射同樣可以用于產(chǎn)生目標(biāo)候選框，基于此設(shè)計(jì)的RPN具體實(shí)現(xiàn)方式為：在最后一個(gè)可共享的卷積層輸出的卷積特征映射上，滑動(dòng)一個(gè)n*n（本文中采用的n=3）的小窗口，并映射成一個(gè)低維度特征向量，該特征向量傳輸?shù)絻蓚€(gè)分支連接層，一個(gè)是分類框?qū)樱╟ls），另一個(gè)是回歸框?qū)樱╮eg），如圖2所示。

在每一個(gè)滑動(dòng)窗位置，預(yù)測(cè)k（k為絕緣子標(biāo)簽的類型，本文中k=9）個(gè)候選框，cls層輸出2k個(gè)帶有分?jǐn)?shù)的候選框，分?jǐn)?shù)表示該候選框是否是目標(biāo)的概率；reg層有4k個(gè)輸出，表示候選框中心錨點(diǎn)坐標(biāo)和候選框的寬高。滑動(dòng)窗的形式也使得cls層、reg層關(guān)聯(lián)了所有卷積特征映射。

對(duì)于cls層輸出的候選框，有一些框間重疊度較高，因此采用非極大值抑制法（Non-maximum Suppression， NMS），設(shè)置重疊度（IoU）閾值為0.7，即舍棄重疊度大于0.7的候選框，最終每張圖像約剩下2000個(gè)候選框，在進(jìn)行目標(biāo)檢測(cè)時(shí)，僅檢測(cè)得分較高的前300個(gè)候選框，在進(jìn)行模型訓(xùn)練的時(shí)候則使用2000個(gè)候選框。這種方法對(duì)最后的目標(biāo)檢測(cè)精度沒(méi)有影響，但會(huì)大大降低候選框的數(shù)量，提高運(yùn)算速度。

三、絕緣子圖像識(shí)別

利用上述建立的目標(biāo)檢測(cè)網(wǎng)絡(luò)識(shí)別復(fù)雜背景下航拍圖像中的絕緣子，具體過(guò)程可以分為樣本采集及加注標(biāo)簽（用于模型訓(xùn)練）、CNN模型預(yù)訓(xùn)練、RPN網(wǎng)絡(luò)和Fast RCNN網(wǎng)絡(luò)聯(lián)合訓(xùn)練及針對(duì)輸出模型的測(cè)試。

1.樣本采集及標(biāo)定

在采集絕緣子圖像樣本工作中，重點(diǎn)考慮了絕緣子類型、圖像背景及多角度三個(gè)方面的數(shù)據(jù)多樣性[4]。絕緣子類型，考慮到不同類型絕緣子缺陷各有不同，在定位絕緣子位置的同時(shí)得到絕緣子類型對(duì)，可有效降低后續(xù)缺陷檢測(cè)的范圍，提高處理速度及檢測(cè)精度。從圖像分析角度將輸電線路常見(jiàn)的絕緣子分為瓷絕緣子、玻璃絕緣子和硅橡膠復(fù)合絕緣子三類[5]。圖像背景，考慮到輸電線無(wú)人機(jī)巡檢圖片中背景復(fù)雜度高的特點(diǎn)，采集的樣本圖片背景包含桿塔塔材、交跨線路、樹木、天空、房屋、山石、田地、公路等。不同背景下的樣本圖片如圖3所示。多角度，樣本中應(yīng)盡量覆蓋所有無(wú)人機(jī)巡檢中絕緣子串的可能拍攝角度，以提高絕緣子檢測(cè)識(shí)別的精度。最終樣本集包含三類絕緣子各1500張（一張圖片中可能包含多串絕緣子），共4500張圖片。將其中3600張作為訓(xùn)練樣本集，900張作為測(cè)試樣本集。

（a）土地背景樣本

（b）桿塔背景樣本

（c）樹木背景樣本

然后通過(guò)人工為每張樣本圖片加注目標(biāo)標(biāo)簽，生成與樣本圖片對(duì)應(yīng)的xml文件，文件中記錄了目標(biāo)名稱及目標(biāo)框體的頂點(diǎn)坐標(biāo)，用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及測(cè)試。

2.CNN模型預(yù)訓(xùn)練

本文所使用的數(shù)據(jù)集有限，僅依靠其對(duì)一個(gè)隨機(jī)初始化的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練用于提取圖像特征，難以保證效果，且速度緩慢。利用已有預(yù)訓(xùn)練模型結(jié)合任務(wù)數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)是一種在有限訓(xùn)練樣本集基礎(chǔ)上有效縮短神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間的方法。在絕緣子圖像識(shí)別任務(wù)中，神經(jīng)網(wǎng)絡(luò)僅需識(shí)別絕緣子，數(shù)據(jù)規(guī)模較小，使用前五層為卷積層，后三層全連接層的ZF網(wǎng)絡(luò)較為合適。所以本文采用基于ImageNet分類庫(kù)的ZF網(wǎng)絡(luò)預(yù)訓(xùn)練模型作為CNN網(wǎng)絡(luò)初始權(quán)重。

3.RPN網(wǎng)絡(luò)訓(xùn)練

在CNN模型預(yù)訓(xùn)練基礎(chǔ)上，繼續(xù)訓(xùn)練達(dá)到檢測(cè)絕緣子的目標(biāo)，精細(xì)調(diào)整RPN網(wǎng)絡(luò)參數(shù)。針對(duì)ZF網(wǎng)絡(luò)的第五層，即上文中提到的共享卷積層，采用3*3的滑窗在該層輸出的特征圖上進(jìn)行卷積運(yùn)算，獲得一個(gè)256維的特征向量，代表原始圖像中相對(duì)應(yīng)位置的特征。并且為每個(gè)滑動(dòng)窗口考慮9種區(qū)域建議：以滑動(dòng)窗口為中心，設(shè)定三種不同的尺度和三種不同的長(zhǎng)寬比。每一個(gè)位置的滑動(dòng)窗口產(chǎn)生9個(gè)絕緣子目標(biāo)候選框，使得候選框計(jì)算更加準(zhǔn)確，有利于后續(xù)的分類和絕緣子目標(biāo)框調(diào)整。

每個(gè)絕緣子候選框均輸出到兩個(gè)全連接層，即cls層和reg層。cls層用于分類，針對(duì)4個(gè)標(biāo)簽（背景、玻璃絕緣子、復(fù)合絕緣子、瓷絕緣子）給出置信度得分。最終每張圖像得到約2000個(gè)帶有得分的絕緣子目標(biāo)候選框，其中得分較高的300個(gè)絕緣子目標(biāo)候選框用于絕緣子分類訓(xùn)練。reg層用于絕緣子位置的框定，輸出框體頂點(diǎn)坐標(biāo)，訓(xùn)練則采用全部2000個(gè)絕緣子目標(biāo)候選框以提高檢測(cè)精度。

4.RPN網(wǎng)絡(luò)和Fast RCNN網(wǎng)絡(luò)聯(lián)合訓(xùn)練

將RPN網(wǎng)絡(luò)提取的絕緣子目標(biāo)候選框映射到Fast R-CNN的最后一層卷積特征圖上，并通過(guò)RoI pooling層使每一個(gè)絕緣子目標(biāo)候選框生成（16+4+1）*256固定尺寸的特征圖后，利用Softmax Loss（探測(cè)分類概率）和Smooth L1 Loss（探測(cè)邊框回歸）對(duì)分類概率和邊框回歸（Bounding box regression）聯(lián)合訓(xùn)練。

5.輸出檢測(cè)結(jié)果

完成模型訓(xùn)練之后，以原始圖像作為共享卷積網(wǎng)絡(luò)層的輸入，提取共享特征圖。由區(qū)域建議網(wǎng)絡(luò)RPN生成目標(biāo)候選框，保留得分較高的前300個(gè)框。通過(guò)Faster R-CNN網(wǎng)絡(luò)對(duì)300個(gè)框?qū)?yīng)特征圖進(jìn)行計(jì)算，即可得到絕緣子的檢測(cè)結(jié)果。

四、實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)用圖形工作站配置為CPU：Intel（R） Xeon（R） CPU E5-2620 v4 @ 2.10GHz 8核、顯卡Nvidia Quadro M4000 8G、內(nèi)存 8GB（2133MHz） * 4；系統(tǒng)Ubuntu 16.04 LTS，基于Caffe框架，CUDA版本8.0.44。

訓(xùn)練設(shè)定迭代次數(shù)為35000次，平均每次迭代耗時(shí)2.74s，共耗時(shí)26.6小時(shí)。對(duì)該模型進(jìn)行測(cè)試，根據(jù)VOC competition評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行測(cè)試，測(cè)試結(jié)果見(jiàn)表1。測(cè)試中平均每張測(cè)試圖片檢測(cè)時(shí)間為0.312ms，實(shí)驗(yàn)檢測(cè)結(jié)果如圖4所示。

（a）樹木背景

（b）公路背景

（c）土丘背景

由實(shí)驗(yàn)結(jié)果可以看出，基于RPN的Faster R-CNN模型具有非常高的檢測(cè)精確度，能夠在各種背景下準(zhǔn)確識(shí)別絕緣子，并定位出目標(biāo)區(qū)域。

五、結(jié)論

本文引入深度學(xué)習(xí)算法即基于RPN的Faster R-CNN算法，實(shí)現(xiàn)了在復(fù)雜背景下無(wú)人機(jī)巡檢圖像中自動(dòng)識(shí)別并定位絕緣子。主要結(jié)論如下：

1.無(wú)需人為設(shè)定絕緣子特征，通過(guò)足夠豐富的樣品訓(xùn)練后，基于RPN的Faster R-CNN算法可自動(dòng)實(shí)現(xiàn)絕緣子識(shí)別并定位；

2.利用基于RPN的Faster R-CNN算法檢測(cè)無(wú)人機(jī)巡檢圖像中的絕緣子，相對(duì)傳統(tǒng)目標(biāo)檢測(cè)方法能夠大大提高運(yùn)算速度及檢測(cè)精度；

3.利用目標(biāo)圖像匹配度可以檢測(cè)絕緣子的掉串、破損等缺陷，在基于RPN的Faster R-CNN算法基礎(chǔ)上，進(jìn)行更精細(xì)化計(jì)算，檢測(cè)絕緣子缺陷故障是下一步的研究重點(diǎn)。

參考文獻(xiàn)

[1]翟永杰，王迪，趙振兵等. 基于空域形態(tài)一致性特征的絕緣子串定位方法[J]. 中國(guó)電機(jī)工程學(xué)報(bào)，2017，37（05）：1568-1578.

[2]翟永杰，王迪，趙振兵. 基于目標(biāo)建議與結(jié)構(gòu)搜索的絕緣子識(shí)別方法[J]. 華北電力大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，43（04）：66-71+78.

[3]伍洋. 基于機(jī)器學(xué)習(xí)的航拍圖像絕緣子識(shí)別方法研究[D].華北電力大學(xué)，2016.

[4]王淼，杜毅，張忠瑞. 無(wú)人機(jī)輔助巡視及絕緣子缺陷圖像識(shí)別研究[J]. 電子測(cè)量與儀器學(xué)報(bào)，2015，29（12）：1862-1869.

[5]陽(yáng)武. 基于航拍圖像的絕緣子識(shí)別與狀態(tài)檢測(cè)方法研究[D]. 華北電力大學(xué)（北京），2016.

作者簡(jiǎn)介：盧勝標(biāo)，男，廣西電網(wǎng)有限責(zé)任公司玉林供電局，主要從事架空送電線路的生產(chǎn)運(yùn)行、維護(hù)檢修管理及無(wú)人機(jī)線路巡檢技術(shù)研究等工作。