基于增強(qiáng)特征金字塔和可變形卷積的絕緣子缺陷檢測(cè)

張晶焯， 佘楚云， 伍國(guó)興， 肖黎， 賴振宇， 齊冬蓮

(1. 深圳供電局有限公司，深圳 518001；2. 浙江大學(xué)電氣工程學(xué)院，浙江 杭州 310027)

0 引言

絕緣子廣泛應(yīng)用于高壓架空輸電線路、發(fā)電廠和變電站等電力系統(tǒng)場(chǎng)景，起到母線和電氣設(shè)備絕緣及機(jī)械固定的作用[1—2]。絕緣子的功能完整是電網(wǎng)安全穩(wěn)定運(yùn)行的必要前提。然而，絕緣子大多安裝在室外，長(zhǎng)期暴露在自然環(huán)境下,容易產(chǎn)生局部破損、自爆缺失、懸掛異物等問(wèn)題[3—6]。常規(guī)巡檢中，一般通過(guò)人工目視判斷絕緣子是否異常，存在效率低、巡檢周期長(zhǎng)等問(wèn)題。視頻監(jiān)控系統(tǒng)、智能巡檢機(jī)器人和無(wú)人機(jī)巡檢等技術(shù)的發(fā)展使基于圖像處理的絕緣子缺陷檢測(cè)成為可能[7—10]。

基于圖像的絕緣子缺陷檢測(cè)算法一般由絕緣子定位和缺陷識(shí)別2部分組成。其中，絕緣子定位算法已得到廣泛研究[11—13]，并取得了不錯(cuò)的定位效果。現(xiàn)有的缺陷識(shí)別算法以識(shí)別絕緣子自爆缺失為主。例如，基于直方圖統(tǒng)計(jì)和空間序列關(guān)系的特征檢測(cè)算法[14]，基于缺陷圖像和標(biāo)準(zhǔn)圖像異或操作的缺陷定位算法[15]，基于輪廓和歐式距離的自爆缺陷檢測(cè)算法[16]等。但上述絕緣子定位算法需要人為設(shè)計(jì)圖像特征，對(duì)復(fù)雜背景的抗干擾性較差。而后續(xù)缺陷識(shí)別算法嚴(yán)重依賴于絕緣子輪廓提取或前景分割效果，無(wú)法應(yīng)對(duì)局部破損、裂紋等情況，且往往只適用于特定場(chǎng)景，難以快速地大規(guī)模應(yīng)用。

深度學(xué)習(xí)理論在計(jì)算機(jī)視覺(jué)領(lǐng)域的快速發(fā)展和廣泛應(yīng)用給絕緣子的缺陷識(shí)別提供了新的思路[17]。與傳統(tǒng)圖像處理技術(shù)相比，基于深度學(xué)習(xí)的算法不需要人為設(shè)計(jì)特征且具有更強(qiáng)的特征提取能力，可從大量圖像數(shù)據(jù)中自動(dòng)學(xué)習(xí)人類難以觀測(cè)的圖像特征，并同時(shí)適用于多類場(chǎng)景。以快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster regional convolution neural net works,Faster RCNN)、單次檢測(cè)網(wǎng)絡(luò)(you only look once,YOLO)、單發(fā)檢測(cè)器(single shot detector,SSD)為代表的檢測(cè)算法逐漸被應(yīng)用于絕緣子缺陷檢測(cè)中[18—21]，并取得了不錯(cuò)的表現(xiàn)。但是，上述算法一般只利用了最后一層或幾層特征用于絕緣子的定位和缺陷識(shí)別，缺少低層特征和高層特征之間的信息融合，在拍攝距離較遠(yuǎn)、缺陷區(qū)域較小等情況下效果不佳。此外，基于深度學(xué)習(xí)的檢測(cè)算法一般采用矩形框表示被檢測(cè)的物體位置，由于拍攝角度和絕緣子自身特點(diǎn)，矩形框內(nèi)絕緣子像素的比例較低，存在較大的背景干擾，不利于特征提取。

針對(duì)上述問(wèn)題，文中提出一種基于增強(qiáng)特征金字塔和可變形卷積的絕緣子缺陷識(shí)別方法：在網(wǎng)絡(luò)結(jié)構(gòu)上，以已有特征金字塔網(wǎng)絡(luò)(feature pyramid network,FPN)[22]為基礎(chǔ)，增加增強(qiáng)的自底而上的路徑，實(shí)現(xiàn)不同維度、不同路徑特征的充分融合，提高小目標(biāo)檢測(cè)精度；在特征提取上，采用可變形卷積網(wǎng)格(deformable convolutional networks,DCN)[23]代替普通卷積，通過(guò)自適應(yīng)改變采樣點(diǎn)，增大模型感受野，降低背景的干擾。最后，利用多場(chǎng)景采集的多類絕緣子圖片對(duì)該方法進(jìn)行效果驗(yàn)證，并將實(shí)驗(yàn)結(jié)果與采用已有方法得到的結(jié)果進(jìn)行對(duì)比分析，表明使用該方法可明顯地提升性能。

1 增強(qiáng)特征金字塔

1.1 自底而上的路徑

經(jīng)典的檢測(cè)網(wǎng)絡(luò)一般采用直筒型的特征提取模式，從輸入圖片到最后一層特征圖，通過(guò)步長(zhǎng)為2的卷積或池化操作，逐步降低特征圖的分辨率大小，形成自底而上的路徑，即特征金字塔。低層的特征圖空間分辨率較大，具有更精確的位置信息，但提取的圖像語(yǔ)義信息較弱，噪聲干擾更多；而高層的特征圖經(jīng)過(guò)更多的卷積操作，具有更強(qiáng)的語(yǔ)義信息，但空間分辨率較小，位置信息逐漸丟失，不利于精確定位。文中定義所有寬高為1/2k原圖大小的特征圖中的最后一層為Ck，得到由{C2,C3,C4,C5}組成的自底而上的路徑，如圖1所示。其中，Ck與Ck+1之間一般由多個(gè)卷積(conv)、激活函數(shù)(ReLu等)和批歸一化層(BN)等組成，由選取的基礎(chǔ)網(wǎng)絡(luò)的具體結(jié)構(gòu)確定。

圖1 增強(qiáng)特征金字塔結(jié)構(gòu)Fig.1 Structure of enhanced feature pyramid

1.2 自頂而下的路徑

結(jié)合上述低層特征和高層特征的優(yōu)點(diǎn)，F(xiàn)PN網(wǎng)絡(luò)[15]在原有的自底而上路徑的基礎(chǔ)上，增加一個(gè)自頂而下的路徑，實(shí)現(xiàn)高低層特征融合。首先，直接對(duì)C5進(jìn)行1×1卷積操作得到P5；接著，對(duì)高層的特征圖Pk+1進(jìn)行步長(zhǎng)為2的最近鄰上采樣，產(chǎn)生與Ck相同分辨率的特征圖，其具有更強(qiáng)的語(yǔ)義信息，有助于分類任務(wù)；對(duì)低層的特征圖Ck進(jìn)行1×1的卷積操作，產(chǎn)生與Pk+1相同通道數(shù)的特征圖，其具有更精確的位置信息，有助于坐標(biāo)回歸任務(wù)；最后，將這2個(gè)新的特征圖進(jìn)行逐像素相加，得到特征圖Pk。考慮計(jì)算效率，最終得到由{P3,P4,P5}組成的自頂而下的路徑。

1.3 增強(qiáng)的自底而上的路徑

上述自頂而下的路徑使得低層的特征圖在保持原有位置信息的同時(shí)，能夠獲取更強(qiáng)的語(yǔ)義信息，從而提升模型對(duì)小目標(biāo)物體的檢測(cè)性能。但是，這種自頂而下的路徑一般經(jīng)過(guò)幾十甚至上百個(gè)卷積層操作，不利于信息傳遞和訓(xùn)練時(shí)的梯度回傳。因此，增加一個(gè)增強(qiáng)的自底而上的路徑，縮短信息流動(dòng)的路徑，同時(shí)將低層準(zhǔn)確的位置信息進(jìn)一步融入到新的特征圖中，進(jìn)一步加強(qiáng)對(duì)小目標(biāo)物體的檢測(cè)，提升模型整體性能。

具體來(lái)說(shuō)，P3直接用于后續(xù)預(yù)測(cè)，即L3。接著，對(duì)低層的特征圖Lk-1進(jìn)行步長(zhǎng)為2的下采樣，產(chǎn)生與Pk相同分辨率的特征圖；對(duì)高層的特征圖Pk進(jìn)行1×1的卷積操作，產(chǎn)生與Lk-1通道數(shù)相同的特征圖；然后將2個(gè)新的特征圖進(jìn)行逐像素相加，得到特征圖Lk，用于最終的預(yù)測(cè)。最終得到由{L3,L4,L5}組成的增強(qiáng)的自底而上的路徑。

2 可變形卷積

絕緣子長(zhǎng)條狀的外形特點(diǎn)和多變的拍攝角度使得常規(guī)的矩形框表示形式下，絕緣子有效信息的像素比例較低，特征提取過(guò)程受到較大的背景干擾，如圖2(a)，(b)所示。因此采用可變形卷積代替常規(guī)卷積，增強(qiáng)模型的特征提取能力，幾種卷積方式見(jiàn)圖2(c)—(e)。

圖2 可變形卷積Fig.2 Illustration of deformable convolutions

一般情況下，卷積神經(jīng)網(wǎng)絡(luò)采用普通卷積操作，如圖2(c)所示(以3×3卷積為例)。普通卷積以滑動(dòng)窗口的形式在輸入特征圖x上的規(guī)則網(wǎng)格G內(nèi)進(jìn)行采樣操作，例如：G={(-1,-1),(-1,0),…,(0,1),(1,1)}，代表步長(zhǎng)為1的3×3卷積的采樣網(wǎng)格。

輸出特征圖y上的每個(gè)位置l0計(jì)算如下 ：

(1)

式中：ln為第n個(gè)點(diǎn)的采樣偏移量；x(·)為特征圖對(duì)應(yīng)位置的值；w(·)為卷積核對(duì)應(yīng)位置的權(quán)重。

對(duì)于可變形卷積，采樣網(wǎng)格G中的每個(gè)點(diǎn)增加偏移量{Δln|n=1,…,N},N=|G|，則式(1)修改為：

(2)

通過(guò)自適應(yīng)學(xué)習(xí)上述偏移量，模型可以根據(jù)輸入樣本中絕緣子的形態(tài)，動(dòng)態(tài)調(diào)整采樣點(diǎn)的位置，間接增大了模型的感受野。

由于每個(gè)點(diǎn)的偏移量一般是小數(shù)，因此須采用雙線性插值計(jì)算得到每個(gè)浮點(diǎn)坐標(biāo)的像素值。顯然，普通卷積和空洞卷積是可變形卷積的特例，而可變形卷積往往具有更強(qiáng)的特征提取能力。

3 整體方案設(shè)計(jì)

3.1 基礎(chǔ)網(wǎng)絡(luò)

選取ResNet[24]殘差網(wǎng)絡(luò)作為絕緣子缺陷檢測(cè)模型的基礎(chǔ)網(wǎng)絡(luò)，其特點(diǎn)是采用跳躍連接的結(jié)構(gòu)，解決了網(wǎng)絡(luò)太深導(dǎo)致的模型退化問(wèn)題。同時(shí)上述結(jié)構(gòu)有利于訓(xùn)練過(guò)程中的梯度反向傳播，在圖像分類、目標(biāo)檢測(cè)等計(jì)算機(jī)視覺(jué)基礎(chǔ)任務(wù)中得到廣泛應(yīng)用。考慮算法推理速度和識(shí)別性能，分別選取ResNet-18和ResNet-101作為基礎(chǔ)網(wǎng)絡(luò)。

3.2 頭部預(yù)測(cè)結(jié)構(gòu)

分別選取Faster RCNN和YOLOv3 2類不同的頭部預(yù)測(cè)結(jié)構(gòu)，如圖3所示。其中，F(xiàn)aster RCNN采用兩階段檢測(cè)思路，借助區(qū)域推薦網(wǎng)絡(luò)(region proposal network,RPN)篩除大量無(wú)用的候選框，實(shí)現(xiàn)稀疏預(yù)測(cè)；YOLOv3采用一階段檢測(cè)，直接在多個(gè)特征圖上設(shè)置密集的錨框，借助密集預(yù)測(cè)達(dá)到與Faster RCNN相當(dāng)?shù)男阅堋?/p>

圖3 頭部預(yù)測(cè)結(jié)構(gòu)Fig.3 Structure of head prediction

3.3 算法整體流程

文中提出的基于增強(qiáng)特征金字塔和可變形卷積的絕緣子缺陷識(shí)別算法的整體流程如圖4所示。

圖4 整體流程Fig.4 Overall process

3.4 絕緣子缺陷數(shù)據(jù)集

采集的絕緣子圖像覆蓋變電站、鐵路接觸網(wǎng)、高壓輸電線等多個(gè)場(chǎng)景，包含瓷絕緣子、玻璃絕緣子等多種類型。采用人工標(biāo)注的方法對(duì)收集到的絕緣子圖片進(jìn)行處理。

由于帶缺陷的絕緣子圖片數(shù)量遠(yuǎn)少于正常絕緣子，文中采用一系列數(shù)據(jù)增強(qiáng)操作進(jìn)行正樣本擴(kuò)充，包括：隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)、“復(fù)制-粘貼”策略、隨機(jī)裁剪、“擦除”策略等。此外，為增強(qiáng)模型的泛化能力，在訓(xùn)練過(guò)程中加入隨機(jī)噪聲、隨機(jī)光照和對(duì)比度等操作。最后，得到共5 560張絕緣子缺陷圖片，按照2∶1∶1的比例，劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

4 實(shí)驗(yàn)結(jié)果

首先在公開(kāi)的COCO數(shù)據(jù)集上對(duì)搭建的模型進(jìn)行預(yù)訓(xùn)練，然后用預(yù)訓(xùn)練好的模型權(quán)重初始化絕緣子缺陷檢測(cè)模型，再用制作好的訓(xùn)練集進(jìn)行訓(xùn)練，并在驗(yàn)證集上評(píng)估對(duì)比不同模型的性能。文中所有實(shí)驗(yàn)均采用隨機(jī)梯度下降法訓(xùn)練絕緣子缺陷檢測(cè)模型，初始學(xué)習(xí)率0.005，迭代次數(shù)40 000次，在第30 000次和第35 000次時(shí)學(xué)習(xí)率降為原來(lái)的1/10。

采用平均精確率(average percision,AP)來(lái)評(píng)價(jià)模型性能的優(yōu)劣。在固定交并比(intersection over uni on,IoU)閾值下，計(jì)算不同召回率下的平均準(zhǔn)確率。AP值越大，檢測(cè)精度越高。

(3)

(4)

(5)

式中：NTP為缺陷絕緣子被正確檢測(cè)到的個(gè)數(shù)；NFP為正常絕緣子被錯(cuò)誤預(yù)測(cè)為缺陷絕緣子的個(gè)數(shù)；NFN為缺陷絕緣子未被檢測(cè)到的個(gè)數(shù)；N為測(cè)試集中所有圖片的個(gè)數(shù)；P(k)為在能識(shí)別出k個(gè)圖片的時(shí)候P的值； Δr(k)為識(shí)別圖片個(gè)數(shù)從k-1變化到k時(shí)R值的變化情況。。

4.1 對(duì)比分析

不同模型結(jié)構(gòu)在驗(yàn)證集上計(jì)算得到AP值，其結(jié)果如表1和表2所示(“√”代表使用該模塊)。可以看出，增強(qiáng)的自底而上的路徑對(duì)模型的性能提升明顯，且隨著基礎(chǔ)網(wǎng)絡(luò)特征提取能力的增強(qiáng)而增強(qiáng)(ResNet-18：+0.045，ResNet-101：+0.063)。加入可變形卷積分別得到0.032和0.018的提升。增強(qiáng)特征金字塔結(jié)構(gòu)和可變形卷積能夠兼容，并取得最佳性能(ResNet-18:由0.537提升至0.604,+12.4%, ResNet-101:由0.583提升至0.691,+18.5%)。兩階段的頭部預(yù)測(cè)結(jié)構(gòu)的性能整體上要優(yōu)于一階段(ResNet-18：兩階段為0.604，一階段為0.589；ResNet-101:兩階段為0.691，一階段為0.670)。

表1 ResNet-18對(duì)比實(shí)驗(yàn)結(jié)果Table 1 Comparison results based on ResNet-18

表2 ResNet-101對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Comparison results based on ResNet-101

4.2 實(shí)例驗(yàn)證

將最終訓(xùn)練得到的基于增強(qiáng)特征金字塔和可變形卷積的絕緣子缺陷檢測(cè)模型在測(cè)試集上驗(yàn)證實(shí)際效果，如圖5所示。紅色橢圓部分為缺陷區(qū)域，“jyz_zc”代表絕緣子正常，“jyz_yc”代表檢測(cè)到絕緣子缺陷，數(shù)字代表檢測(cè)結(jié)果的置信度分?jǐn)?shù)。其中，(a)為巡檢機(jī)器人仰視拍攝的玻璃絕緣子缺失圖片結(jié)果；(b)為巡檢機(jī)器人仰視拍攝的豎立陶瓷絕緣子裂紋圖片結(jié)果；(c)為鐵路巡檢車夜間拍攝的絕緣子局部破損圖片結(jié)果；(d)為工作人員手機(jī)拍攝的豎立絕緣子破損圖片結(jié)果。可以看出，模型能夠在不同拍攝角度、不同背景情況下，識(shí)別不同類型的絕緣子并定位缺陷絕緣子，包括自爆缺失、裂紋、局部破損等常見(jiàn)缺陷類型，體現(xiàn)了深度學(xué)習(xí)模型強(qiáng)大的泛化能力。

圖5 不同場(chǎng)景下的檢測(cè)結(jié)果Fig.5 Test results of different scenarios

5 結(jié)語(yǔ)

針對(duì)絕緣子局部破損、裂紋等小目標(biāo)檢測(cè)情況，提出一種基于增強(qiáng)特征金字塔和可變形卷積的絕緣子缺陷檢測(cè)方法，并在多場(chǎng)景采集的圖像中對(duì)文中提出的改進(jìn)方法進(jìn)行了對(duì)比分析和實(shí)例驗(yàn)證。最終實(shí)驗(yàn)結(jié)果表明，該方法能夠顯著提高缺陷區(qū)域較小情況下的檢測(cè)精度，同時(shí)可以根據(jù)實(shí)際任務(wù)要求，自由選擇合適的基礎(chǔ)網(wǎng)絡(luò)、頭部預(yù)測(cè)結(jié)構(gòu)。此外，該方法適用于變電站、高壓輸電線等各類絕緣子應(yīng)用場(chǎng)景，具有較好的通用性。后續(xù)將在模型部署方面進(jìn)行進(jìn)一步優(yōu)化，在保持檢測(cè)精度的同時(shí)，降低模型對(duì)GPU等硬件資源的要求，降低部署難度和應(yīng)用成本。