基于改進(jìn)CenterNet網(wǎng)絡(luò)的絕緣子檢測方法

孫 晗，鄒寬勝

(江蘇師范大學(xué) 電氣工程及自動化學(xué)院，江蘇 徐州 221116)

0 引 言

絕緣子是電力系統(tǒng)中最為重要的基礎(chǔ)設(shè)施之一，它能夠保證傳輸線和變電站能夠安全穩(wěn)定的運(yùn)行[1]。而絕緣子主要暴露在自然環(huán)境惡劣的野外場景下工作，這樣導(dǎo)致其非常容易發(fā)生自爆、污損等缺陷[2]，進(jìn)而影響到整個電力系統(tǒng)的安全和穩(wěn)定，導(dǎo)致產(chǎn)生一定的社會經(jīng)濟(jì)損失及安全隱患。因此，定期對絕緣子的工作狀態(tài)及故障情況進(jìn)行巡檢，對確保電力系統(tǒng)的穩(wěn)定運(yùn)行具有重要意義。而其中的首要問題是對絕緣子進(jìn)行精準(zhǔn)的檢測及識別。

人工巡檢絕緣子的效率非常低，且野外巡檢具有一定的危險性，最終獲取的檢測結(jié)果也不是很精確，難以滿足絕緣子日趨增長的監(jiān)控需求。當(dāng)前無人機(jī)技術(shù)的不斷發(fā)展為電力巡檢帶來新的可能[3]，但仍需手動去判別巡檢絕緣子圖片。人工判別的局限性有以下兩點(diǎn)：首先，為了避免絕緣子誤判或者漏判，就需要檢測人員具有豐富的經(jīng)驗(yàn)。其次，手動去判別大量的絕緣子航拍圖片，不僅速度慢、效率低，而且需耗費(fèi)高額的成本。隨著電網(wǎng)智能巡檢興起[4]，以及圖像處理與深度學(xué)習(xí)技術(shù)的飛躍發(fā)展，將深度學(xué)習(xí)技術(shù)[5]與無人機(jī)技術(shù)相結(jié)合應(yīng)用到絕緣子的智能檢測中成為了一種新的方向。

與傳統(tǒng)基于圖像處理的絕緣子檢測方法相比，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法可以以較高的效率自動提取圖像特征，能夠極大提升絕緣子檢測的效率和準(zhǔn)確度。因此，基于深度學(xué)習(xí)方法的絕緣子檢測引起了相關(guān)學(xué)者們的廣泛關(guān)注。文獻(xiàn)[6]通過生成更貼近絕緣子長寬比例的Anchor(先驗(yàn)框)以及對非極大值抑制(Non-Maximum Suppression，NMS)進(jìn)行改進(jìn)，初步解決了不同縱橫比和尺度的絕緣子識別問題和絕緣子相互遮擋問題。文獻(xiàn)[7]通過特征融合以及擴(kuò)大小尺度特征圖的辦法增強(qiáng)了深度學(xué)習(xí)網(wǎng)絡(luò)對絕緣子語義信息的提取能力。文獻(xiàn)[8]通過使用正則化來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)以此來提高模型的檢測速度，提升了電力巡檢圖像多目標(biāo)檢測的精度和速度。文獻(xiàn)[9]使用YOLOv3算法對絕緣子串進(jìn)行定位和異常識別，使用Focal Loss和均衡交叉熵函數(shù)作為損失函數(shù)，并且使用多階段遷移的學(xué)習(xí)方法來訓(xùn)練模型，得到了比較高的檢測精度。文獻(xiàn)[10]將FPN網(wǎng)絡(luò)加入到Faster-RCNN算法中提升小目標(biāo)絕緣子的特征提取能力，并通過圖像信號處理的方法實(shí)現(xiàn)絕緣子的故障檢測，可以準(zhǔn)確檢測出玻璃絕緣子和復(fù)合絕緣子的裂紋和串落故障。文獻(xiàn)[11]提出一種級聯(lián)型的CNN網(wǎng)絡(luò)對絕緣子進(jìn)行缺陷檢測，首先使用數(shù)據(jù)增強(qiáng)方法將絕緣子與復(fù)雜背景進(jìn)行融合擴(kuò)增缺陷絕緣子數(shù)據(jù)集，然后通過RPN網(wǎng)絡(luò)對絕緣子進(jìn)行定位并將此區(qū)域剪裁出來，最后通過DNN網(wǎng)絡(luò)對剪裁區(qū)域進(jìn)行缺陷定位。文獻(xiàn)[12]以無先驗(yàn)框的網(wǎng)絡(luò)CenterNet為基礎(chǔ)模型，通過使用輕量級網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，并引入注意力機(jī)制以及借鑒FPN特征融合，可以實(shí)時高效的對絕緣子缺陷部位進(jìn)行檢測。文獻(xiàn)[13]通過深層特征融合網(wǎng)絡(luò)與SE模塊的結(jié)合，并且融入可變形卷積，能夠在網(wǎng)絡(luò)架構(gòu)層面更好地融合不同層次的特征信息，能夠?qū)旊娋€路進(jìn)行實(shí)時高效地檢測。

從以上文獻(xiàn)可以看出，目前大多數(shù)絕緣子檢測所選擇的算法如Faster-RCNN[14]、SSD[15]、YOLOV3[16]等都需要事先設(shè)置好Anchor(先驗(yàn)框)，所以這些算法對于Anchor的數(shù)量以及尺寸大小等都非常敏感，導(dǎo)致大量超參數(shù)設(shè)置的好壞都會直接影響到檢測性能。而在網(wǎng)絡(luò)的訓(xùn)練中，檢測網(wǎng)絡(luò)中需要計算生成的全部Anchor與真實(shí)框的交并比(Intersection Over Union，IOU)，這樣的方式會使得計算量變得非常大，從而需要占用計算機(jī)極大的算力，并最終導(dǎo)致檢測目標(biāo)的速度變慢。

為了提升絕緣子檢測速度與提高檢測精度，該文以Anchor-free類算法CenterNet[17]網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行改進(jìn)。通過更深層的特征提取網(wǎng)絡(luò)與金字塔池化模塊PPM(Pyramid Pooling Module，PPM)[18]，增強(qiáng)在復(fù)雜背景下對絕緣子的特征提取能力。實(shí)驗(yàn)表明，改進(jìn)后的網(wǎng)絡(luò)能夠滿足對航拍絕緣子的實(shí)時檢測要求。

1 CenterNet檢測算法

CenterNet算法通過預(yù)測目標(biāo)的中心點(diǎn)進(jìn)而實(shí)現(xiàn)對目標(biāo)的檢測，即用預(yù)測的中心點(diǎn)來代表檢測目標(biāo)，隨后通過回歸得到目標(biāo)中心點(diǎn)的偏移量以及目標(biāo)框的寬和高，最終實(shí)現(xiàn)對目標(biāo)的識別。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

CenterNet網(wǎng)絡(luò)模型簡圖如圖1所示。檢測過程具體如下：

圖1 CenterNet網(wǎng)絡(luò)模型簡圖

(1)圖片輸入網(wǎng)絡(luò)前會放縮到統(tǒng)一的大小尺寸方便網(wǎng)絡(luò)進(jìn)行檢測；

(2)放縮過后的圖片首先經(jīng)過特征提取網(wǎng)絡(luò)對圖片進(jìn)行初步地特征提取并生成一張?zhí)卣鲌D；

(3)初始特征圖會通過三次反卷積的操作進(jìn)行上采樣處理，得到最終的高分辨率特征圖；

(4)高分辨率特征圖通過3個3×3的卷積得到三個分支，分別是Heat Map表示是否有物體以及物體種類、Offsizes表示中心點(diǎn)的偏移量、Sizes表示每一個物體的寬高信息；

(5)根據(jù)三個分支信息輸出目標(biāo)檢測結(jié)果。

1.2 損失函數(shù)

CenterNet最后檢測出的結(jié)果主要由三個部分，也就是3個3×3的卷積得到的三個分支決定，所以最終的損失函數(shù)由三個部分組成：物體中心點(diǎn)的損失函數(shù)Lh、中心點(diǎn)偏置損失函數(shù)Loff以及物體長寬損失函數(shù)Lsize。

物體中心點(diǎn)損失函數(shù)Lh是在Focal Loss函數(shù)的基礎(chǔ)上改進(jìn)而來，其計算公式如式1所示：

Lh=

(1)

中心點(diǎn)偏置損失函數(shù)Loff采用L1 Loss函數(shù)，計算公式如式2所示：

物體長寬損失函數(shù)Lsize也采用了L1 Loss函數(shù)，具體計算公式如式3所示：

(3)

總的損失函數(shù)由此3個損失函數(shù)乘上對應(yīng)的系數(shù)并進(jìn)行相加得到，具體計算公式如式4所示：

Lt=Lh+λsizeLsize+λoffLoff

(λsize=0.1,λoff=1)

(4)

2 改進(jìn)CenterNet網(wǎng)絡(luò)模型

該文在原始CenterNet網(wǎng)絡(luò)模型的基礎(chǔ)上進(jìn)行改進(jìn)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。首先對輸入的航拍絕緣子圖像進(jìn)行不失真地放縮，之后通過Resnet50網(wǎng)絡(luò)對絕緣子進(jìn)行初步的特征提取，初步提取出的特征圖再經(jīng)過金字塔池化模塊PPM，接著得到的特征圖會經(jīng)過三次反卷積進(jìn)行上采樣操作得到最終特征圖，最后通過3個3×3的卷積得到最終的預(yù)測結(jié)果。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 圖像預(yù)處理

在對航拍絕緣子圖像進(jìn)行放縮的時候,需要保證原始絕緣子圖像長和寬的尺寸比例保持不變，這樣可以達(dá)到放縮后圖片不會失真。但無人機(jī)航拍獲取的絕緣子數(shù)據(jù)集無法保證每個圖像都能滿足長寬比例相等。為了實(shí)現(xiàn)圖片放縮后不失真的效果，在圖片周圍添加0進(jìn)行填充。

2.2 主干網(wǎng)絡(luò)

航拍絕緣子圖像大多都處于湖泊、田地、山丘、樹林等復(fù)雜的背景環(huán)境中。對于主干網(wǎng)絡(luò)而言，過淺的網(wǎng)絡(luò)不能夠很好地從復(fù)雜的背景中有效提取絕緣子的特征，而過深的網(wǎng)絡(luò)則會增加過多的參數(shù)從而影響整個模型的檢測速度。為了能夠平衡檢測精度與檢測速度，該文選擇適中的Resnet50網(wǎng)絡(luò)作為改進(jìn)方法的主干網(wǎng)絡(luò)。

主干網(wǎng)絡(luò)Resnet50的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其中s代表卷積步長(stride)，圖中()中的數(shù)字分別代表卷積后的長度、寬度、通道數(shù)，Conv Block和Identity Block是網(wǎng)絡(luò)中兩個基本的塊，整個網(wǎng)絡(luò)分為5個階段，分別為Stage1-5。

圖3 Resnet50網(wǎng)絡(luò)結(jié)構(gòu)

首先輸入進(jìn)來的圖片會進(jìn)入第一階段Stage1，包含卷積核大小為7×7、步長為2、通道數(shù)為64的卷積層，BatchNorm歸一化層，Relu激活函數(shù)以及池化核大小為3×3、步長為2的最大池化層。最終輸出圖片為256×256×64。Stage2-5都是由Conv Block和Identity Block所構(gòu)成。

Conv Block的結(jié)構(gòu)分為兩個部分，具體如圖4所示。左側(cè)為主干部分，輸入經(jīng)過3次卷積，前兩次卷積會經(jīng)過BatchNorm層和Relu層，最后一次卷積只經(jīng)過BatchNorm層；右邊為殘差邊，輸入進(jìn)行一次卷積并經(jīng)過BatchNorm層。兩部分輸出的結(jié)果進(jìn)行相加并經(jīng)過Relu層后作為下一階段的最終輸出。Conv Block輸入輸出的維度是不相同的，目的就是為了改變網(wǎng)絡(luò)的維度。

圖4 Conv Block結(jié)構(gòu)

Identity Block的結(jié)構(gòu)也分為兩個部分，具體如圖5所示。左側(cè)與Conv Block一樣為主干部分，輸入經(jīng)過3次卷積，前兩次卷積會經(jīng)過BatchNorm層和Relu層，最后一次卷積只經(jīng)過BatchNorm層；右邊為殘差邊。與Conv Block不同的是，輸入并不會進(jìn)行卷積，而是直接與左側(cè)的輸出進(jìn)行相加，并經(jīng)過Relu層后作為下一階段的最終輸出。因?yàn)槭侵苯酉嗉樱訧dentity Block輸入和輸出的維度需要保持一致，目的是對網(wǎng)絡(luò)進(jìn)行加深。

圖5 Identity Block結(jié)構(gòu)

后四個階段每一個階段的第一層都是Conv Block，通過Conv Block后特征圖的高和寬不變，通道數(shù)乘2以改變網(wǎng)絡(luò)維度；后面幾層都由Identity Block構(gòu)成，通過Identity Block后特征圖的高、寬、通道數(shù)都不變僅僅加深了網(wǎng)絡(luò)的深度。經(jīng)過Stage1-5后最終得到的初步特征圖為16×16×2 048。

2.3 金字塔池化模塊(Pyramid Pooling Module)

在絕緣子檢測過程中，經(jīng)常會出現(xiàn)漏判的情況，這是因?yàn)榫W(wǎng)絡(luò)僅僅依靠簡單地特征提取而不能充分利用全局的上下文信息來判別目標(biāo)物體。為了解決這個問題，該文在主干網(wǎng)絡(luò)后引入了一個金字塔池化模塊PPM，此模塊可以融合不同尺度和不同子區(qū)域的上下文信息，從而更好地獲取全局上下文信息，最終得到更加可靠的預(yù)測結(jié)果。

PPM主要是把不同金字塔尺度的特征信息進(jìn)行融合，結(jié)構(gòu)如圖6所示[18]。經(jīng)過Resnet50網(wǎng)絡(luò)提取出的初步特征圖作為PPM的輸入。該模塊采用了四種不同金字塔尺度，每層池化尺寸為1×1、2×2、3×3、6×6。第一層是對整個特征圖進(jìn)行的全局池化，下面3層會將特征圖分割成不同的子區(qū)域，每個子區(qū)域會各自在內(nèi)部進(jìn)行池化操作。每一層通過池化會得到包含不同尺度特征的特征圖，接著會對得到的特征圖進(jìn)行一次卷積操作，卷積核大小為1×1，目的是將得到的特征圖進(jìn)行降維，通道數(shù)減少到原始特征圖的1/N，N表示金字塔層數(shù)。然后通過雙線性插值的方法，將得到的特征圖的通道維度上采樣到與原輸入特征圖相同。最后將這些特征圖與原始特征圖進(jìn)行通道拼接，得到最終的全局特征。

圖6 PPM結(jié)構(gòu)

該模塊通過池化和融合的方式，能夠聚合不同區(qū)域的上下文信息，從而提高獲取全局信息的能力，進(jìn)而減少絕緣子檢測時的漏檢與誤檢情況，提高檢測精度。

3 實(shí)驗(yàn)過程與結(jié)果分析

實(shí)驗(yàn)的訓(xùn)練工作站軟硬件具體環(huán)境參數(shù)如下： 操作系統(tǒng)：Win10，CPU：Intel Core i7 - 10750H，GPU：NVIDIA GeForce GTX 1660 Ti，內(nèi)存：16 GB，加速框架：CUDA10.0，IDE：Pycharm社區(qū)版，深度學(xué)習(xí)框架：Pytorch。

3.1 數(shù)據(jù)集

采用已公開的中國電力線絕緣子數(shù)據(jù)集，其中包括有無人機(jī)在高空拍攝到的600張正常絕緣子圖像。

為了解決航拍絕緣子圖像不足導(dǎo)致網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過擬合問題，對圖片進(jìn)行數(shù)據(jù)增強(qiáng)處理。主要包括圖像旋轉(zhuǎn)、隨機(jī)剪裁、添加高斯噪聲、改變色溫等，將數(shù)據(jù)集擴(kuò)增至1 600張。使用LabelImg工具對數(shù)據(jù)集中所有圖片進(jìn)行標(biāo)注，并且將標(biāo)注文件與數(shù)據(jù)集中的圖片整理成PASCAL VOC2007的數(shù)據(jù)集格式，并且按照9∶1的比例隨機(jī)劃分成訓(xùn)練集和測試集。

3.2 參數(shù)設(shè)置

為了提高網(wǎng)絡(luò)訓(xùn)練的效率，本次實(shí)驗(yàn)將采取凍結(jié)與解凍的訓(xùn)練方式。由于主干特征提取網(wǎng)絡(luò)提取出的特征是通用的，為了加快訓(xùn)練速度，將主干網(wǎng)絡(luò)進(jìn)行凍結(jié)訓(xùn)練。由于模型的主干部分進(jìn)行了凍結(jié)，特征提取的網(wǎng)絡(luò)部分不會發(fā)生變化，因此所占用的內(nèi)存很小，所以在凍結(jié)訓(xùn)練中Batch Size(單次傳遞給程序用以訓(xùn)練的參數(shù)個數(shù))設(shè)置為8。在解凍訓(xùn)練階段，模型的主干部分不被凍結(jié)，特征提取的網(wǎng)絡(luò)部分發(fā)生了變化，因此所占用的內(nèi)存會變大，所以在解凍訓(xùn)練中Batch Size設(shè)置為4。凍結(jié)訓(xùn)練進(jìn)行50個Epoch(輪)，解凍訓(xùn)練進(jìn)行250個Epoch，總共300個Epoch。本次實(shí)驗(yàn)中的網(wǎng)絡(luò)優(yōu)化器選擇Adam優(yōu)化器，凍結(jié)訓(xùn)練階段學(xué)習(xí)率設(shè)置為0.001，解凍訓(xùn)練階段學(xué)習(xí)率設(shè)置為0.000 1。

3.3 評價指標(biāo)

為了全面客觀地評價此模型的性能，將從檢測精度、漏檢情況、檢測速度3方面進(jìn)行評估。使用平均精度(Average Precision，AP)、召回率(Recall，R)、每秒傳輸幀數(shù)(Frames Per Second, FPS)作為此模型的評價指標(biāo)。具體計算公式如下所示。

(5)

(6)

(7)

式中，TP代表本身為正樣本且被正確識別為正樣本的樣本量，F(xiàn)P代表本身為負(fù)樣本卻被誤識別為正樣本的樣本量，F(xiàn)N代表本身為正樣本卻被誤識別為負(fù)樣本的樣本量。

3.4 實(shí)驗(yàn)結(jié)果與分析

3.4.1 與原網(wǎng)絡(luò)模型對比

該文涉及的原網(wǎng)絡(luò)模型以Resnet18-Centernet為基礎(chǔ)框架，與改進(jìn)網(wǎng)絡(luò)模型進(jìn)行對比。實(shí)驗(yàn)結(jié)果如表1所示。在主干網(wǎng)絡(luò)部分使用Resnet50網(wǎng)絡(luò)替換Resnet18網(wǎng)絡(luò)后，AP值提升了9.47百分點(diǎn)，Recall值提升了24.38百分點(diǎn), FPS僅僅降低了2.46 f/s，說明在主干網(wǎng)絡(luò)層數(shù)過淺時，模型對絕緣子特征的提取能力不足，在替換為深度更深的Resnet50網(wǎng)絡(luò)后特征提取能力大幅加強(qiáng)，能夠以極小的速度損失提高絕緣子的檢測準(zhǔn)確性。但Recall值僅為77.38%，說明絕緣子漏檢的情況依然大量存在。在以Resnet50作為主干網(wǎng)絡(luò)的基礎(chǔ)上添加了PPM金字塔池化模塊，與Resnet50-CenterNet相比，AP值與Recall值分別提高了6.87百分點(diǎn)，11.68百分點(diǎn)，而FPS僅僅降低了0.18 f/s。證明了再添加了金字塔池化模塊PPM后，網(wǎng)絡(luò)模型能夠充分利用全局上下文信息在幾乎不損失檢測速度的情況下提高絕緣子檢測精度，并且Recall值達(dá)到89.06%，絕緣子漏檢的情況大大降低。

表1 實(shí)驗(yàn)結(jié)果

總改進(jìn)模型與Resnet18-CenterNet相比較，在滿足實(shí)時性檢測的情況下，AP值和Recall值分別提升了16.34百分點(diǎn)與36.06百分點(diǎn)。

3.4.2 與不同網(wǎng)絡(luò)模型對比

為進(jìn)一步驗(yàn)證提出算法的檢測性能，在同一實(shí)驗(yàn)環(huán)境下使用相同的數(shù)據(jù)集，與絕緣子檢測常用的SSD、Faster-RCNN、YOLOV3、YOLOV4、YOLOV4-tiny、YOLOX這6種網(wǎng)絡(luò)模型進(jìn)行對比分析。其中Faster-RCNN是two-stage兩階段檢測算法的代表性網(wǎng)絡(luò)，SSD、YOLO系列則是one-stage一階段檢測算法的代表網(wǎng)絡(luò)，YOLOX同樣是無先驗(yàn)框的設(shè)計，對比實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同算法實(shí)驗(yàn)結(jié)果

與Faster-RCNN相比較，改進(jìn)后的CenterNet精確度提升了2.52百分點(diǎn)。Faster-RCNN是兩階段目標(biāo)檢測算法，會進(jìn)行兩次檢測過程，與文中模型相比，網(wǎng)絡(luò)模型比較復(fù)雜，導(dǎo)致檢測速度非常慢， FPS只有8.33 f/s，比文中模型低了45.05 f/s，滿足不了實(shí)時檢測的要求。

SSD、YOLO系列單階段目標(biāo)檢測模型與文中模型相比，還是存在著先驗(yàn)框的束縛，在檢測精度、召回率與檢測速度上文中模型都取得領(lǐng)先。

與輕量化網(wǎng)絡(luò)YOLOV4-tiny相比，文中模型檢測精度上升了22.3百分點(diǎn)，召回率上升了26.83百分點(diǎn)，檢測速度降低了17.62 f/s。

與同樣是無先驗(yàn)框設(shè)計的YOLOX相比，文中模型檢測精度提高了5.54百分點(diǎn)，召回率提高了6.44百分點(diǎn)。文中模型在檢測速度僅降低5.95 f/s的情況下，檢測精度和漏檢率方面都有更好的表現(xiàn)。

通過對比實(shí)驗(yàn)，從檢測精度、漏檢情況、檢測速度三個方面綜合考慮，文中模型更加適合航拍絕緣子檢測。

3.5 檢測結(jié)果可視化

圖7為檢測效果展示，在農(nóng)田、建筑河流、池塘樹木、湖泊等復(fù)雜背景下，該模型仍舊可以很好地檢測出絕緣子。

圖7 檢測效果

4 結(jié)束語

該文提出一種基于Anchor-free的絕緣子檢測算法，以CenterNet網(wǎng)絡(luò)模型為基礎(chǔ)，通過加深網(wǎng)絡(luò)來提升絕緣子特征的提取能力；通過金字塔池化模塊，利用全局的上下文信息進(jìn)一步提升檢測精度并且大幅降低了絕緣子漏檢的情況；通過數(shù)據(jù)增強(qiáng)技術(shù)完善了實(shí)驗(yàn)數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的CenterNet網(wǎng)絡(luò)模型具有較好的性能指標(biāo)，能夠滿足對絕緣子實(shí)時檢測的要求。下一步將根據(jù)此基礎(chǔ)進(jìn)行改進(jìn)，實(shí)現(xiàn)對絕緣子缺陷區(qū)域的定位。