基于輕量級(jí)SSD 的電力設(shè)備銹蝕目標(biāo)檢測(cè)①

吳之昊, 熊衛(wèi)華, 任嘉鋒, 姜 明

1(浙江理工大學(xué) 機(jī)械與自動(dòng)控制學(xué)院, 杭州 310018)

2(杭州電子科技大學(xué) 計(jì)算機(jī)學(xué)院, 杭州 310018)

1 前言

電力設(shè)備維護(hù)作為電力系統(tǒng)運(yùn)行中非常重要的一部分, 對(duì)整個(gè)電網(wǎng)的安全運(yùn)行起到關(guān)鍵的作用.其中,部分電力設(shè)備例如架空輸電線路和箱式變壓器一般架設(shè)在在室外, 受到風(fēng)吹日曬的金屬部件極有可能產(chǎn)生銹蝕, 而架設(shè)于輸電隧道的輸電電纜由于潮濕、多塵、密閉的環(huán)境也很有可能產(chǎn)生銹蝕, 從而威脅電力設(shè)備的正常運(yùn)行, 危害整個(gè)電力系統(tǒng)的安全, 因此需要有效的對(duì)電力設(shè)備銹蝕故障進(jìn)行識(shí)別和檢測(cè).

目前, 電力設(shè)備的維護(hù)檢查一般通過(guò)人工巡檢的方式完成, 由于架空線路和輸電隧道架設(shè)的特殊性, 線路巡查通常會(huì)對(duì)工人的生命安全造成一定的威脅.隨著無(wú)人機(jī)和監(jiān)控?cái)z像頭的大量使用, 通過(guò)圖像識(shí)別技術(shù)代替人工進(jìn)行安全檢查已經(jīng)成為目前較為有效的線路巡檢方案[1].文獻(xiàn)[2,3]等針對(duì)銹蝕故障的顏色特征,分別通過(guò)HSI 空間和RGB 模型進(jìn)行銹蝕區(qū)域的識(shí)別分割和檢測(cè).

隨著深度學(xué)習(xí)的日益發(fā)展, 以基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法在很多層面上都超越了傳統(tǒng)數(shù)字圖像處理方法.在銹蝕故障檢測(cè)方面, 也有很多學(xué)者對(duì)基于深度學(xué)習(xí)的識(shí)別方法進(jìn)行了研究.李輝等[4]將HIS 模型和深度學(xué)習(xí)進(jìn)行了結(jié)合, 為電力輸電線路銹蝕故障檢測(cè)提出了新思路.Nash W 等[5]則進(jìn)一步對(duì)銹蝕場(chǎng)景進(jìn)行了分割和提取, 但檢測(cè)結(jié)果未達(dá)到預(yù)期.周自強(qiáng)等[6]則引入了遷移學(xué)習(xí)來(lái)解決小數(shù)據(jù)樣本的問(wèn)題, 也提高了一定的檢測(cè)效果.

目前的目標(biāo)檢測(cè)算法依賴于大型卷積神經(jīng)網(wǎng)絡(luò),算法模型一般存在參數(shù)量過(guò)大、檢測(cè)速度過(guò)慢等問(wèn)題,不能滿足電力設(shè)備故障檢測(cè)的實(shí)時(shí)響應(yīng)要求.因此本文在已取得較好目標(biāo)檢測(cè)效果的SSD[7]算法的基礎(chǔ)上,結(jié)合MobileNet[8]系列網(wǎng)絡(luò)結(jié)構(gòu)提出一種輕量級(jí)的電力設(shè)備銹蝕目標(biāo)檢測(cè)算法.同時(shí)引入了基于注意力機(jī)制的上采樣策略和多尺度特征融合方法在壓縮模型的同時(shí)維持較高的檢測(cè)精度.

2 理論基礎(chǔ)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法從R-CNN[9]提出后就成為了目前主流的目標(biāo)檢測(cè)算法, 并發(fā)展出了Fast R-CNN[10], Faster R-CNN[11]等two-stage 算法和SSD,YOLO[12]等one-stage 算法.其中, one-stage 算法通過(guò)將分類與回歸問(wèn)題進(jìn)行統(tǒng)一可以在只經(jīng)過(guò)單次檢測(cè)就能得到最終的檢測(cè)結(jié)果, 擁有更快的檢測(cè)速度, 因此更適合在工業(yè)現(xiàn)場(chǎng)和機(jī)器人系統(tǒng)中進(jìn)行應(yīng)用.

2.1 SSD 目標(biāo)檢測(cè)算法

SSD (Single Shot MultiBox Detector)目標(biāo)檢測(cè)算法是2016 年Liu W 等提出的一種one-stage 的深度學(xué)習(xí)的目標(biāo)檢測(cè)算法[7], 并添加了多尺度檢測(cè)的方式提高不同尺度下的目標(biāo)檢測(cè)能力.SSD 目標(biāo)識(shí)別算法采用VGG-16 作為特征提取網(wǎng)絡(luò), 去除了末端的2 個(gè)全連接層, 改用3 個(gè)卷積層進(jìn)一步提取特征, 同時(shí)減小特征圖的尺寸.為了提高對(duì)尺度變化較大的目標(biāo)的泛化能力,SSD 使用了6 個(gè)不同尺度的特征圖進(jìn)行檢測(cè).而在預(yù)選框(prior box)生成策略上, SSD 借鑒了Faster R-CNN的anchor 策略, 在不同尺度的特征圖上分別生成4 至6 個(gè)不同大小和不同長(zhǎng)寬比的anchor 框作為邊框回歸的預(yù)選框, 非常好的適應(yīng)了不同長(zhǎng)寬比的目標(biāo)物體, 有效的提高了檢測(cè)的效果.圖1 為標(biāo)準(zhǔn)SSD 的算法結(jié)構(gòu)圖.

圖1 SSD 的算法結(jié)構(gòu)

2.2 注意力機(jī)制

注意力機(jī)制(attention)的本質(zhì)來(lái)自于人類只根據(jù)需求觀察特定部分的視覺(jué)機(jī)制.2014 年Google DeepMind團(tuán)隊(duì)提出了循環(huán)注意力模型[13], 將Attention 機(jī)制引入RNN 用于圖像分類并取得了良好的效果.2018 年, Hu J 等提出了SENet[14], 通過(guò)在通道間添加注意力機(jī)制來(lái)標(biāo)定不同通道的重要程度, 然后依靠添加不同的權(quán)重去提升高效特征并抑制低效特征.

SENet 通過(guò)Squeeze 和Excitation 兩個(gè)操作對(duì)每個(gè)同通道的相互依賴關(guān)系進(jìn)行建模.其中Squeeze 操作是進(jìn)行了一個(gè)全局池化, 相當(dāng)于采用了全局感受野來(lái)令其具有全局信息特征.隨后Excitation 操作通過(guò)全連接層和Sigmoid 函數(shù)來(lái)表征每個(gè)特征通道的相關(guān)性.最后通過(guò)Reweight 操作將輸出的權(quán)重通過(guò)逐點(diǎn)相乘加權(quán)到先前的特征上, 令原始特征得以重標(biāo)定.注意力機(jī)制的算法結(jié)構(gòu)如圖2 所示.

圖2 注意力機(jī)制的算法結(jié)構(gòu)

3 本文方法

本文提出的基于輕量級(jí)SSD 的電力設(shè)備銹蝕目標(biāo)檢測(cè)算法在標(biāo)準(zhǔn)SSD 的基礎(chǔ)上結(jié)合MobileNet 的深度可分離卷積進(jìn)行輕量化操作, 同時(shí)為保證檢測(cè)精度不受影響, 利用注意力機(jī)制和concat 方式對(duì)多尺度特征進(jìn)行融合.完整算法結(jié)構(gòu)如圖3 所示.

3.1 基于深度可分離卷積的特征提取網(wǎng)絡(luò)

標(biāo)準(zhǔn)SSD 采用擴(kuò)展的VGG-16 網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò), VGG-16 采用的是密集連接的標(biāo)準(zhǔn)卷積方式.而深度可分離卷積是MobileNet 的基本組成塊, 利用了分解卷積的方法對(duì)過(guò)參數(shù)化的標(biāo)準(zhǔn)卷積進(jìn)行壓縮.首先采用1×1 大小的卷積核先對(duì)每一個(gè)通道進(jìn)行卷積操作, 再使用3×3 大小的卷積核進(jìn)行通道間的信息交流.通過(guò)將標(biāo)準(zhǔn)卷積中的乘法分解為加法的方式在不損失精度的情況下有效的減少大量參數(shù).同時(shí)將激活函數(shù)由ReLU 更換為性能更加優(yōu)越的h-swish 函數(shù).圖4為標(biāo)準(zhǔn)卷積和深度可分離卷積的結(jié)構(gòu)對(duì)比圖.

圖3 基于輕量級(jí)SSD 的電力設(shè)備銹蝕目標(biāo)檢測(cè)算法結(jié)構(gòu)

圖4 標(biāo)準(zhǔn)卷積和深度可分離卷積的結(jié)構(gòu)對(duì)比

3.2 基于注意力機(jī)制的上采樣策略

標(biāo)準(zhǔn)SSD 目標(biāo)檢測(cè)算法為了提升小目標(biāo)的檢測(cè)效果使用了多尺度的特征進(jìn)行同時(shí)檢測(cè), 但是由于沒(méi)有做到特征的融合, 導(dǎo)致小目標(biāo)檢測(cè)中并不能達(dá)到很好的預(yù)期效果.同時(shí), 雖然使用深度可分離卷積可以大量的減少參數(shù)量, 但是由于失去了大部分可調(diào)參數(shù), 在一定程度上犧牲了檢測(cè)精度.因此本文采用了多尺度融合思想, 將標(biāo)準(zhǔn)SSD 中單獨(dú)檢測(cè)的多尺度特征進(jìn)行上采樣融合.在融合策略上, 由于FPN[15]使用的Elementwise add 特征融合方式對(duì)單通道特征圖的特征相似度要求較高, 但是經(jīng)過(guò)上采樣的高層特征圖未必可以做到內(nèi)容匹配.而concat 特征組合方式則更加注重不同通道內(nèi)的特征信息, 同時(shí)再利用一個(gè)注意力模型對(duì)組合特征進(jìn)行相關(guān)性標(biāo)定, 以此可以選擇更具有價(jià)值的特征信息.但是由于采用concat 的方式, 所以通道數(shù)增加了一倍, 因此采用一個(gè)卷積層將其通道降為原先的一半,同時(shí)起到特征融合的作用.基于注意力機(jī)制的上采樣策略結(jié)構(gòu)如圖5 所示.

圖6(a)圖為待檢測(cè)的原圖, 其銹蝕目標(biāo)部分為的防火門控制箱的外殼, 圖6(b)圖為獲得的原始特征圖,圖6(c)圖為采用Elementwise add 方式進(jìn)行融合后的特征圖, 圖6(d)圖為本文特征融合方法進(jìn)行融合后的特征圖, 可以看到本文方法可以有效的抑制低能特征,提取高能特征, 從而提高檢測(cè)效果.

圖5 基于注意力機(jī)制的上采樣策略

圖6 Elementwise add 與本文方法產(chǎn)生的特征圖

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

由于利用目標(biāo)檢測(cè)技術(shù)對(duì)電力設(shè)備進(jìn)行故障檢測(cè)仍處于發(fā)展階段, 目前暫無(wú)公開(kāi)的數(shù)據(jù)集用于電力設(shè)備銹蝕的目標(biāo)檢測(cè)目, 因此本文就已有的電力設(shè)備銹蝕圖像提出RustDetection 數(shù)據(jù)集, 該數(shù)據(jù)集圖片由架空輸電線路、電纜隧道、電表電箱等多種電力設(shè)備銹蝕故障圖片組成, 通過(guò)實(shí)地采集、網(wǎng)絡(luò)獲取等多種方式, 結(jié)合數(shù)據(jù)增加方法最終采用了600 張銹蝕圖片作為訓(xùn)練集, 200 張作為測(cè)試集, 并通過(guò)LabelImg 標(biāo)注軟件對(duì)銹蝕區(qū)域進(jìn)行標(biāo)定, 按照VOC2012 數(shù)據(jù)集的格式進(jìn)行處理, 圖7 為標(biāo)簽標(biāo)定的效果.

圖7 RustDetection 數(shù)據(jù)集

由于本文提出的銹蝕檢測(cè)的數(shù)據(jù)集樣本量不大,若直接使用該數(shù)據(jù)集進(jìn)行訓(xùn)練會(huì)導(dǎo)致網(wǎng)絡(luò)不能很快的收斂, 最終的檢測(cè)效果也不好.因此本文先利用包含共21 類的17 125 張圖片的VOC2012 通用公共數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練, 再采用遷移學(xué)習(xí)的方法, 對(duì)本文提出的RustDetection 數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練.

4.2 實(shí)驗(yàn)過(guò)程

在訓(xùn)練階段, 輸入的圖像首先經(jīng)過(guò)縮放將輸入大小變?yōu)?00×300×3 的RGB 圖像, 并對(duì)其作歸一化處理后進(jìn)行訓(xùn)練, 訓(xùn)練階段在NVIDIA GTX 1080Ti GPU 上進(jìn)行.

網(wǎng)絡(luò)訓(xùn)練采用遷移學(xué)習(xí), 首先將搭建好的網(wǎng)絡(luò)模型在VOC2012 數(shù)據(jù)集上進(jìn)行300 輪訓(xùn)練, 并已經(jīng)在該數(shù)據(jù)集上擁有較好的檢測(cè)效果后移除多分類子網(wǎng)絡(luò)部分結(jié)構(gòu), 添加二分類子網(wǎng)絡(luò), 該二分類子網(wǎng)絡(luò)由6 個(gè)卷積層構(gòu)成, 分別用于6 個(gè)尺度下的目標(biāo)預(yù)測(cè), 對(duì)該部分的參數(shù)采用Kaiming 初始化方法進(jìn)行初始化, 相比較隨機(jī)初始化而言, 該種參數(shù)初始化方法可以有效的避免激活函數(shù)的輸出值趨向于0, 從而保證網(wǎng)絡(luò)的訓(xùn)練可以順利進(jìn)行.隨后將完整的算法模型在本文提出的RustDetection 數(shù)據(jù)集上同樣采用階段性學(xué)習(xí)率的方式進(jìn)行訓(xùn)練, 即在訓(xùn)練初始階段采用大學(xué)習(xí)率, 在后期調(diào)整為小學(xué)習(xí)率, 這樣可以加速模型收斂, 加快訓(xùn)練速度.

在測(cè)試和驗(yàn)證階段, 目標(biāo)圖像首先通過(guò)已經(jīng)訓(xùn)練好的算法模型, 整個(gè)模型最后輸出11 620 個(gè)候選框信息, 每個(gè)候選框包括2 個(gè)分類值(銹蝕、背景)和4 個(gè)坐標(biāo)值(候選框的中心點(diǎn)坐標(biāo)和長(zhǎng)寬), 隨后過(guò)濾掉所有被識(shí)別為背景的候選框, 對(duì)剩下的目標(biāo)候選框進(jìn)行非極大值抑制, 最后選出IOU 最大的候選框作為目標(biāo)框, 完成銹蝕目標(biāo)的識(shí)別.

4.3 實(shí)驗(yàn)結(jié)果分析

具體的檢測(cè)結(jié)果如圖8 所示, 其中圖8(a)為電纜隧道內(nèi)的防火門控制箱銹蝕目標(biāo)檢測(cè)結(jié)果, 圖8(b)為檢修電源箱的銹蝕目標(biāo)檢測(cè)結(jié)果, 圖8(c)為輸電線路的銹蝕目標(biāo)檢測(cè)結(jié)果, 圖8(d)為電表箱的銹蝕目標(biāo)檢測(cè)結(jié)果.銹蝕區(qū)域由彩色框進(jìn)行標(biāo)注, 左上角為該區(qū)域的分類標(biāo)簽.

為了進(jìn)一步的驗(yàn)證本文提出算法在模型體量、檢測(cè)速度和檢測(cè)精度上的優(yōu)勢(shì), 本文將分別采用VGG-16 和ResNet-50 為主干網(wǎng)絡(luò)的標(biāo)準(zhǔn)SSD 模型和本文提出基于注意力上采樣策略的輕量級(jí)SSD 模型進(jìn)行對(duì)比.本文的判別標(biāo)準(zhǔn)主要由準(zhǔn)確率(Precision), 召回率(Recall)和AP 值(Average Precision)組成, 其中準(zhǔn)確率和召回率的計(jì)算如式(1), 式(2)所示:

式中, TP 表示正樣本判定正確的個(gè)數(shù), FP 數(shù)值表示正樣本判定錯(cuò)誤的個(gè)數(shù), FN 數(shù)值表示負(fù)樣本判定錯(cuò)誤的個(gè)數(shù).而AP 值的計(jì)算采用VOC2007 的11-Point方法進(jìn)行計(jì)算, 11-Point 方法是結(jié)合Recall 為 [0, 0.1, 0.2,0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0], 分別找到這11 個(gè)點(diǎn)下的最大精度值x, 隨后按照式(3)計(jì)算平均精度:

表1 為不同的算法模型在本文RustDetection 數(shù)據(jù)集下的檢測(cè)效果對(duì)比.

圖8 銹蝕目標(biāo)檢測(cè)結(jié)果

表1 不同網(wǎng)絡(luò)模型的檢測(cè)效果對(duì)比(%)

由表1 可見(jiàn), 若只采用輕量級(jí)的MobileNet 結(jié)構(gòu)對(duì)SSD 模型進(jìn)行輕量化處理, 其檢測(cè)效果會(huì)因?yàn)閰?shù)損失而變差, 而本文方法由于添加了上采樣和特征融合模塊, 可以做到有效的提升檢測(cè)效果, 甚至超越了原標(biāo)準(zhǔn)SSD 算法.不同算法結(jié)構(gòu)的模型參數(shù)量、權(quán)重大小和在Intel Core i5-7200U CPU 上的檢測(cè)時(shí)間對(duì)比如表2 所示.

表2 不同模型大小對(duì)比

綜上所述, 本文方法相較于只采用輕量級(jí)的Mobile-Net 的SSD 模型在上采樣網(wǎng)絡(luò)上擴(kuò)張了網(wǎng)絡(luò)結(jié)構(gòu), 增加了53.4%的參數(shù)量, 但是相比較擁有龐大參數(shù)量的以VGG-16 為主干網(wǎng)絡(luò)的標(biāo)準(zhǔn)SSD 模型在參數(shù)量減少63.6%, 速度提升46.7%的情況下提升10.47%的準(zhǔn)確度和5.99%的平均精度, 相比較以ResNet-50 為主干網(wǎng)絡(luò)的標(biāo)準(zhǔn)SSD 也可以做到在參數(shù)量減少66%的情況下, 提升2.98%的準(zhǔn)確度和0.43%的平均精度.

5 結(jié)論與展望

本文提出了一種基于輕量級(jí)SSD 目標(biāo)檢測(cè)模型的電力設(shè)備銹蝕目標(biāo)檢測(cè)方法, 該方法針對(duì)目標(biāo)檢測(cè)模型參數(shù)量巨大, 設(shè)備計(jì)算能力要求高等特點(diǎn), 提出了一種輕量級(jí)的SSD 目標(biāo)檢測(cè)模型, 并采用了一種基于注意力模型的上采樣策略對(duì)輕量化后的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化, 彌補(bǔ)了由于減少參數(shù)帶來(lái)的精度損失.本文提出的模型可以做到在大幅削減參數(shù)量的同時(shí)保證96.96%的檢測(cè)準(zhǔn)確度和71.35%的平均精度, 同時(shí)檢測(cè)時(shí)間僅為980 ms, 若設(shè)備允許可以使用GPU 加速,檢測(cè)時(shí)間僅需240 ms, 可以滿足電力系統(tǒng)安全監(jiān)控的現(xiàn)實(shí)需求.本文的進(jìn)一步工作為將網(wǎng)絡(luò)模型移植和加載進(jìn)入終端設(shè)備, 做到工業(yè)現(xiàn)場(chǎng)的實(shí)時(shí)監(jiān)測(cè).