基于注意力機(jī)制及滑窗檢測的電網(wǎng)散斷股識(shí)別算法

徐海青，浦正國，余江斌，白景坡

(1.安徽繼遠(yuǎn)軟件有限公司，安徽 合肥 230088； 2.國家電網(wǎng)信息通信產(chǎn)業(yè)集團(tuán) 信通研究院，北京 102211)

電力是社會(huì)發(fā)展不可或缺的重要能源，而輸電線路則是輸送電力最常見的基礎(chǔ)設(shè)施。由于輸電線路長期工作在室外環(huán)境，各種部件容易出現(xiàn)不同程度的破損，嚴(yán)重影響了電力系統(tǒng)的穩(wěn)定運(yùn)行。因此，輸電線路巡檢是一項(xiàng)日常且關(guān)鍵的工作。然而，輸電線路跨度大、分布廣、環(huán)境復(fù)雜，傳統(tǒng)的人工巡檢方式需要投入大量的人力物力且效率低下，尤其是主觀因素強(qiáng)、危險(xiǎn)系數(shù)高等問題亟待解決。隨著深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展應(yīng)用，利用無人機(jī)巡檢完成輸電線路缺陷識(shí)別已成為行業(yè)熱點(diǎn)。

目前，傳統(tǒng)的目標(biāo)檢測算法如Faster R-CNN[1]，應(yīng)用于輸電線路導(dǎo)地線散斷股缺陷識(shí)別場景效果不佳。主要存在以下缺陷：①輸入圖像的信噪比低。高質(zhì)量的輸入圖像一般具有高占比的目標(biāo)部分，從而幫助目標(biāo)檢測網(wǎng)絡(luò)充分提取目標(biāo)特征[2]。而導(dǎo)地線散斷股目標(biāo)非常細(xì)微，在標(biāo)注框中的占比很小，而背景圖像往往占了較大部分，導(dǎo)致輸入圖像的信噪比非常低，在一定程度上影響了模型訓(xùn)練的效果，如圖1所示。②高分辨率輸入圖像的目標(biāo)信息丟失。由于顯存容量有限，高分辨率的輸入圖像往往會(huì)受到網(wǎng)絡(luò)的限制，超出網(wǎng)絡(luò)規(guī)定閾值的圖像會(huì)按一定比例進(jìn)行縮放[3]。縮放雖然可以緩解硬件條件的限制，但圖像信息的減少一般會(huì)伴隨目標(biāo)信息的丟失。因?yàn)榧?xì)小目標(biāo)本身所占像素?cái)?shù)量很有限，隨著圖像整體的縮放，會(huì)導(dǎo)致其像素?cái)?shù)量進(jìn)一步減少，以至于難以被目標(biāo)檢測網(wǎng)絡(luò)提取、識(shí)別。輸入圖像信噪比低、高分辨率輸入圖像經(jīng)縮放后目標(biāo)信息丟失，都會(huì)嚴(yán)重降低輸入圖像的質(zhì)量，進(jìn)而影響目標(biāo)檢測模型的訓(xùn)練效果，為導(dǎo)地線散斷股缺陷識(shí)別率不高的關(guān)鍵原因之一。針對(duì)輸入圖像的質(zhì)量提升問題，目前常見的解決方案見表1。

圖1 散斷股圖像信噪比低Fig.1 Low signal-to-noise ratio of broken strand images

表1 輸入圖像質(zhì)量提升常見方案Tab.1 Common solutions for improving input image quality

本文將對(duì)傳統(tǒng)Faster R-CNN目標(biāo)檢測算法做以下改進(jìn)，提出一種基于注意力機(jī)制及滑窗檢測的散斷股識(shí)別算法，更為有效地提升輸入圖像質(zhì)量：①針對(duì)輸入圖像信噪比低的缺陷，通過引入注意力機(jī)制改善。指導(dǎo)網(wǎng)絡(luò)重點(diǎn)檢測輸入圖像中與散斷股目標(biāo)直接相關(guān)的部分。②針對(duì)高分辨率輸入圖像目標(biāo)信息丟失的缺陷，通過引入滑窗檢測機(jī)制解決。在不對(duì)高分辨率輸入圖像做任何縮放操作的前提下，以原圖的子圖作為輸入圖像，有效避免了目標(biāo)信息丟失的問題。

1 輸入圖像質(zhì)量提升

1.1 注意力機(jī)制

考慮到散斷股缺陷的信噪比較低，本文提出將深度學(xué)習(xí)中的注意力機(jī)制引入到Faster R-CNN中，指導(dǎo)網(wǎng)絡(luò)重點(diǎn)檢測輸入圖像中與散斷股目標(biāo)直接相關(guān)的部分，從而提升模型的訓(xùn)練效果和魯棒性。提取注意力信息并疊加在輸入圖像上，是注意力機(jī)制的關(guān)鍵環(huán)節(jié)。具體表現(xiàn)為：散斷股缺陷部分與無關(guān)背景部分的權(quán)重有明顯的落差。提取到的注意力信息作為“第4通道”疊加在輸入圖像的RGB三通道上，形成4通道的輸入圖像[7]。

由于輸入圖像通常僅為RGB三通道，故將Faster R-CNN特征提取網(wǎng)絡(luò)的輸入通道數(shù)修改為4，從而適配附加了注意力信息的4通道輸入圖像。同時(shí)，本文設(shè)定輸入圖像的第4通道不參與卷積運(yùn)算，故特征提取網(wǎng)絡(luò)中卷積核的第4通道參數(shù)均初始化為0。引入注意力機(jī)制后的Faster R-CNN目標(biāo)檢測基本流程如圖2所示。

圖2 引入注意力機(jī)制后的基本流程Fig.2 Basic process after introducingattention mechanism

本文采用RCF邊緣檢測網(wǎng)絡(luò)作為注意力網(wǎng)絡(luò)，即將語義分割[8]的結(jié)果作為提取到的注意力信息，具體表現(xiàn)為：散斷股缺陷部分灰度值低，無關(guān)背景部分灰度值高。因此，將注意力信息解釋為Alpha 透明度通道疊加在輸入圖像的RGB三通道后，可達(dá)到透明化無關(guān)背景部分、深化散斷股缺陷部分的效果。RCF的網(wǎng)絡(luò)結(jié)構(gòu)由VGG16演化而來，如圖3所示。

圖3 RCF基本結(jié)構(gòu)Fig.3 RCF basic structure

RCF經(jīng)過5個(gè)階段的卷積、池化操作，最終由1×1大小的卷積核合并結(jié)果，得出邊緣檢測的預(yù)測圖[9]。

RCF最終輸出的預(yù)測圖是一張與原圖大小一致的灰度圖，對(duì)于是散斷股缺陷部分可能性較大的區(qū)域賦予低灰度值，對(duì)于是無關(guān)背景部分可能性較大的區(qū)域賦予高灰度值。

1.2 滑窗檢測

1.2.1 算法流程

受卷積網(wǎng)絡(luò)的滑窗卷積方法啟發(fā)[10]，本文提出滑窗檢測算法。滑窗的運(yùn)動(dòng)路徑如圖4所示。

圖4 滑窗運(yùn)動(dòng)路徑Fig.4 Sliding window movement path

實(shí)線框表示滑動(dòng)窗口，尺寸由subsize表示。該窗口沿箭頭方向滑動(dòng)，滑動(dòng)步長由gap表示。如此循環(huán)往復(fù)，直到整張圖像掃描完畢。每次落入滑動(dòng)窗口內(nèi)的圖像作為原輸入圖像的子圖送入Faster R-CNN進(jìn)行目標(biāo)檢測。滑窗檢測算法的基本流程如圖5所示。

圖5 滑窗檢測算法流程Fig.5 Sliding window detection algorithm flow

考慮到在滑窗運(yùn)動(dòng)過程中，若子圖間的重疊程度不夠，可能會(huì)割裂目標(biāo)圖像，故設(shè)定滑動(dòng)步長gap取值為滑動(dòng)窗口大小subsize的一半，即子圖重疊率保持50%，以此確保至少有1張子圖完整包含了目標(biāo)及周邊信息。滑窗內(nèi)的子圖如圖6所示。

圖6 滑窗子圖Fig.6 Sliding window

子圖目標(biāo)檢測的結(jié)果還需要映射回原圖進(jìn)行融合[11]，以得出原圖目標(biāo)檢測的結(jié)果。考慮到子圖間存在一定程度的重疊，映射回原圖的檢測框如果直接進(jìn)行融合很可能會(huì)出現(xiàn)重疊的問題。因此，還需要通過非極大值抑制算法進(jìn)行處理。

1.2.2 非極大值抑制

子圖檢測框映射回原圖之后面臨的主要問題：①目標(biāo)區(qū)域有多個(gè)大小相近的檢測框重疊；②重疊部分來自目標(biāo)的不同區(qū)域，導(dǎo)致大框套小框的現(xiàn)象。如圖7所示，陰影部分表示目標(biāo)區(qū)域，由于每個(gè)子圖中都包含一部分目標(biāo)區(qū)域，故映射回原圖后若直接融合顯然會(huì)發(fā)生重疊。

圖7 檢測框重疊Fig.7 Detection frame overlap

針對(duì)問題①，采用傳統(tǒng)的非極大值抑制算法即可解決；針對(duì)問題②，本文對(duì)該算法做出了推廣，經(jīng)過證明，同時(shí)也可以解決問題①。

(1)傳統(tǒng)的非極大值抑制。傳統(tǒng)的非極大值抑制算法通過去除置信度低的檢測框達(dá)到除重的目的[12]，故檢測框的置信度及相對(duì)于輸入圖像的坐標(biāo)需要作為算法輸入。主要算法步驟：①按置信度排序檢測框構(gòu)建frame隊(duì)列，出隊(duì)得到置信度最高的檢測框max_frame；②計(jì)算frame中剩余檢測框相對(duì)于max_frame的IoU；③刪除frame中IoU超出規(guī)定閾值的檢測框，并將max_frame插入到best隊(duì)列中；④重復(fù)上述步驟，當(dāng)frame為空時(shí)，best中留下的檢測框即為除重結(jié)果。

IoU計(jì)算公式：

(1)

式中，public為對(duì)重疊檢測框的相交面積，X、Y為各自的面積。此外，本文將去重閾值設(shè)定為0.7。

(2)推廣的非極大值抑制。推廣的非極大值抑制算法改進(jìn)了IoU計(jì)算公式：

(2)

對(duì)比傳統(tǒng)的非極大值抑制算法，取一對(duì)重疊檢測框的面積較小者作為分母，分母差異對(duì)比如圖8所示。

圖8 分母差異對(duì)比Fig.8 Denominator difference comparison

下面證明推廣的非極大值抑制算法可全面取代傳統(tǒng)的非極大值抑制算法。因?yàn)椋簆ublic≤min(X，Y)，所以：X+Y≥public+min(X，Y)，移項(xiàng)：X+Y-public≥min(X，Y)，可見：IoU2≥IoU。故針對(duì)問題①而言，傳統(tǒng)非極大值抑制算法得到的解空間包含于推廣的非極大值抑制算法，即后者同樣可以解決問題①。

針對(duì)問題②，由于：public=min(X，Y)，所以：

(3)

故本文只需設(shè)定合理的去重閾值，推廣的非極大值抑制算法即可解決問題②。綜上，推廣的非極大值抑制算法針對(duì)問題①同樣有效，且能很好地解決傳統(tǒng)非極大值抑制算法無法應(yīng)對(duì)的問題②，因此可全面取代。

1.3 注意力機(jī)制與滑窗檢測的算法結(jié)合

注意力機(jī)制與滑窗檢測均有效提升了輸入圖像的質(zhì)量，故本文為進(jìn)一步改善散斷股缺陷的檢測效果，將2種算法進(jìn)行結(jié)合。結(jié)合后的算法流程如圖9所示。

圖9 注意力機(jī)制與滑窗檢測算法結(jié)合Fig.9 Combination of attention mechanism and sliding window detection algorithm

2 實(shí)驗(yàn)分析

為了驗(yàn)證注意力機(jī)制與滑窗檢測結(jié)合算法對(duì)散斷股缺陷目標(biāo)檢測效果的提升性，本文將數(shù)量有限的原始樣本經(jīng)過數(shù)據(jù)擴(kuò)充，設(shè)計(jì)實(shí)驗(yàn)進(jìn)行測試。

2.1 實(shí)驗(yàn)環(huán)境

配置清單見表2。

表2 配置清單Tab.2 Configuration list

2.2 實(shí)驗(yàn)數(shù)據(jù)

本文數(shù)據(jù)集來自輸電線路無人機(jī)巡檢拍攝圖像。其中，訓(xùn)練集由800張?jiān)紙D像構(gòu)成，經(jīng)±30°、±60°、±90°六種角度旋轉(zhuǎn)及水平翻轉(zhuǎn)后，擴(kuò)充為6 400張圖像用于模型訓(xùn)練，每張圖像都至少包含1處導(dǎo)地線散斷股缺陷。測試集由同期拍攝的300張?jiān)紙D像構(gòu)成，每張圖像可能包含一處或多處導(dǎo)地線散斷股缺陷，也可能不包含，共計(jì)285處缺陷待識(shí)別。

數(shù)據(jù)標(biāo)注時(shí)，為盡可能提升導(dǎo)地線散斷股缺陷樣本的信噪比，標(biāo)注框應(yīng)貼近缺陷目標(biāo)。正確標(biāo)注示例如圖10方框所示，錯(cuò)誤標(biāo)注示例如圖10所示。

圖10 散斷股缺陷標(biāo)注示例Fig.10 Example of defect marking of scattered stock

2.3 實(shí)驗(yàn)方案

進(jìn)行對(duì)比實(shí)驗(yàn)前，首先需要確定滑窗檢測中的滑窗大小subsize與滑動(dòng)步長gap。

gap實(shí)際上并非獨(dú)立參數(shù)，而是與subsize共同決定了檢測框的重疊比例。本文設(shè)定重疊比例為50%，故gap的取值應(yīng)為subsize的50%。迭代次數(shù)5 000次，學(xué)習(xí)率設(shè)定為0.000 1，實(shí)驗(yàn)結(jié)果見表3。實(shí)驗(yàn)結(jié)果表明，當(dāng)subsize取512時(shí)，雖然檢出數(shù)最多，但誤檢數(shù)也最多，二者不均衡。本文最終設(shè)定subsize取1 024，檢出數(shù)較多的同時(shí)誤檢數(shù)較少，相對(duì)穩(wěn)定，gap的相應(yīng)取值為512。因此，本文設(shè)定滑窗檢測中subsize取1 024，gap取512，注意力機(jī)制中IoU閾值取0.3，置信度閾值取0.01，迭代次數(shù)取5 000次，學(xué)習(xí)率取0.000 1，同“二值降噪法”、“二值占比法”、“權(quán)重迭代法”3種輸入圖像質(zhì)量提升算法進(jìn)行對(duì)比實(shí)驗(yàn)。主要比較檢出數(shù)、誤檢數(shù)。其中，“二值降噪法”將輸入圖像中可能是散斷股缺陷的部分與可能是無關(guān)背景的部分進(jìn)行二值化處理，產(chǎn)生的噪點(diǎn)先腐蝕后膨脹；“二值占比法”同理進(jìn)行二值化處理，直接輸入進(jìn)目標(biāo)檢測網(wǎng)絡(luò)，若檢測框內(nèi)灰度值為0的像素點(diǎn)占比高于設(shè)定的閾值，則認(rèn)為散斷股缺陷部分位于檢測框內(nèi)，即檢出，否則認(rèn)定為誤檢；“權(quán)重迭代法”將輸入圖像中可能是散斷股缺陷的部分乘以較大權(quán)重，可能是無關(guān)背景的部分乘以較小的權(quán)重。

表3 滑窗檢測參數(shù)取值實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of sliding window detection parameters

2.4 實(shí)驗(yàn)結(jié)果

輸入圖像質(zhì)量提升算法對(duì)比實(shí)驗(yàn)結(jié)果見表4。

表4 輸入圖像質(zhì)量提升算法對(duì)比實(shí)驗(yàn)結(jié)果Tab.4 Comparison of experimental results of input image quality improvement algorithms

實(shí)驗(yàn)結(jié)果表明，基于注意力機(jī)制及滑窗檢測的散斷股識(shí)別算法相較而言，更為有效地提升了輸入圖像的質(zhì)量，提高了目標(biāo)檢測模型的訓(xùn)練效果，識(shí)別能力更強(qiáng)。

3 結(jié)論

本文提出的注意力機(jī)制可指導(dǎo)Faster R-CNN將目標(biāo)檢測的重點(diǎn)聚焦于散斷股目標(biāo)，有效解決了散斷股目標(biāo)信噪比低的問題。滑窗檢測實(shí)現(xiàn)了高分辨率圖像以子圖形式輸入，避免了縮放處理帶來的目標(biāo)信息丟失問題，且針對(duì)于檢測框重疊問題提出了推廣的非極大值抑制算法。經(jīng)過結(jié)合最終得出基于注意力機(jī)制及滑窗檢測的散斷股識(shí)別算法，可顯著提升導(dǎo)地線散斷股缺陷識(shí)別率，對(duì)輸電線路智能巡檢具有一定的參考價(jià)值。