基于Faster R-CNN和U-net改進(jìn)的 混合模型絕緣子故障檢測(cè)

胡 祥，李英娜

（1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500；2.云南電網(wǎng)有限責(zé)任公司研究生工作站，云南 昆明 650217）

0 引 言

絕緣子廣泛用于高壓輸電線路中，并在電絕緣和導(dǎo)體結(jié)合方面發(fā)揮重要作用。絕緣子故障（如玻璃絕緣子自爆）會(huì)對(duì)電力系統(tǒng)構(gòu)成嚴(yán)重威脅，因?yàn)樗赡軙?huì)導(dǎo)致級(jí)聯(lián)故障。在極高電壓條件下定期手動(dòng)啟動(dòng)絕緣子存在很大的安全風(fēng)險(xiǎn)。然而，傳輸線上部署有數(shù)千個(gè)絕緣子，這些絕緣子通常距離較遠(yuǎn)且海拔較高。常見的絕緣子安裝方法是捕獲航拍圖像，由直升機(jī)或無人飛行器（Unmanned Aerial Vehicle，UAV）安裝絕緣子。隨著技術(shù)的進(jìn)步，巨大的航拍圖越來越容易獲得，因此迫切需要一種精確、實(shí)時(shí)的絕緣子定位方法。一般來說，絕緣子定位存在以下影響因素：一是復(fù)雜的背景，航空影像的背景通常包括森林，河流，農(nóng)田等各種場(chǎng)景；二是動(dòng)態(tài)視圖更改，有時(shí)相機(jī)可能無法對(duì)焦；三是低信噪比（Signal-Noise Ratio，SNR），與整個(gè)圖像相比，相當(dāng)多的像素包含損壞的絕緣體信息，在某些極端情況下，很難通過人眼識(shí)別來定位折斷位置。

傳統(tǒng)的絕緣子識(shí)別方法有利用目標(biāo)顏色特征進(jìn)行閾值分割的識(shí)別法[1]和基于輪廓特征的定位方法[2]等。但上述方法要求人工提取目標(biāo)特征，且根據(jù)目標(biāo)場(chǎng)景差異設(shè)計(jì)有區(qū)分度的特征，防止由于主觀因素的干擾出現(xiàn)漏檢和誤檢等情形，識(shí)別準(zhǔn)確率相對(duì)不高。

與傳統(tǒng)方法相比，深度學(xué)習(xí)在計(jì)算機(jī)視覺方面大放異彩，在過去十年中取得了矚目的成績(jī)。Hinton等人提出的關(guān)于AlexNet[3]的建議再一次把深度學(xué)習(xí)的浪潮推到了頂端。隨著新網(wǎng)絡(luò)架構(gòu)（如VGG[4]）的發(fā)明，InceptionNet[5]和ResNet[6]深度學(xué)習(xí)在各個(gè)級(jí)別的圖像分類比賽中的效果遠(yuǎn)超過傳統(tǒng)方法。Ren等人提出的Faster R-CNN[7]方法能夠完成端到端的高效訓(xùn)練且實(shí)時(shí)獲取目標(biāo)檢測(cè)數(shù)據(jù)。文獻(xiàn)[8]利用Faster R-CNN框架對(duì)絕緣子進(jìn)行識(shí)別，在定位方面取得了較傳統(tǒng)方法稍好的識(shí)別效果，但在小物體檢測(cè)和速度方面效果一般。此外，全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）由文獻(xiàn)[9]產(chǎn)生的像素到像素分割精度十分優(yōu)秀，改善且革新了以前語義分割中的最佳結(jié)果。最近，在絕緣子檢測(cè)和狀態(tài)分類方面，國(guó)內(nèi)外已經(jīng)進(jìn)行了很多工作。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）能夠從圖像中自動(dòng)提取表達(dá)能力更強(qiáng)的特征[10]，減少識(shí)別時(shí)間，提高分類和識(shí)別的準(zhǔn)確率，文獻(xiàn)[11]在絕緣子定位中引入了CNN。文獻(xiàn)[12]在R-FCN模型的基礎(chǔ)上引入ASDN層，將絕緣子識(shí)別的平均準(zhǔn)確率由77.27%提升至84.29%；張文秀等人運(yùn)用U-net[13]在細(xì)胞分割中得到了良好的效果，帶來了小目標(biāo)檢測(cè)的新思路。但在U-net識(shí)別過程中，由于圖像背景復(fù)雜，噪聲點(diǎn)多，許多干擾因素在圖片中的面積占比大于等于絕緣子和其故障位置的面積占比，容易受到干擾，造成錯(cuò)誤識(shí)別，影響結(jié)果，導(dǎo)致識(shí)別準(zhǔn)確率不夠理想。要檢測(cè)出比絕緣子圖像還要小很多的缺陷故障位置更是不現(xiàn)實(shí)的。

針對(duì)以上問題，本文采用注意力機(jī)制與Faster R-CNN相結(jié)合識(shí)別出絕緣子，之后通過U-net定位絕緣子故障的模型。首先，在Faster R-CNN網(wǎng)絡(luò)的特征提取階段引入Hu等[14]提出的基于注意力機(jī)制的SENet結(jié)構(gòu)，使網(wǎng)絡(luò)能夠自動(dòng)學(xué)習(xí)到每個(gè)特征通道的重要程度，關(guān)注與目標(biāo)相關(guān)的特征通道而抑制與目標(biāo)不相關(guān)的特征通道，提升網(wǎng)絡(luò)性能；其次，在RPN生成anchor階段，根據(jù)絕緣子的特點(diǎn)，改進(jìn)基礎(chǔ)anchor的比例和尺度；再次，結(jié)合注意力機(jī)制計(jì)算候選框之間相互依賴關(guān)系的權(quán)重，融合周圍候選框的特征向量來更新每一個(gè)目標(biāo)建議框的特征向量，使目標(biāo)建議框的特征向量包含更準(zhǔn)確的位置信息，促進(jìn)識(shí)別準(zhǔn)確率的提升，進(jìn)一步提高絕緣子識(shí)別精度，裁剪出來的圖像提高了絕緣子和其爆裂位置在圖像中的占比，降低了U-net的運(yùn)用難度；最后，將裁剪后的圖像作為U-net的輸入，并將像素二進(jìn)制分類結(jié)果作為輸出，對(duì)于損壞的部分，將像素標(biāo)記為false，對(duì)于正常的部分將像素標(biāo) 記為true。

1 相關(guān)技術(shù)介紹

1.1 SENet結(jié)構(gòu)

SENet網(wǎng)絡(luò)的設(shè)計(jì)基礎(chǔ)為注意力機(jī)制，兼具簡(jiǎn)單和效果理想等優(yōu)勢(shì)。其關(guān)鍵功能在于拓寬特征提取層的感受野，進(jìn)而增進(jìn)卷積神經(jīng)網(wǎng)絡(luò)性能。它使用全局信息來有選擇地強(qiáng)調(diào)信息功能，同時(shí)壓制不太有用的功能，將權(quán)重引入圖層的每個(gè)要素圖。

以下是SENet結(jié)構(gòu)5個(gè)連續(xù)操作的綜合功能：全局平均池化（Global Average Pooling，GAP）的作用是將輸入的特征圖按全局平均進(jìn)行歸并，將M個(gè)W×H大小的特征圖抽取為M個(gè)1×1實(shí)數(shù)序列，目的是使其他特征圖的上下文信息都能被每個(gè)特征圖利用，因此，可以為規(guī)模較小的低層次網(wǎng)絡(luò)提供全局信息；之后在兩個(gè)全連接層中得出一個(gè)有效的數(shù)字，降低維度，得到矢量1×1×（M/r），使用ReLU后提高維度，通過使用Sigmoid活化函數(shù)獲得一個(gè)向量1×1×M，以獲得相當(dāng)于每個(gè)通道的權(quán)重，各通道分別與對(duì)應(yīng)的權(quán)重系數(shù)相乘，進(jìn)而獲得更新后的通道。由于具有FC和池化操作等額外的層，因此參數(shù)和計(jì)算負(fù)載的數(shù)量略有增加。這種“Squeeze-and-Excitation”（SE）網(wǎng)絡(luò)的獨(dú)特結(jié)構(gòu)如圖1所示，X、Y分別指輸入特征圖及更新后輸出的特征圖。在SENet結(jié)構(gòu)中，注意力機(jī)制的兩大核心操作是擠壓和激勵(lì)，同時(shí)引入了以輸入為條件的固有動(dòng)態(tài)特性，以增強(qiáng)功能的可分辨性，可以與任何標(biāo)準(zhǔn)體系結(jié)構(gòu)如Faster R-CNN、DenseNet及多輸入網(wǎng)絡(luò)等一起使用。

圖1 基于注意力機(jī)制的SENet結(jié)構(gòu)

1.2 Faster R-CNN模型

Faster R-CNN由兩部分構(gòu)成：RPN屬于完全卷積網(wǎng)絡(luò)，其用途以生成建議區(qū)域?yàn)橹鳎現(xiàn)aster R-CNN則對(duì)建議區(qū)域起到檢測(cè)和分類的作用。Faster R-CNN模型架構(gòu)如圖2所示。

圖2 Faster R-CNN結(jié)構(gòu)圖

如圖2所示，通過在ImageNet上預(yù)先訓(xùn)練的常用CNN模型（如Resnet和VGG）提取航拍圖像的有效和豐富特征，預(yù)訓(xùn)練的卷積層由RPN和Faster R-CNN共享。RPN處于模型核心位置，其目標(biāo)是識(shí)別所有可能的候選框，使用連接到最后一個(gè)共享卷積層的內(nèi)核3*3卷積來生成256通道的特征圖，在特征圖中實(shí)現(xiàn)滑動(dòng)窗口方法，且256維特征向量都被每個(gè)特征圖獲得。在每個(gè)滑動(dòng)窗口中，來自該區(qū)域的建議被同時(shí)規(guī)劃。該建議被參數(shù)化，與一個(gè)稱為“錨定點(diǎn)”的參考框相關(guān)，分別使用3類規(guī)格和刻度不等的參數(shù)值以提高精度。由Fast R-CNN網(wǎng)絡(luò)檢測(cè)RPN生成的建議區(qū)域，將特征圖重構(gòu)為一個(gè)大尺寸的資源向量，要素層完全連接到另一個(gè)相同長(zhǎng)度的要素層，且提供邊界框平移和縮放參數(shù)，候選框填制不同類別概率值。

1.3 U-net模型

U-net是一種FCN架構(gòu)。FCN包含上采樣和跳過層兩個(gè)核心操作。FCN采用上采樣以確保輸出與輸入圖像具有相同的大小。但是，通過直接上采樣獲得的特征圖通常會(huì)導(dǎo)致非常粗糙的分割結(jié)果。故跳過層的功能設(shè)計(jì)在于克服前述弊端。跳過層方法對(duì)不同池化層的輸出進(jìn)行上采樣，并通過特征融合（如復(fù)制和裁剪）細(xì)化結(jié)果。

U-net結(jié)構(gòu)如圖3所示，其形狀與U形相近。需要注意的是，U-net的輸入可以是任意大小的圖像，例如圖中的572×572。U-net由壓縮和恢復(fù)層組成，壓縮層是經(jīng)典的VGGNet-16。重復(fù)運(yùn)用兩個(gè)3×3卷積內(nèi)核和2×2最大池化層的結(jié)構(gòu)，并利用池化層的向下采樣效果逐層提取更多高級(jí)特征?；謴?fù)層的結(jié)構(gòu)與VGGNet-16完全不同，由2×2反卷積核與兩個(gè)3×3卷積核重復(fù)疊加獲得，并由1×1卷積核實(shí)現(xiàn)特征圖的維映射，依照softmax函數(shù)作輸出層分類。需要注意是，池化層的輸入必須是寬度和高度十分均勻的要素圖，因此需要仔細(xì)設(shè)置超參數(shù)。

圖3 U-net網(wǎng)絡(luò)結(jié)構(gòu)圖

2 改進(jìn)的基于Faster R-CNN和U-net的絕緣子故障識(shí)別框架

本文提出的方法總體流程如圖4所示。

圖4 提出方法總體流程圖

2.1 引入SENet結(jié)構(gòu)的特征提取網(wǎng)絡(luò)

原始絕緣子圖像依次進(jìn)行尺寸放縮，VGG16特征提取，并獲得網(wǎng)絡(luò)提取特征。為了使特征提取網(wǎng)絡(luò)能夠使用全局信息，不局限于局部感受野，本文在特征提取網(wǎng)絡(luò)VGG16的5個(gè)卷積模塊之后引入SENet結(jié)構(gòu)。權(quán)重和加權(quán)更新通道的生成，契合特征通道維度壓縮特征，由此保證特征圖的繪制更具表達(dá)能力。實(shí)驗(yàn)結(jié)果顯示，采用該結(jié)構(gòu)后，網(wǎng)絡(luò)識(shí)別能力有所提高。

2.2 改進(jìn)區(qū)域建議網(wǎng)絡(luò)

將得到的特征圖輸入RPN，在特征圖上滑動(dòng)窗口遍歷每個(gè)點(diǎn)，每個(gè)點(diǎn)上生成不同長(zhǎng)寬比例（一般設(shè)置為1∶2、1∶1、2∶1，用于識(shí)別公共數(shù)據(jù)集中的大多數(shù)目標(biāo)）和尺度的錨框。在以往的Faster R-CNN算法中錨框的比例設(shè)置并不適用于識(shí)別絕緣子，絕緣子偏窄長(zhǎng)，并且跟拍攝角度關(guān)系很大，需要對(duì)生成基礎(chǔ)錨框的長(zhǎng)寬比進(jìn)行改進(jìn)。從RPN生成基礎(chǔ)錨框的原理出發(fā)，對(duì)絕緣子圖像數(shù)據(jù)中絕緣子長(zhǎng)寬比進(jìn)行統(tǒng)計(jì)，其中絕緣子的長(zhǎng)寬比范圍按數(shù)量依次排序?yàn)椋?∶1、5∶1、6∶1），在此基礎(chǔ)之上，調(diào)整生成基礎(chǔ)錨框的比例，同時(shí)，為更好地識(shí)別出尺寸較小的或者拍攝距離較遠(yuǎn)的絕緣子，調(diào)整尺度為（642、1 282、2 562），特征圖上每個(gè)點(diǎn)生成12種錨框，總共生成W×H×12個(gè)錨框。

2.3 基于注意力機(jī)制的建議框融合

將RPN獲得的目標(biāo)建議框與對(duì)應(yīng)的特征圖一一映射，而后依照ROI池化操作步驟，將各目標(biāo)建議框在特征圖上的映射區(qū)域的大小設(shè)置為7×7，輸入對(duì)象為全連接層1。

考慮到RPN獲得的目標(biāo)建議框定位不夠精準(zhǔn)，對(duì)后續(xù)分類和定位的準(zhǔn)確度造成了不可小視的影響，此外，相比較而言，周圍建議框含有更多豐富有用的位置信息，因此對(duì)目標(biāo)建議框的設(shè)定較具矯正意義。然而，周圍建議框?qū)τ谛Ｕ慕^緣子目標(biāo)建議框的重要性不盡一致，而本文研究的基礎(chǔ)在于注意力機(jī)制，因此周圍建議框的選定要求與目標(biāo)建議框的IOU值應(yīng)高于等于閾值T，訓(xùn)練學(xué)習(xí)各周圍建議框的重要程度（權(quán)重系數(shù)aij），且引入加權(quán)求和的方式完成融合，使絕緣子目標(biāo)建議框的特征向量FV=[fv1,fv2,…,fvi]獲得更新，進(jìn)而提供更為精準(zhǔn)的向量位置信息，體現(xiàn)精確分類與位置回歸的意義，同時(shí)對(duì)模型識(shí)別精度提升具備不容忽視的重要價(jià)值。

3 輸出識(shí)別結(jié)果

涉及到全連接層2輸出的特征向量，引入Softmax分類器對(duì)各目標(biāo)建議框加以運(yùn)算，分類設(shè)定為絕緣子的置信度分?jǐn)?shù)，且分別做邊界框回歸，據(jù)此獲得與真實(shí)框相對(duì)應(yīng)的偏移量預(yù)測(cè)值，完成目標(biāo)建議框的修正，使其定位信息更趨精確，識(shí)別獲得高置信度分?jǐn)?shù)的目標(biāo)建議框。圖像編輯后用作U-net輸入，在像素二進(jìn)制基礎(chǔ)上輸出分類結(jié)果，其中正常及損壞部分的像素分別標(biāo)記為true和false。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境配置

本文實(shí)驗(yàn)使用的操作系統(tǒng)為Windows 10，處理器為Intel（R） Core（TM） i5-10400F CPU 2.90 GHz， 32 GB RAM，GPU選用NVIDIA GeForce GTX 1080Ti 顯存為8 GB，深度學(xué)習(xí)框架為Pytorch 1.4。評(píng)價(jià)指標(biāo)為AP。

4.2 數(shù)據(jù)集及實(shí)驗(yàn)參數(shù)

數(shù)據(jù)集整理自某電網(wǎng)公司電力科學(xué)研究院無人機(jī)航拍的絕緣子圖像數(shù)據(jù)。采集所得復(fù)合絕緣子圖像共計(jì)840張，圖像尺寸參數(shù)為576×432像素，以圖像編輯軟件沿順逆時(shí)針方向旋轉(zhuǎn)180°、60°以及放縮等方式將圖像集增加至2 000張。實(shí)驗(yàn)過程中，對(duì)絕緣子數(shù)據(jù)按照Labelme數(shù)據(jù)集格式進(jìn)行標(biāo)注，并隨機(jī)劃分訓(xùn)練集為1 600張，測(cè)試集為 400張。

4.3 絕緣子串定位

Faster R-CNN在玻璃絕緣子串定位中發(fā)揮有重要作用。引入動(dòng)量法完成Faster R-CNN的訓(xùn)練。訓(xùn)練損失如圖5所示。該定位方法的平均精度為0.921，對(duì)于在復(fù)雜場(chǎng)景下檢測(cè)玻璃絕緣子串非常 有效。

圖5 Faster R-CNN損失函數(shù)訓(xùn)練圖

4.4 自爆式絕緣子串故障定位

以邊界框裁剪圖像作為U-net的輸入，實(shí)驗(yàn)選定的架構(gòu)如圖4所示。需要注意的是，要在卷積層之后添加批歸一化層，以避免消失梯度問題并加速深度網(wǎng)絡(luò)訓(xùn)練。實(shí)驗(yàn)選取的優(yōu)化算法Adam將相關(guān)參數(shù)E、β1、β2依次設(shè)定為0.000 000 01、0.9、0.999，批處理大小設(shè)置為1，初始學(xué)習(xí)率設(shè)置為0.001，按照線性方式減小，也就是隨著訓(xùn)練周期的增大而依次降低。數(shù)據(jù)增強(qiáng)方法使用旋轉(zhuǎn)和翻轉(zhuǎn)等辦法。訓(xùn)練周期80輪后的損失收斂如圖6所示。依照背景差異獲得4類結(jié)果，如圖7所示。故障位置被標(biāo)出，如圖8所示。平均精度值為0.919，而圖像獲取所耗費(fèi)的U-net時(shí)間成本則基本能夠忽略。

圖6 U-net損失函數(shù)訓(xùn)練圖

圖7 不同背景下的Faster R-CNN定位結(jié)果

圖8 U-net輸出結(jié)果

不同方法的識(shí)別結(jié)果對(duì)比如表1所示，可以看出，以AP作為評(píng)價(jià)指標(biāo)，和文獻(xiàn)[8]、文獻(xiàn)[10]及文獻(xiàn)[11]的方法相比，本文方法比文獻(xiàn)[10]的CNN高出0.019，比文獻(xiàn)[11]的R-FCN高出了0.01，比文獻(xiàn)[8]的Faster R-CNN高出0.003。對(duì)于絕緣子故障位置識(shí)別的平均準(zhǔn)確率，本文研究方法更具優(yōu)勢(shì)。

表1 不同方法識(shí)別結(jié)果

5 結(jié) 語

本文介紹了SENet+Faster R-CNN+U-net的模型，使用某電力科學(xué)研究提供的航拍圖片制作成數(shù)據(jù)集，并對(duì)模型進(jìn)行訓(xùn)練、測(cè)試以及對(duì)比試驗(yàn)。SENet+Faster R-CNN負(fù)責(zé)玻璃絕緣子串的位置定位，大大提高了效率，增加了絕緣子在圖片中的面積占比，打消了U-net過于精確而受到噪點(diǎn)干擾的后顧之憂。U-net可以對(duì)不同尺寸的裁剪圖像中的像素進(jìn)行精確分類，提升了準(zhǔn)確度。由此將兩類架構(gòu)的優(yōu)勢(shì)自然糅合起來。實(shí)驗(yàn)結(jié)果表明，隨著訓(xùn)練樣本數(shù)量的增加，該方法的效果會(huì)變得更好。