基于語義分割和空間上下文信息的防震錘識別

賈立業(yè),韓 軍,余鴻飛

(上海大學 通信與信息工程學院，上海 200444)

0 引言

在電網系統(tǒng)中，輸電線路中防震錘的目的是為了減少導線因風力引起的振動，導線振動時，其懸掛處的工作條件很不利，此時防震錘起著關鍵作用，對其進行檢測至關重要。國內外針對防震錘部件識別的算法大致可分為兩類：基于傳統(tǒng)圖像處理的目標識別和基于深度學習的目標檢測。傳統(tǒng)的圖像識別算法主要通過對目標的固定特征(如邊緣、顏色、紋理、輪廓等)進行處理實現檢測任務。宋偉等[1]結合直方圖均衡化、形態(tài)學處理和RGB彩色模型對防震錘圖像處理，實現銹蝕缺陷的檢測。但該方法存在著識別速率和魯棒性低的問題。金立軍等[2]提出將類Haar特征與級聯AdaBoost算法應用于防震錘識別。計算圖像的Haar特征后利用AdaBoost算法選取具有較強分類特性的特征，然后通過級聯的方式組成級聯AdaBoost分類器進行防震錘的分類識別。張東等[3]提出一種結合多尺度聚合通道特征(ACF)和復頻域特征的檢測算法。通過引入多尺度聚合通道特征提取圖像的空間域特征和復頻域特征進行加權融合，然后利用AdaBoost分類器和NMS算法識別防震錘。這兩種方法識別準確率尚可，但存在算法復雜度高，魯棒性低的問題。在深度學習領域，湯踴等[4]提出利用Faster-RCNN網絡對輸電線部件進行識別，針對不同目標使用不同的卷積核優(yōu)化識別率。薛冰等[5]提出基于Mask R-CNN的電力設備銹跡檢測識別方法。先使用Faster R-CNN完成目標檢測的功能，利用FCN完成語義分割的功能，實現像素級別的分類識別，解決了不規(guī)則銹跡的檢測問題。這兩種方法并未充分利用防震錘與周圍部件的上下文信息，因此識別準確率不高。

目前，國內外對于防震錘的研究主要集中在其定位與識別上，對于缺陷診斷還未取得突破性進展，圖1所示為各種缺陷類型，這些缺陷會對輸電線路產生極大的影響。針對這些缺陷，考慮利用語義分割[6]將這些防震錘區(qū)域分割出來，然后針對不同的缺陷類型進行判別。針對掉把與歪斜缺陷，根據其與正常防震錘的邊界形狀特征判別；針對碰撞缺陷，計算其分割區(qū)域的像素寬度與正常防震錘區(qū)域對比判別；針對漂移缺陷，分割出來后計算其與上下防震錘的相對距離判別；針對銹蝕缺陷，分析其分割區(qū)域的HSV顏色特征判斷銹蝕。其中，掉把缺陷對于輸電線路的正常運行危害最大，且其出現的幾率也更高，因此本文著重針對正常防震錘的識別和掉把缺陷的診斷進行研究，后文所指缺陷均為掉把缺陷。

圖1 防震錘缺陷類型

綜上，本文針對防震錘部件識別準確率不高，掉把缺陷無法診斷的問題，提出一種結合語義分割和空間上下文信息的防震錘識別和缺陷診斷方法。算法結構如圖2所示，包括三部分。第一部分是數據集的制作和預處理，利用LabelMe對防震錘圖片標注后進行圖像分塊制作成數據集Hammer_2，對Hammer_2進行預處理，增強圖像質量以提高分割效果。第二部分將防震錘數據集通過DeepLabV3+網絡訓練，對正常防震錘與掉把缺陷區(qū)分，得到訓練模型Hammer_model。第三部分通過防震錘模型與其他部件模型得到防震錘與其他部件分割區(qū)域，通過這兩個區(qū)域建立空間上下文關系，縮小防震錘識別范圍。最后得到識別結果圖。

圖2 算法流程圖

1 DeepLabV3+網絡

DeepLabV3+網絡是目前語義分割網絡中準確率最優(yōu)的網絡[7]，計算速度和分割精度表現十分良好。因此，本文基于DeepLabV3+網絡構建防震錘的識別與缺陷診斷，其網絡結構如圖3所示，主要由特征提取網絡、編解碼器結構、空洞空間金字塔池化模塊(ASPP，atrous spatial pyramid pooling)等組成。對于輸電線路防震錘部件的待識別圖像，在編碼器部分，首先利用Xception網絡(圖中的DCNN模塊)提取防震錘目標特征[8]，然后通過ASPP模塊[9]從不同尺度上提取防震錘的語義信息，接著將ASPP模塊輸出的結構通過1×1的卷積層進行通道數變換。在解碼器部分，對Xception網絡中較為底層的防震錘圖像的特征圖用1×1卷積操作變換通道，與編碼器輸出的防震錘不同尺度的特征圖在統(tǒng)一尺寸后進行堆疊。在合并特征后再經過3×3的卷積層后使得防震錘特征更優(yōu)，再上采樣得到與輸入圖同樣大小的特征圖。

DeepLabV3+網絡最大的優(yōu)點是采用了編解碼器結構和ASPP結構。編解碼器結構可以有效的將防震錘的高層特征和底層特征融合起來，ASPP結構可以通過調整擴張率組[10]來提取防震錘的不同尺度特征，這兩者對防震錘邊界恢復都有顯著作用。分析正常防震錘與掉把缺陷的形狀，發(fā)現兩種防震錘的邊界形狀有顯著差異，利用DeepLabV3+可以有效恢復這兩類防震錘的邊界，從而鑒別這兩類防震錘，實現缺陷診斷。

2 數據集制作與預處理

2.1 防震錘數據集制作

目前，沒有防震錘的公開數據集，故需要制作可用于本文研究的數據集。本文收集到的輸電線路圖片主要包含正常防震錘及其掉把缺陷，需制作正常與缺陷防震錘數據集Hammer_2。將無人機拍攝的防震錘邊緣清晰且完整的圖片篩選出來，然后使用標注軟件LabelMe通過多邊形對防震錘目標進行標注，根據正常和缺陷防震錘這兩類目標將標簽設為:hammer、bad_hammer，如圖4所示。

圖3 DeepLabV3+網絡結構

圖4 防震錘標注類別

收集到的輸電線路圖片基本都是4 288×2 848的高分辨率圖像，防震錘只占總像素的5%到8%，在DeepLabV3+訓練時需要設置圖像的隨機裁剪值(通常為513×513像素)，從圖像中隨機裁剪513×513像素大小圖片進行訓練，導致訓練內容大部分屬于背景信息。為減少背景干擾，提出一種適用于防震錘的圖像分塊方式。圖像分塊的具體方式如下：由于防震錘在一張圖像中所占像素通常大于513×513小于1 026×1 026，所以分塊時統(tǒng)一將圖像分為1 026×1 026大小的圖像。在分塊時，考慮到由于分塊會造成一個防震錘被分成兩半，所以同一張圖像需要從不同的像素點開始切割，將整張圖片循環(huán)切塊，保證每一個防震錘都能存在一張完整的小圖。之后將分塊出來的圖像進行整理，把帶有防震錘且完整的圖像挑選出來，如圖5，完成數據集Hammer_2的制作。

圖5 圖像分塊處理

2.2 Hammer_2數據集的預處理

由于無人機拍攝背景復雜，拍攝角度的不同，同時無人機拍攝過程中存在抖動，因此目標存在邊緣模糊，與背景對比度不明顯的問題。本文采用自動色階算法[11]對防震錘圖像進行增強，提高防震錘與背景的對比度。自動色階算法能自動調整圖像的明暗程度，去除圖像中不正常的高亮區(qū)和黑暗區(qū)，可以有效提高防震錘與復雜背景的對比度。自動色階的處理過程如圖6所示。

圖6 自動色階流程圖

采用對目標邊緣保持更好的自適應雙邊濾波算法[12]對防震錘進行平滑處理。自適應雙邊濾波能夠根據不同防震錘圖像的噪聲水平和邊緣強度，自適應調整雙邊濾波的空間標準差參數和亮度標準差參數，實現雙邊濾波參數根據輸入防震錘圖像的本質特征自適應獲取，避免了參數的人工設置，在濾除噪聲的同時最大程度地防震錘的邊緣信息。利用自動色階算法和自適應雙邊濾波算法對圖像分塊后的防震錘數據集Hammer_2進行處理，效果如圖7所示。

3 結合空間上下文關系的防震錘識別

3.1 防震錘空間上下文關系描述

圖像中對象之間的空間位置關系通常有三種：方向關系、距離關系與拓撲關系。根據防震錘的安裝位置分析其與周圍部件的空間位置關系：防震錘依附于導線下方，最接近方向關系，防震錘安裝在遠離均壓環(huán)和線夾的位置，最接近距離關系，如圖8所示。本文利用方向關系描述防震錘與導線的空間上下文關系，距離關系描述防震錘與均壓環(huán)和線夾的空間上下文關系。正常防震錘與掉把防震錘的位置關系通常一致，為方便表述，本節(jié)統(tǒng)一以防震錘表述。

圖7 防震錘圖片的預處理前后對比

圖8 兩種空間關系示意圖

在未引入空間上下文的防震錘識別實驗中，由于識別時會對圖像裁剪分塊進行逐一識別，導致識別感受野變小，存在將均壓環(huán)或線夾的一部分誤識別成防震錘的問題，雖然識別召回率很高，但精確率并不理想。據統(tǒng)計，其中將均壓環(huán)的一部分誤識別為防震錘占62%左右，線夾誤識別為防震錘占33%左右，其余占5%。導線、均壓環(huán)、線夾三類部件在圖像中的像素占比相較于防震錘更高，DeepLabV3+網絡對它們的識別效果也更好。據此，可以建立防震錘與它們的空間上下文關系[13]，縮小識別范圍，排除誤識別，提升精確率。如圖9所示為防震錘與周圍部件的空間關系示意圖。

圖9 防震錘與周圍部件之間的空間位置關系

3.2 基于空間上下文關系的防震錘識別

根據3.1節(jié)分析防震錘與周圍部件的空間上下文關系分為方向關系與距離關系，其中方向關系包括上邊(ABOVE)、下邊(BELOW)、左邊(LEFT)和右邊(RIGHT)，距離關系包括靠近(NEAR)和遠離(FAR)。為確定防震錘.與周圍部件空間關系的具體類別，以防震錘與均壓環(huán)為例，根據第1節(jié)內容通過DeepLabV3+網絡分割出防震錘區(qū)域A與均壓環(huán)區(qū)域B，根據分割出的區(qū)域像素計算以下變量：

1)兩個區(qū)域的共同邊界長度與防震錘區(qū)域A的邊界長度比ρab=lab/la，其中l(wèi)ab為兩個區(qū)域的共同邊界長度，la為防震錘區(qū)域A的邊界長度；

2)防震錘區(qū)域A與均壓環(huán)區(qū)域B的邊界像素之間的最短距離dab；

3)連接防震錘區(qū)域A與均壓環(huán)區(qū)域B的中心線和水平線之間的夾角θab，該角計算為：

(1)

其中:vax和vay是防震錘區(qū)域A的中心va的x和y坐標，vbx和vby是均壓環(huán)區(qū)域B的中心vb的x和y坐標。

根據以上變量，通過模糊空間關系的隸屬函數[14]計算防震錘與周圍部件區(qū)域之間的隸屬度，不同空間關系的隸屬函數可由以下公式來計算：

對于方向關系，在約束條件φABOVE+φBELOW+φLEFT+φRIGHT=1下，使用角度θab來定義截斷余弦型隸屬函數：

(2)

(3)

φLEFT(A,B)=

(4)

(5)

對于距離關系，在約束條件φNEAR+φFAR=1下，使用邊界長度比ρab和區(qū)域邊界之間的距離dab來定義S型隸屬函數：

(6)

(7)

其中，β是確定隔斷遠離和靠近關系的閾值參數，α是決定函數確定性的參數。

通過以上幾個隸屬函數計算防震錘與周圍部件之間的隸屬度，計算出各個空間關系的隸屬函數值后，利用該隸屬函數的最大值，決定兩個區(qū)域的方向關系和距離關系的具體類別。統(tǒng)計100個正確識別的防震錘與周圍部件的隸屬度，得到一個標準的防震錘與導線、均壓環(huán)和線夾空間關系的平均隸屬度表，如表1所示?？梢钥闯?，正常識別出的防震錘與導線之間的方向關系是在導線下方，防震錘與均壓環(huán)和線夾的距離關系是遠離均壓環(huán)和線夾。

表1 防震錘與周圍部件之間空間關系的平均隸屬度表

因拍攝角度和視距問題，圖像中的導線不能保證處于傳統(tǒng)視角上的水平方向，在分析時，以導線所在方向作為水平方向，防震錘所在區(qū)域作為垂直方向的下方，且不能保證圖像中會同時出現防震錘與導線、均壓環(huán)和線夾，需要確定上下文分析優(yōu)先級：因防震錘依附安裝導線上，故導線優(yōu)先級最高，再根據3.1節(jié)統(tǒng)計誤識別中均壓環(huán)與線夾所占比例，確定均壓環(huán)優(yōu)先級次之，最后是線夾。通過防震錘模型識別出防震錘區(qū)域，通過導線、均壓環(huán)和線夾模型識別出相應部件區(qū)域，將識別出的每個防震錘分別與導線、均壓環(huán)和線夾進行空間上下文分析。具體過程如下：若防震錘與導線的方向關系不是在導線下方，則直接判定為誤識別，否則再分析與均壓環(huán)的距離關系，若距離關系是靠近，則判定為誤識別，否則繼續(xù)分析與線夾的距離關系，若與線夾的距離關系是靠近，則判定為誤識別，否則是正確識別，則保留。通過此過程對每一個防震錘進行分析判斷，直至最后一個防震錘得到識別結果圖。算法流程如圖10所示。

圖10 基于空間位置關系的防震錘識別算法框圖

4 實驗結果與分析

實驗在裝有一塊NVIDIA TITAN x GPU的計算機上訓練和評估所有模型，操作系統(tǒng)為Ubuntu 16.04，顯卡型號為GeForce GTX1080Ti，Python版本是2.7，CUDA版本為9.0，CUDNN版本為 7.0，訓練框架為Tensorflow 1.6.0。

本文采用語義分割常用評價標準均交并比(MIoU)以及深度學習常用評價指標精確率(Precision)和召回率(Recall)評估算法的有效性，相關公式如下：

(8)

式中，i表示真實值，j表示預測值，pij表示將i預測為j。

(9)

(10)

式中，TP代表正樣本被正確識別為正樣本，FP代表負樣本被錯誤識別為正樣本，FN代表正樣本被錯誤識別為負樣本。

本文收集正常與掉把防震錘原始圖像共計800張，隨機選取500張用來制作訓練集和驗證集，300張用作測試集。利用500張原始圖像根據2.1節(jié)制作出數據集共計3 000張，其中正常防震錘共計1 500張，掉把防震錘共計1 500張。模型訓練參數統(tǒng)一為初始學習率設置為10-4，擴張率組采用[5,9,17]。采用三組實驗來驗證本文提出方法的可行性。

第一組實驗目的是驗證圖像分塊和數據集預處理能夠提升識別效果。本組實驗中，統(tǒng)一采用正常防震錘數據集1 500張，其中訓練集共計1 000張，驗證集共計500張，評價標準為MIoU，為了排除實驗偶然性，采用幾組不同迭代次數進行訓練，結果如表2所示。

表2 對數據集不同處理下的分割結果

從表2可以看出，相較于原始DeepLabV3+算法，對數據集進行預處理后， MIoU提升了3%～5%，這是因為對圖像預處理可以增加目標與背景對比度，增強防震錘邊緣輪廓，有利于語義分割。對數據集進行圖像分塊處理后，MIoU提升了約15%，這表明圖像分塊可以有效降低防震錘復雜背景干擾，大幅提高分割精度。在對數據集進行預處理和圖像分塊后，MIoU能夠達到90%以上，這證明對數據集的處理可以提高語義分割網絡的分割精度。同時，迭代次數的增加對于訓練效果也有略微提升，但迭代次數在達到20萬次后提升就比較小了，因此后文訓練次數統(tǒng)一采用20萬次。

第二組實驗目的是驗證DeepLabV3+網絡對正常和掉把防震錘的區(qū)分能力。實驗分為三次，第一次實驗采用1 500張正常防震錘數據集，第二次實驗采用1 500張掉把防震錘數據集，第三次實驗采用750張正常+750張掉把的混合防震錘數據集，訓練集與驗證集與第一組實驗一致，數據集都進行過圖像分塊和預處理，評價指標為MIoU。結果如表3所示。

表3 防震錘區(qū)分實驗結果

從表3可以看出，在對防震錘進行單分類訓練時，無論是正常還是掉把防震錘，DeepLabV3+網絡識別的MIoU能夠達到94%，在將兩類防震錘混合在一起訓練時，MIoU會有降低，在85%左右，雖然混合訓練的識別效果不如單獨訓練的效果好，但是本文認為85.3%的MIoU表示網絡對于兩種防震錘的區(qū)分效果可以滿足掉把缺陷診斷的應用。

第三組實驗將未加入空間上下文與加入空間上下文兩組實驗在設置相同參數的情況下進行訓練。這組實驗中，采用第二組實驗所得最好分割效果的混合防震錘模型，測試集中包括未參與訓練的兩類防震錘圖像共計300張，評價標準為精確率(P)與召回率(R)，測試結果如表4所示。可以看出，在引入防震錘與導線、均壓環(huán)和線夾部件的空間上下文關系后，無論是正常防震錘還是缺陷防震錘，其精確率有大幅提升(約16%～17%)，召回率有略微提升(約2%～3%)。原因是通過建立防震錘與周圍部件的空間上下文信息，能夠縮小防震錘的識別范圍，排除大量錯誤識別，提高精確率與召回率。

表4 引入空間上下文關系的防震錘識別結果對比

5 結束語

本文針對目前輸電線路中防震錘識別率不高，缺陷無法診斷的問題，提出利用圖像分塊解決網絡輸入帶來的圖像信息損失，結合防震錘與周圍部件的空間上下文關系縮小識別范圍，通過DeepLabV3+網絡將正常與缺陷防震錘分割出來進行缺陷診斷。實驗結果表明，圖像分塊可以有效提升分割精度，結合上下文能大幅提升識別精確率和召回率，語義分割網絡能有效診斷防震錘的掉把缺陷。下一步研究方向是針對防震錘的其他缺陷問題，利用DeepLabV3+網絡將其分割出來進行分類診斷。