基于超像素和深度神經(jīng)網(wǎng)絡的高壓輸電線路環(huán)境檢測①

何 冰,馬 泰,王欣庭,王宗洋,文 穎

1(國網(wǎng)上海市電力公司檢修公司,上海 200063)

2(華東師范大學 計算機科學與軟件工程學院,上海 200062)

1 介紹

隨著我國經(jīng)濟的高速發(fā)展,我國的電力需求也不斷增長,尤其是特高壓電網(wǎng)項目的開展和建設能源互聯(lián)網(wǎng)的實施,導致高壓線路覆蓋面積激增,形成了日漸復雜的電網(wǎng)架結構.由于大多數(shù)輸電線路在荒郊曠野運轉.因而難免受到氣候變化,下方區(qū)域地形地勢,氣候變化等外界要素的干擾,進而影響到電網(wǎng)的安全性和可靠性.為了保障電網(wǎng)能夠安全穩(wěn)定的運轉,對輸電線路進行巡檢和維護便顯得至關重要,及時發(fā)現(xiàn)輸電線路中可能存在的安全隱患并對其加以排除和檢修,盡可能地減少損失,帶來經(jīng)濟上長期的收益.

人工檢測作業(yè)危險,效率低,難度大.一種有效地解決上述問題的方法便是使用無人機航拍巡檢,由于無人機很少受到地形因素的制約,能夠發(fā)現(xiàn)難以被人工發(fā)現(xiàn)的隱蔽的安全缺陷,而且操作相對簡單,對塔頭巡檢效果更好,成本較低,巡檢過程也更加有效率,且受天氣和環(huán)境影響較小,很適合應用于對高壓線路通道環(huán)境的巡檢.而無人機在高壓線路通道環(huán)境巡檢也在其他方向得到應用,如王萬國等人[1]使用了RCNN的方法來識別無人機巡檢圖像電力小部件,實現(xiàn)了基于無人機的電力部件的識別等.因此,本文所要進行的工作便是圍繞著使用無人機對高壓線路通道環(huán)境巡檢這一目標展開的.在場景識別方面Yu和Wang提出了使用圖匹配來進行場景解析的方法[2].本文提出一種基于超像素和深度神經(jīng)網(wǎng)絡的航拍高壓輸電線路環(huán)境檢測的方法.首先,采用無人機對高壓輸電線路通道環(huán)境航拍,將視頻圖像進行拼接,得到通道環(huán)境的整體圖像,然后使用超像素分割算法實現(xiàn)圖像的預分割,采用SURF (Speeded Up Robust Features)描述子提取特征向量,最后采用DNN模型進行訓練,對待檢測的超像素塊進行分類,從而達到檢測的目的.

2 算法

本方法的主要過程由圖像拼接,圖像特征提取及圖像識別這3個步驟組成,流程圖如圖1所示,接下來本文將具體介紹了這3個步驟.

圖1 本方法的基本流程圖

2.1 SURF算法進行圖像拼接

本方法的第一步便是將拍攝得到的圖像進行拼接.圖像拼接的最常用的方法便是Harris角點檢測算法,由于 Harris角點的尺度不變性較差,在實際應用中一種最常用的特征點描述方法便是Lowe[3]提出的SIFT算法,這種算法提取的特征點對空間強度信息進行了充分的描述,同時對于小范圍的變形和局部錯誤的穩(wěn)定性較好.近年來新的拼接算法包括Mills等人提出的動態(tài)元素拼接算法[4],Ma等人提出的使用FAST檢測器和FREAK 描述的拼接算法[5],Qu等人提出的基于A-KAZE的拼接算法[6]等.本方法使用的是Bay等人[7]提出的SURF算法,使用64維特征向量來對特征點進行描述,其特點在于其尺度不變性更好而且時間復雜度相比SIFT更低.

SURF使用近似Hessian矩陣將特征點提取出來,并通過積分圖大大提升過程中的計算速度,從而降低了特征檢測過程的時間.Hessian矩陣中局部極大值的點被判定為比鄰域中其他點更亮或更暗的點,因此被確定為特征點.由于通過此方法得到的特征點受尺度影響較大,因此在進行矩陣的構造前,利用高斯核服從正態(tài)分布的特點,采用由積分圖實現(xiàn)的盒式濾波器近似實現(xiàn)高斯濾波器,使其受尺度影響較小的同時將運算速度進行提高.SURF尺度空間由多個層組成,其縮放比率為2,而每一層又形成了不同尺度的濾波響應圖,不同組間濾波器尺寸逐漸增大,而同一組不同層濾波器尺寸相同,其模糊系數(shù)漸增.完成了尺度空間的構建后,SURF在3×3×3大小的鄰近區(qū)域內采用非最大值抑制,將比鄰近區(qū)域內的其他26個點都大的或都小的點置為極值點,將這些極值點作為初步得到的特征點,再通過排除掉能量較弱或錯誤定位的特征點后得到最終穩(wěn)定的特征點.

在得到兩幅圖像的特征點后,本文使用了基于最近鄰和次近鄰距離比值的方法,對于圖像I1中的一個特征點,在另一幅圖像I2中尋找與其歐式距離最短的點以及歐式距離第二短的點,其距離分別為d1,d2,當d1

2.2 SLIC超像素分割及特征提取

在得到待檢測通道區(qū)域的完整圖像后,為了對圖像內容進行檢測,本文采用深度神經(jīng)網(wǎng)絡(Deep Neural Network,DNN)對整張圖像直接進行檢測,然而由于圖像訓練集過小,直接在如此小的訓練集上對網(wǎng)絡進行訓練可行度較低,因此先使用超像素分割算法將圖像分割為多個超像素塊,之后對各個超像素塊的類別進行檢測得到圖像內容.超像素分割算法主要包括基于圖論的超像素算法和基于梯度的超像素算法兩種,基于圖論的超像素分割算法中主要包括Liu等人提出的熵增超像素分割算法[8],Li等人提出的二分圖分區(qū)算法[9],Fezenszwalb等人[10]提出的基于最短生成樹的超像素算法等.基于梯度上升的超像素算法主要包括Mean-shift[11]算法,Quick-shift[12]算法和Turbopixels[13]算法.圖像的超像素分割算法中還包括線性光譜聚類超像素分割算法[14]等.在本方法中使用了SLIC superpixels[15]算法來進行超像素分割,此方法得到的超像素更加簡潔整齊,而且計算效率相比更高,得到的超像素在大小上保持相同,分割效果較好.

SLIC算法的主要思想在于將 RGB彩色模型的圖像變換為 CIE-Lab彩色模型的圖像,將每個像素的顏色值(L,a,b)和坐標(x,y)形成一個五維向量V[L,a,b,x,y],根據(jù)兩個像素在向量上的歐式距離的大小來度量這兩個像素的相似程度的高低.

通過上述算法得到了分割后的超像素塊后,本文提取其中的顏色,灰度共生矩陣和梯度特征并得到特征向量F=[color,contrast,dissimilarity,ASM,gradient]并使用其對深度神經(jīng)網(wǎng)絡進行訓練.

2.3 深度神經(jīng)網(wǎng)絡

得到了分割后的超像素塊以及它們的對應的特征向量后,本文通過神經(jīng)網(wǎng)絡進行訓練,常用的神經(jīng)網(wǎng)絡包括全卷積神經(jīng)網(wǎng)絡(Fully Convolutional Networks,FCN)[16]和U形網(wǎng)絡(U-Net)[17]等,近期提出的新的神經(jīng)網(wǎng)絡包括ShuffleNet[18],RefineDet[19],NetAdapt[20]等,本文中使用的神經(jīng)網(wǎng)絡是DNN,其優(yōu)點使用DNN可以將識別率顯著地提高,得到的效果更好.

DNN神經(jīng)網(wǎng)絡模型又叫全連接神經(jīng)網(wǎng)絡,是現(xiàn)在許多現(xiàn)代AI應用的基礎.具有準確度高,魯棒性強等特點.DNN的基本結構如圖2所示.

圖2 DNN基本結構

DNN結構可以按照其位置分為輸入層,隱含層,輸出層3部分,隱含層位于輸入層與輸出層之間,在這些層之間都是全連接的,即對某一層的一個神經(jīng)元,一定與下一層的任意一個神經(jīng)元都是相連的.與其他神經(jīng)網(wǎng)路不同的是DNN包含多于一個隱含層,輸入層接收數(shù)據(jù)后,將數(shù)據(jù)傳輸?shù)街虚g的隱含層,經(jīng)過多個隱含層的加權處理后,將結果傳遞給輸出層,由輸出層對其進行處理后得到最后的結果.在將一個圖像輸入DNN后,DNN將輸出得分向量來實現(xiàn)對圖像的分類,通過對權重的優(yōu)化將輸出得分與正確分類的差值保持最小,即確保損失函數(shù) loss最小,即對權重進行訓練.常見的方法是所有訓練樣本均有標簽的監(jiān)督學習,本文使用了這種方法,因此,其過程由訓練和檢測兩個步驟組成.

得到訓練后的DNN模型后,本文便使用此模型來檢測待檢測的圖像,實現(xiàn)對通道環(huán)境的巡檢.

3 實驗分析

實驗分為圖像拼接,超像素圖像分割和圖像分類并將結果保存3個部分.實驗中使用戴爾G7進行實驗,CPU為Intel Core i5-8300H CPU @ 2.30 GHz,內存為8.0 GB,硬盤為1 TB,實驗中使用到的支撐軟件為Python3.6和OpenCV 2.4.9.

3.1 圖像拼接實驗

本實驗的第一步是使用無人機對待巡檢的區(qū)域進行拍攝,拍攝得到的圖像尺寸均為4000×3000,如圖3為使用無人機對一個區(qū)域進行拍攝得到的3張圖像,而對這3張圖像進行拼接便可以得到待巡檢的區(qū)域的整體圖像.

圖3 對待檢測區(qū)域進行拍攝得到的圖像

本文對使用SURF方法進行拼接與使用SIFT方法進行拼接所用的時間進行了比較,比較結果如表1所示,可以看到,SURF方法在時間上相比于SIFT方法有很大的優(yōu)勢.由于基于SURF特征點的拼接算法無論從拼接效果上還是在拼接時間上相比基于SIFT特征點的算法都更有優(yōu)勢,因此本文使用基于SURF特征點的拼接算法來對拍攝得到的圖像進行拼接,圖3的3張圖像使用基于SURF特征點的拼接算法進行拼接后得到的區(qū)域整體圖像如圖4所示.而提取圖4中的SURF特征點的結果如圖5所示.

表1 圖像拼接時間比較(單位:s)

圖4 對圖3的3幅圖像進行拼接后的結果

本文還對SURF方法的拼接結果進行了檢測,在155組待拼接的圖像中,使用本文中的SURF算法成功拼接了其中143組圖像,拼接成功率高達92.26%,其結果如表2所示.

圖5 對圖4提取其中特征點的結果

表2 圖像拼接效果統(tǒng)計

3.2 圖像超像素分割實驗

拼接得到區(qū)域的整體圖像后,為了增加檢測時的圖像數(shù)據(jù),本文使用SLIC超像素分割算法將整體圖像分割為一定數(shù)量的超像素塊,從而通過這些超像素塊實現(xiàn)各個區(qū)域的識別.

將整體圖像分割為一個個超像素塊后,本文在每一個超像素塊內提取其顏色,灰度共生矩陣和梯度特征并對應每一個超像素塊都生成一個包含這些特征的特征向量,其示意圖如圖6所示.本文拼接得到的整體圖像進行超像素分割后的結果如圖7所示,從圖中可以看到,完整圖像已經(jīng)被分割為許多個具有相似局部信息的超像素塊.

3.3 圖像識別實驗

將圖像分割為超像素塊并提取出其特征后,根據(jù)處理后的真值圖像來進行訓練得到對應的深度神經(jīng)網(wǎng)絡,訓練過程中本文使DNN對每一超像素塊的輸出類別盡量接近對應的真值,通過訓練可以得到能夠識別綠地區(qū)域,大棚區(qū)域和其他區(qū)域的深度神經(jīng)網(wǎng)絡模型,本文對待檢測圖像進行超像素分割并將分割得到的超像素塊輸入訓練得到的DNN模型后,可以得到輸入的超像素塊的輸出結果,將輸出結果可視化到圖像上后,就得到了對目標區(qū)域圖像檢測的識別結果,本實驗中識別結果如圖8所示,由于本次實驗中的DNN只對綠地,大棚以及其它區(qū)域進行了訓練,因此本文得到的輸出結果中只識別了這三種區(qū)域類型.

本文對模型的檢測結果進行了分析,其數(shù)據(jù)如表3所示,從表3中可以看出,本文中使用的算法的檢測成功率可達95.6%.

圖6 分割后的圖像超像素塊提取特征示意圖

圖7 圖像超像素分割結果

圖8 圖像識別結果,綠色代表綠地區(qū)域,白色代表大棚區(qū)域,灰色代表其他區(qū)域

表3 檢測數(shù)量以及成功率

4 結論與展望

本方法從基于無人機的高壓線路通道環(huán)境巡檢這一現(xiàn)實要求出發(fā),實現(xiàn)了一種基于超像素和深度神經(jīng)網(wǎng)絡的航拍高壓輸電線路環(huán)境檢測的方法.實驗包括對基于SURF特征的圖像拼接算法,基于SLIC超像素分割技術,對超像素塊的特征提取以及使用DNN進行圖像分類檢測.