基于卷積神經(jīng)網(wǎng)絡(luò)的電力桿塔圖像識別學(xué)習(xí)算法研究

劉 姜，郭景武，付子峰，劉春堂，李龍云

（國網(wǎng)湖北省電力有限公司檢修公司，湖北 武漢 430000）

0 引 言

為了進(jìn)一步提升對目標(biāo)的檢測效率，20世紀(jì)90年代以來，很多專家和學(xué)者都開始對目標(biāo)特征進(jìn)行研究，如HOG特征、共生梯度特征等。在對目標(biāo)特征的研究中，基于卷積神經(jīng)網(wǎng)絡(luò)方面的研究也愈來愈受到學(xué)界的重視。卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)特征檢測中的應(yīng)用可以追溯到1994年，但當(dāng)時受多方面因素的制約，導(dǎo)致其檢測精準(zhǔn)度及檢測效率不高，所以其實(shí)質(zhì)性研究進(jìn)展也非常緩慢。直到2012年卷積神經(jīng)網(wǎng)絡(luò)AlexNet被提出，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型在圖像識別上獲得了非常重要的突破性成果。之后，卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測領(lǐng)域的應(yīng)用越來越受到研究人員的關(guān)注，越來越多的研究人員開始對基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測進(jìn)行研究，這又加速了基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測的發(fā)展。目前，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方式越來越被人們認(rèn)可，并且逐漸取代傳統(tǒng)的目標(biāo)檢測方式。

1 項目開發(fā)背景

自2012年啟動輸電線路無人機(jī)和人工協(xié)同巡檢模式試點(diǎn)工作以來，國網(wǎng)某電力公司不斷拓展無人機(jī)應(yīng)用領(lǐng)域，強(qiáng)化輸電線路狀態(tài)管控，提升電網(wǎng)安全水平。在做好常規(guī)設(shè)備巡檢應(yīng)用的同時，該公司在輸電線路故障點(diǎn)查找、線路驗收、通道清理驗收、抗災(zāi)及應(yīng)急搶修、防外破等工作中，深化無人機(jī)應(yīng)用，提升線路運(yùn)檢工作效率[1]。2016年至今，該公司應(yīng)用多旋翼無人機(jī)巡視輸電線路桿塔19875基，應(yīng)用固定翼無人機(jī)巡視線路1 258 km，發(fā)現(xiàn)缺陷207處，并及時處置，確保了設(shè)備的健康水平。但是，在此過程中也發(fā)現(xiàn)，工作人員手動對無人機(jī)進(jìn)行操控的方式、個人習(xí)慣、行為及職業(yè)水平對巡檢效果具有較大影響，限制了無人機(jī)的應(yīng)用。因此，構(gòu)建自動化的無人機(jī)巡檢系統(tǒng)就顯得尤為重要。自動巡檢系統(tǒng)中，桿塔圖像識別學(xué)習(xí)算法的構(gòu)建與優(yōu)化是系統(tǒng)組建的關(guān)鍵所在。

傳統(tǒng)的目標(biāo)檢測模型主要涉及兩項主要內(nèi)容，即對目標(biāo)特征的提取及分類。也就是說，對目標(biāo)特征的提取及分類是傳統(tǒng)目標(biāo)檢測研究的關(guān)鍵部分。在提取目標(biāo)特征的過程中，基本上都采用人工提取法。該提取方法雖然具有較強(qiáng)的針對性，但卻無法同時實(shí)現(xiàn)對多目標(biāo)特征的提取及檢測。比如，Haar特征一般都運(yùn)用在對人臉的檢測中，而HoG特征基本上運(yùn)用在對行人的檢測中。按照目標(biāo)的特性來分類，這兩種特征都可以歸屬到底層特征中，底層特征無法全面展現(xiàn)目標(biāo)特性，所以在實(shí)際運(yùn)用中會導(dǎo)致分類錯誤率提升。

近年來，科技的發(fā)展使機(jī)器學(xué)習(xí)逐漸成為目標(biāo)檢測方法中的主要研究對象。機(jī)器學(xué)習(xí)中，多層人工神經(jīng)網(wǎng)絡(luò)展現(xiàn)出了異常強(qiáng)大的學(xué)習(xí)能力，因此人工神經(jīng)網(wǎng)絡(luò)越來越受到研究人員的重視。ANN可以獲取到目標(biāo)的自然特征，對提升目標(biāo)識別的準(zhǔn)確率具有重要意義。卷積神經(jīng)網(wǎng)絡(luò)是一類特殊的ANN，是ANN和卷積操作進(jìn)行有效整合而構(gòu)成的一類網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)具有稀疏連接和權(quán)值共享的特性，因此極大地降低了網(wǎng)絡(luò)參數(shù)的數(shù)量。在實(shí)踐中，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測與識別方法展現(xiàn)出非常優(yōu)秀的效果。所以，越來越多的研究人員開始對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，并在此基礎(chǔ)上提出了諸多模型，其應(yīng)用效果也較為良好。

基于Region Proposal的卷積神經(jīng)網(wǎng)絡(luò)和回歸卷積神經(jīng)網(wǎng)絡(luò)設(shè)計多尺度目標(biāo)檢測算法，通過算法對圖像進(jìn)行特征點(diǎn)提取，神經(jīng)網(wǎng)絡(luò)輸入層對輸入圖像進(jìn)行簡單的預(yù)處理，得到圖像的幾何特征圖，實(shí)現(xiàn)最后的目標(biāo)分類與定位的功能，在單個輸入圖像訓(xùn)練多個分類器[2]。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的桿塔圖像識別軟件系統(tǒng)構(gòu)架設(shè)計

2.1 軟件主要功能

第一，用戶管理。用戶管理主要涉及用戶名及密碼管理，相關(guān)內(nèi)容在系統(tǒng)登錄界面進(jìn)行顯示。

第二，照片、視頻的讀入。照片與視頻的讀取是分開設(shè)計的，該軟件能實(shí)現(xiàn)對多張圖片或者一段視頻的讀取。

第三，部件識別。當(dāng)圖片或者視頻中出現(xiàn)相關(guān)目標(biāo)部件時，算法能對目標(biāo)部件進(jìn)行識別，并用高亮顏色進(jìn)行標(biāo)記。

第四，識別檢測控制。視頻播放過程中使用算法對每一幀圖像進(jìn)行處理，不觸發(fā)目標(biāo)時僅僅對視頻進(jìn)行播放，如果目標(biāo)被觸發(fā)，那么需要依據(jù)其中的內(nèi)容，對目標(biāo)進(jìn)行識別與標(biāo)記。

第五，缺陷庫。對出現(xiàn)目標(biāo)的單幀圖像進(jìn)行識別，并將其存儲到缺陷庫中，按照時間、缺陷位置及名稱來對其進(jìn)行分類和標(biāo)識；工作人員能在操作界面對缺陷庫的內(nèi)容進(jìn)行查詢操作。

軟件功能結(jié)構(gòu)圖如圖1所示。

圖1 軟件功能結(jié)構(gòu)

2.2 軟件總體架構(gòu)

軟件以QMainWindow為基本框架，總體分為三大模塊，即圖像讀取模塊、目標(biāo)識別檢測模塊和缺陷庫管理模塊。軟件界面分為文件操作區(qū)、播放控制區(qū)、缺陷信息顯示區(qū)、檢測控制區(qū)、缺陷圖片預(yù)覽區(qū)、主顯示區(qū)及狀態(tài)顯示區(qū)，如圖2所示。

圖2 軟件功能構(gòu)架

2.3 軟件模塊化功能實(shí)現(xiàn)

2.3.1 文件操作模塊

文件操作模塊的主要任務(wù)是做好對目標(biāo)檢測的前期準(zhǔn)備工作，即目標(biāo)圖像的讀取、播放控制及相關(guān)信息采集等。

在讀取文件的過程中，通常會運(yùn)用Qt的文件操作來獲取文件所在路徑，并運(yùn)用OpenCV的數(shù)據(jù)結(jié)構(gòu)來完成對圖像的讀取，最后將其顯示在主窗口中。這種操作方式不但能更加充分地利用文件操作及顯示機(jī)制，而且能按照OpenCV規(guī)定來對目標(biāo)文件進(jìn)行存儲，使圖像處理中能更加便捷地調(diào)用OpenCV庫函數(shù)，提升處理效率[3]。

在播放視頻時，選擇運(yùn)用Qt提供的定時器對播放進(jìn)行控制，運(yùn)用OpenCV提供的視頻接口CvCapture進(jìn)行視頻文件的讀入和操作，定時在Capture中取單幀，并將目標(biāo)以單幀圖片的形式在顯示區(qū)進(jìn)行顯示。操作界面上有一個選擇框，工作人員可以結(jié)合實(shí)際需求來對檢測精度及顯示內(nèi)容進(jìn)行選擇。

文件信息的采集及顯示的目的是對目標(biāo)圖像或者視頻名稱進(jìn)行讀取，并將相關(guān)內(nèi)容在顯示框中進(jìn)行顯示，這有助于幫助工作人員對缺陷圖片進(jìn)行命名，提升操作的便捷性。

2.3.2 目標(biāo)識別檢測模塊

目標(biāo)識別檢測模塊的主要功能是實(shí)現(xiàn)對相位標(biāo)志牌、電力線及絕緣子的判定與識別。

在該軟件設(shè)計過程中涵蓋多重檢測算法。在對目標(biāo)識別檢測的過程中，系統(tǒng)會根據(jù)目標(biāo)種類的不同，選擇不同的算法。所以，在檢測控制區(qū)域設(shè)置了控制按鈕，使工作人員能對不同的目標(biāo)選擇對應(yīng)的按鈕，調(diào)用針對性函數(shù)，實(shí)現(xiàn)對目標(biāo)的檢測與識別。

圖像和視頻載入后，選用上述算法對其進(jìn)行區(qū)分。一般情況下，會運(yùn)用矩形框或橢圓框來對其進(jìn)行標(biāo)識。檢測過程中，能針對某一種形狀和顏色進(jìn)行檢測，還能對某一種形狀和多種顏色來實(shí)施檢測。

對載入系統(tǒng)中的航拍圖像，可以選擇使用Ratio算子邊緣檢測、Hough變換直線檢測和特征檢測算法相結(jié)合的方法進(jìn)行提取，對提取到的線路目標(biāo)運(yùn)用紅色標(biāo)識進(jìn)行標(biāo)注。對絕緣子圖像目標(biāo)，可以選擇使用圖像分割法來實(shí)現(xiàn)對目標(biāo)的分割。如果圖像中的絕緣子存在遮擋，那么可以采用邊緣線來對發(fā)生遮擋的絕緣子進(jìn)行標(biāo)識；對于不存在遮擋的絕緣子目標(biāo)，可以選擇使用直方圖統(tǒng)計法來進(jìn)行標(biāo)記。

3 成果應(yīng)用和效益分析

本項目成果適用于不同電壓等級的輸電線路無人機(jī)巡檢場合，只需巡檢線路附近具有4G網(wǎng)絡(luò)，即可實(shí)現(xiàn)一定范圍內(nèi)的無人機(jī)自主巡檢。無人機(jī)自主巡檢系統(tǒng)將極大地提高巡檢效率，傳統(tǒng)人工操控?zé)o人機(jī)一天一人巡檢30基桿塔，自主巡檢系統(tǒng)一天可以巡檢90基桿塔，巡視效率是之前的3倍。但是，前期采集桿塔拍攝點(diǎn)精確位置及此位置對應(yīng)相機(jī)云臺姿態(tài)參數(shù)需要投入較大人力和物力。如果該智能巡檢系統(tǒng)能正常應(yīng)用在線路巡檢項目中，將會極大地提高巡檢的智能化和巡檢作業(yè)效率，減少人工操作。

以某供電公司每年需要對管轄范圍內(nèi)100基桿塔進(jìn)行巡檢作業(yè)一次為例，就時間成本、硬件成本和人工成本進(jìn)行對比，結(jié)果如表1所示。

表1 對比表

從表1可知，人工操控?zé)o人機(jī)的人力成本=500元/天×2人×5天=5 000元，而自主巡檢的人力成本=500元/天×1人×1天=500元。因此，如果采用自主巡檢方式后，巡檢越多，成本越低。

4 結(jié) 論

基于卷積神經(jīng)網(wǎng)絡(luò)的電力桿塔圖像識別學(xué)習(xí)算法在無人機(jī)自主巡檢系統(tǒng)中的運(yùn)用，能改變該公司輸電線路巡檢的作業(yè)方式，即從現(xiàn)有的無人機(jī)和人工協(xié)同巡檢逐步轉(zhuǎn)變?yōu)橐詿o人機(jī)為主的自主巡檢，在大幅度節(jié)省人力成本的同時，極大地提升了輸電線路無人機(jī)巡檢的效率，同時也有效彌補(bǔ)了該公司巡檢人員不足的缺口。本項目的成果將有助于推動該公司實(shí)現(xiàn)所有無人機(jī)自動駕駛的終極目標(biāo)。