基于DeepLab v3+深度卷積網絡的輸電導線圖像識別方法

楊傳凱， 孔志戰， 謝倩楠， 杜建超

(1. 國網陜西省電力公司電力科學研究院，陜西 西安 710100；2. 國網陜西省電力公司，陜西 西安 710048；3. 西安電子科技大學通信工程學院，陜西 西安 710071)

0 引言

輸電導線是重要的電力設備，需要進行定期巡檢，保障其安全運行。隨著技術的發展，無人機巡檢成為新興的研究熱點，其目標是大幅提高工作效率，實現缺陷的自動檢測和識別[1]。在無人機巡檢過程中，導線識別是一項重要內容，可以為無人機提供導航和避障依據。此外，對導線舞動、工程車侵入電力區域等異常檢測，導線識別都是必要的基礎工作。

一些研究采用傳統的數字圖像處理方法來實現導線檢測。傳統的方法利用導線的灰度值、邊緣輪廓[2]等淺層特征對圖像像素進行處理，并結合Hough變換[3]等提取導線。但往往由于戶外圖像背景復雜，樹枝、柵欄、建筑物邊緣的輪廓和灰度值與導線相似，對導線檢測結果產生干擾，使得檢測結果變差，難以廣泛應用。近年來，以深度卷積神經網絡(deep convolutional neural networks,DCNN)為代表的人工智能方法快速發展，在圖像分類[4]和識別[5]等方面取得很多成果。DCNN可以自動提取特征，適應復雜多變的場景，已用于許多電力設備的識別與故障檢測，如桿塔[6]、絕緣子[7]等。由于圖像中導線細長的特點，基于DCNN的導線檢測算法相當于對導線進行語義分割，實現像素級別的分類。目前，語義分割算法被用于許多圖像處理領域，如遙感圖像分割[8]，裂縫識別[9]，煙霧區域分割[10]等方面。因語義分割網絡能夠挖掘更深層次的目標特征，已有學者將其應用于導線檢測中，并取得了良好的效果[11]。最新的語義分割網絡DeepLab系列[12]網絡結合DCNN和概率圖模型DenseCRFs，取得了比DCNN更好的檢測精度。隨后，谷歌公司采用解碼器進一步改進DeepLab v3，并在空間金字塔池化結構[13]和解碼器部分引入深度可分離卷積[14]降低網絡的計算復雜度，獲得目前效果最好的語義分割網絡DeepLab v3+網絡[15]。

為解決傳統數字圖像處理技術在導線檢測中準確率低的問題，文中基于DeepLab v3+網絡設計一種輸電導線自動識別方法，與其他方法相比具有更優的識別效果和更高的準確率，并且能夠應用于輸電線路巡檢領域，促進巡檢的智能化發展。

1 基于DeepLab v3+的導線提取

1.1 網絡結構

采用DeepLab v3+網絡初步識別輸電導線，其結構見圖1。在編碼器部分，先將圖像送入Xception[14]網絡提取導線特征，然后通過多孔空間金字塔池化(atrous spatial pyramid pooling,ASPP)結構獲取導線的多尺度特征。在解碼器部分，先將編碼器輸出的多尺度特征進行4倍的上采樣操作，然后融合相同分辨率的淺層特征，最后通過上采樣操作恢復到與原圖相同的尺寸，得到導線的分割結果。

圖1 DeepLab v3+網絡結構Fig.1 Structure of DeepLab v3+ network

1.1.1 編碼器

編碼器采用Xception網絡進行特征提取。由于池化層會造成細節和位置信息丟失，Xception網絡刪減池化層引入空洞卷積，在不改變特征圖尺寸的情況下，自由感受視野，匯聚高層語義信息。同時，Xception網絡引入通道可分離卷積[14]，將通道信息和空間信息去耦合，減少網絡訓練過程中的參數量，降低網絡的計算復雜度。

1.1.2 ASPP結構

DeepLab v3網絡的ASPP結構包括4個并行的不同空洞率的空洞卷積層，能結合不同尺度的特征，獲得物體的多尺度信息。由于空洞卷積會隨著空洞率的增加而退化，不能獲取遠距離信息，因此DeepLab v3+網絡的ASPP結構在其基礎上進行改進，引入全局圖像池化，增加圖像級的特征。

1.1.3 解碼器

DeepLab v3+網絡引入1個解碼器，逐步恢復特征提取過程中丟失的細節和位置信息。具體實現步驟為：首先將編碼器輸出的特征圖進行4倍上采樣，然后與特征提取網絡中具有相同空間分辨率的低層特征融合，最后再進行4倍上采樣，恢復到與原圖大小相同的尺寸。在特征提取網絡中，特征圖的通道數較多，因此在特征融合前，要采用1×1的卷積對低層特征進行通道數變換。

1.2 導線提取

DeepLab v3+網絡通過訓練數據集，提取并學習輸電導線圖像特征，不斷調整網絡的權重參數，實現端到端像素級的分類。文中使用包含2 533張512×512大小的導線圖像和對應標簽圖像的數據集訓練網絡，導出可用于導線檢測的PB模型，并基于TensorFlow框架調用PB模型初步分割導線，結果如圖2所示?？梢钥闯?，采用DeepLab v3+網絡能夠實現導線的初步分割，但分割結果有斷裂和偽導線的問題，需要對分割結果作進一步的精細化處理。

圖2 DeepLab v3+分割結果Fig.2 Segmentation results of DeepLab v3+

2 提取結果優化處理

在初步分割結果圖中，首先采用改進的最小點對法對斷裂導線進行連接，再采用長度閾值法去除偽導線，獲得完整的導線識別結果。

2.1 斷點連接

常用的斷點連接方法有：最小點對法和膨脹細化法[16]。由于膨脹的次數與斷點之間的距離有關，因此當斷點之間距離較遠時不能采用膨脹細化法。最小點對法容易出現導線錯誤連接的情況，導致不在同一條導線上的斷點連接到一起，并且當斷點之間距離較遠或相鄰導線之間距離較近時，這種情況發生的可能性更大。

針對最小點對法容易出現錯誤連接的問題，文中提出一種基于改進的最小點對法的斷點連接算法，在進行斷點匹配時增加共線約束條件，圖3為斷點連接的具體過程。改進的連接算法主要分為4個步驟。

(1) 骨架化。采用文獻[17]中的算法對導線進行骨架化，獲得單像素的導線骨架，結果如圖3(b)所示。

(2) 斷點搜索。通過步驟(1)獲得單像素的骨架圖，對骨架圖中的每一個像素點，判斷是否為斷點。判斷準則：如果該像素點為前景像素，且該像素的八鄰域有且只有1個前景像素，則認為該像素點為斷點。

(3) 斷點匹配。如圖4所示，對于骨架圖中的每一個斷點B，搜索與之匹配斷點C，判斷是否滿足以下匹配準則：

(a) 最小距離準則。B為當前斷點，其所在線段的另一個端點為A(也是斷點)，同理C和D是斷點，也是另一條線段上的2個端點。假設兩斷點之間的距離閾值為D1，計算斷點B和C之間的歐式距離dBC。若dBC

(b) 共向準則。取骨架圖中方向差異最小的2條導線之間的夾角作為閾值Θ，分別計算線段AB及CD與x軸的夾角θAB和θCD，若|θAB-θCD|<Θ，則滿足共向準則，繼續判斷是否滿足共線準則。

(c) 共線準則。點到直線距離的閾值D2為導線寬度的2倍，分別計算斷點C和D到直線AB的歐式距離dC和dD，若同時滿足dC

(4) 斷點連接。由于輸電線路圖像中導線基本呈現直線狀態，且導線斷裂部分不影響導線總體狀態，因此可以采用直線連接步驟(3)匹配到的2個斷點，斷點連接結果如圖3(c)所示。

圖3 斷點連接過程Fig.3 Connected process of breakpoint

圖4 斷點連接準則Fig.4 Connected criterion of breakpoint

2.2 去除偽導線

經DeepLab v3+分割后的輸電導線圖像中存在少量的偽導線，采用長度閾值法去除圖中長度較短的偽導線，圖5為偽導線去除過程。通過八方向搜索法統計導線像素的數量并作為導線長度，如圖6所示，具體實現步驟如下：

圖5 偽導線去除過程Fig.5 Removal process of pseudo lines

圖6 八方向搜索Fig.6 Search in eight directions

(1) 線段長度初始化為0；

(2) 確定線段的起始像素，其八鄰域內有且只有一個前景像素(灰度值為0)；

(3) 在當前像素的八鄰域內搜索下一個前景像素，若搜索到，線段長度加1，并更新到下一個前景像素，同時將當前像素標記為128，防止重復搜索；

(4) 重復步驟(3)直至當前像素的八鄰域內沒有前景像素，到達導線終點；

式中dij和分別為節點間距離的理論真實值和實際測量值。同時定義N個未知節點定位誤差平均值與節點通信半徑R的比值作為相對定位誤差,即

(5) 判斷該導線的長度是否小于閾值，若小于，則認為是偽導線，在檢測結果中去除，否則保留。

去除偽導線后的結果如圖5(b)所示，該方法能較好地去除偽導線，保留真正的導線。

3 導線編號

獲得導線檢測結果后，還需分離出每條導線。基于優化處理后的導線骨架圖，采用八方向搜索法進行分離，分離后對導線編號，結果如圖7所示。具體實現步驟如下：

圖7 導線編號Fig.7 Lines numbering

(1) 導線編號n初始化為0；

(2) 搜索優化后骨架圖中所有斷點(此處指導線的端點)，加入端點集S中；

(3) 取出S中的第一個端點記為A1，采用八方向搜索法搜索其所在導線的另一個端點,記為A2，導線編號n加1，并在原圖中標注導線號碼；

(4) 將端點A1和A2從S中去除，更新端點集S；

(5) 重復步驟(3)和步驟(4)，直至端點集S為空。

4 實驗結果

4.1 實驗環境

實驗使用采集到的78張1 280×720的導線圖像建立數據集。導線標簽圖共有2個類別，即導線和背景。導線標注為黑色(灰度值為0)，背景標注為白色(灰度值255)。為提高網絡的訓練效果，采用旋轉、鏡像和裁剪等方式擴充圖像，擴充后數據集包含2 533張大小為512×512像素的導線圖像。

網絡的訓練參數設置：初始學習率為0.000 1，最大訓練次數為50 000次，計算損失函數時背景與導線的權重比為1∶20，權重衰減系數為0.000 04，特征提取網絡為Xception65，ASPP結構中空洞卷積的空洞率分別為6,12,18。

4.2 結果與分析

為驗證文中所提方法的性能，實驗中將FCN-8s[18]和FCN-8s+網絡模型用來對比。FCN-8s采用VGG16提取目標特征，由于在特征提取過程中經過了5個池化層，因此特征圖的分辨率依次降為原圖的1/2，1/4，1/8，1/16，1/32。通過上采樣操作，融合第3個和第4個池化層的特征，可得較好的分割精度。FCN-8s+通過上采樣操作將VGG16的輸出特征與前4個池化層的特征依次融合，分割結果更精細，更具連續性，但同時存在更多偽導線。

圖8為導線初步識別的實驗結果，可以看出，FCN-8s分割結果中導線大量斷裂，幾乎不能檢測出連續的導線，丟失了導線的語義信息，并存在錯誤分割、漏檢和偽導線。FCN-8s+能檢測出部分導線，雖然與FCN-8s相比導線斷裂減少且連續性提升很大，但由于融合了更底層的特征，使得偽導線更多。而DeepLab v3+網絡的檢測結果中，導線分割最完整，像素分類的準確性最高，最大程度上保留了導線的語義信息，且偽導線非常少。

圖8 網絡檢測結果對比Fig.8 Comparison of network detection results

采用改進的最小點對法和長度閾值法進行精細化處理，并統計13張1 280×720的輸電圖像中導線的識別結果，如表1所示。

表1 實驗結果評價Table 1 Evaluation of experimental results

由于FCN-8s模型初步識別結果較差，因此在精細化提取實驗中僅對比了FCN-8s+和文中方法。由表1可知，文中所提方法經過精細化處理可以準確且完整地識別出導線，正確率可達93%以上，而FCN-8s+僅為65%。圖9為2種方法導線提取結果的效果圖，對于較細的導線，FCN-8s+方法存在漏檢及提取不完整的現象，文中方法則提取更加完整，正確率高。

圖9 導線提取結果對比Fig.9 Comparison of transmission lines extraction results

最后，對文中方法識別出的導線進行提取，分離出圖像所包含的每條導線和總的導線條數，其結果如圖9(d)所示。

5 結論

文中基于語義分割DeepLab v3+網絡，提出了一種輸電圖像中導線的自動檢測算法。由于DeepLab v3+網絡能夠對導線實現像素級分割，并且對位置和細節信息敏感，在初步的識別結果中保留了導線較多的細節信息。針對分割結果中存在的導線斷裂和偽導線等情況，進一步采用改進的最小點對法和長度閾值法進行精細化處理，恢復初步識別結果中導線斷裂的部分，并去除偽導線，最終獲得了較好的導線提取和分離結果。實驗結果表明該算法檢測準確率高，能夠滿足輸電線路巡檢任務對導線檢測的要求。此外，將該算法部署到無人機搭載的嵌入式設備中，可以提高巡檢的智能化程度，實現自主巡檢。

本文得到國網陜西省電力公司科技項目(5226KY18002J)資助，謹此致謝！