基于輕量級深度卷積神經網絡的絕緣子檢測

劉欣宇, 繆希仁， 莊勝斌， 江灝， 陳靜

(福州大學電氣工程與自動化學院， 福建 福州 350108)

0 引言

輸電線路巡檢是電力部門的日常工作， 絕緣子的狀態巡視是其中的重點項目， 若能在無人機巡檢圖像中自動定位并識別出絕緣子， 利用機載智能檢測終端完成初步的圖像篩選， 則可以極大地緩解線路運檢維護人員的工作壓力和強度， 并為后續絕緣子智能診斷技術的研究奠定基礎[1-2]. 然而， 輸電線路覆蓋范圍廣泛， 沿途地貌多樣， 無人機航拍條件復雜， 增加了絕緣子的檢測難度[3].

現有的絕緣子檢測方法大多需人工設計合適的特征提取器來獲得航拍的圖像特征， 用于區分前景與背景. 根據所提取圖像特征的不同， 絕緣子的人工特征可以分為顏色特征、 形狀特征和紋理特征[4]3類.

基于顏色特征方面， Reddy等[5]將原圖轉換到Lab色彩空間， 對此色彩空間上的顏色特征進行K-means聚類， 然后應用自適應神經模糊推理系統(adaptive network-based fuzzy inference system, ANFIS)檢測出11 kV配電網的絕緣子所在圖像區域. 在此基礎上， Reddy等[6]進一步采用支持向量機SVM替換ANFIS作為特征分類器， 提高了檢測精度. 但此類基于顏色特征的方法對于絕緣子與背景的顏色區分度要求較高， 在實際復雜背景下檢測效果并不理想.

基于形狀特征和紋理特征的方法更能適應背景的變化， 其魯棒性更高. Oberweger等[7]提出一個基于橢圓描述算子的檢測算法， 利用高斯差模型提取角點， 用K鄰近算法聚類所提取到的角點， 最后用橢圓描述算子判斷屬于絕緣子的角點. Zhao等[8]提出一種基于多角度檢測和二進制形狀先驗知識的絕緣子檢測算法， 在灰度圖中提取形狀特征進行基于先驗知識的分類. 彭向陽等[9]提出了基于梯度直方圖特征的絕緣子檢測算法， 自動提取和定位可見光圖像中的絕緣子. Wu等[10-11]利用半局部算子提取圖像的半局部紋理分布， 并利用全局最優活動輪廓分割出絕緣子. 王萬國等[12]融合顏色、 形狀和紋理特征檢測絕緣子， 提取出圖像中的平行線段及利用局部二值模式和顏色連通域分析來檢測絕緣子所在區域.

然而， 上述方法均依賴手工設計特征， 一方面， 人工特征提取對圖像預處理的要求極高； 另一方面， 精細的特征提高了精度， 但犧牲了檢測速度. 因此， 特征提取器的設計需要權衡檢測速度與檢測精度之間的矛盾， 特別是面對海量的巡線圖像時， 高效率的檢測方法才能保證日常巡線工作的時效性， 以保障電力系統的安全可靠. 針對上述問題， 本研究面向航拍巡線圖像， 提出一種基于輕量級深度卷積神經網絡(convolutional neural network， CNN)的絕緣子快速檢測方法， 利用可在無人機板載系統運行的輕量級卷積神經網絡代替人工設計的特征提取器， 實現高效率的圖像特征提取. 同時， 使用深度目標檢測網絡 (single shot multibox detector, SSD)處理所提取特征， 快速檢測出航拍圖像中的絕緣子.

1 絕緣子檢測原理

圖1 絕緣子檢測算法原理圖

針對目前絕緣子檢測速度慢和魯棒性低的問題， 提出基于輕量級深度卷積神經網絡的絕緣子快速檢測算法. 方法原理如圖1所示， 在離線訓練階段中， 將歷史巡線影像作為原始數據庫， 通過數據預處理獲得訓練數據集和測試數據集； 將訓練數據集輸入構建好的SSD網絡中進行訓練， 形成基礎模型并進行固化操作， 以獲得檢測模型. 在檢測階段， 將待檢測數據直接輸入訓練好的檢測模型中， 即可迅速得到絕緣子的檢測結果.

1.1 數據預處理

圖2 數據預處理流程圖

數據預處理的流程如圖2所示. 首先對圖像加以旋轉、 裁剪處理， 然后在圖像中標注出絕緣子的種類名稱和所在位置并以XML文檔格式保存. 標注完成后， 將圖像庫隨機抽出部分數據(包括圖像與對應的標簽)作為訓練圖像集用于模型訓練， 剩下的另一部分作為測試圖像集用于驗證檢測結果. 最終， 將上述兩個圖像集轉換為用于高效計算的TFRecord文件格式.

1.2 深度目標檢測網絡(SSD)

SSD旨在解決現有實時目標檢測框架中速度和精度之間的權衡問題[13]. 與之前算法相比， SSD用卷積層替換全連接層， 實現任意尺寸的圖片輸入， 特別適用于目前無人機巡線尚未統一像素尺寸的情況[14]. SSD網絡結構如圖3所示. 基礎網絡用于提取輸入圖像的特征， 輔助網絡采用3×3的小卷積核挖掘更深層的特征且在6個特征圖上生成了一系列固定尺寸的邊界框， 利用這些特征計算出絕緣子坐標框的位置偏移量以及相應的置信度， 在此基礎上， 采用非極大值抑制(non-maximum suppression， NMS) 生成最終的檢測結果.

基礎網絡用于提取高質量圖像特征. 本研究采用輕量級網絡MobileNet作為基礎網絡， 網絡中的可分離卷積縮減了網絡參數和計算量[15]， 其示意圖如圖4所示. Depthwise卷積由M個3×3×1的卷積核構成， 其中M是輸入數據的深度； Pointwise卷積由N個1×1×M的卷積核構成， 其中N是輸出數據的深度. 輸入在兩種卷積操作后， 還需分別進行批次歸一化(batch normalization， BN)正則化操作[16]和ReLU激活函數層的處理.

圖3 SSD網絡結構圖

圖4 可分離卷積示意圖

MobileNet的網絡結構參數如表1所示. 第一層采用3×3的標準卷積核以及32的深度以提取圖像的淺層特征， 后續13層采用3×3的可分離卷積核， 以小尺寸卷積核的堆疊來代替傳統網絡中的大尺寸卷積核， 同時利用步長為2的卷積層代替池化層， 此舉放緩了網絡的下采樣進程并提取出表達能力更強的深層特征. 其中， 在可分離卷積層2、 4、 6、 13進行下采樣并加深卷積層的深度， 以提取不同尺寸特征圖的深度圖像信息.

表1 基礎網絡MobileNet的模型參數

SSD模型在基礎網絡之后增加了額外的輔助網絡用以生成絕緣子檢測器， 預測絕緣子目標位置和類別. 輔助網絡有以下3個關鍵.

1) 輔助網絡是在基礎網絡后增加的一系列卷積層. 這些卷積層在尺寸上遞減， 形成多范圍感受野的特征圖， 以預測多尺度的目標物體. 如圖3所示， 淺層特征圖尺寸較大， 但是其感受野較小； 而深層特征圖的特性則反之. 這種特性使得網絡有能力對輸入圖片進行多尺寸的深度特征提取， 提高絕緣子在尺寸較小情況下的識別準確率.

2) 每個特征圖都對應一系列默認邊界框. 近年提出的區域提議網絡(region proposal network， RPN)利用區域提議的方法進行輔助定位[17-18]， 與常規的后端找框方法不同， SSD在一開始就定義了一系列固定的默認邊界框， 這些邊界框擁有不同的橫縱比和比例系數. 假設有F(本研究F=6)個用于預測目標的特征圖， 其中， 每個特征圖的默認框比例系數依據如下公式生成

(1)

(2)

式中：N是匹配的默認框個數；Lconf是置信度損失；Lloc是位置損失；β為位置損失的權重系數；x為輸入數據；c為置信度；l和g分別代表預測框和真實框. 其中，Lconf采用背景類和目標類置信度之間的Softmax損失， 計算方式如下

(4)

(5)

(6)

(7)

輸入圖像經過SSD模型計算后生成若干預測框， 這些預測框可能存在相互包含或交叉的情況， 因此需要利用非極大值抑制算法過濾掉多余的檢測結果. 非極大值抑制算法的核心是搜索局部極大值， 抑制非極大值元素， 通過框與框之間的交疊率來完成聚類劃分， 移除交疊率較高的預測框. 具體流程如下： 首先計算網絡輸出的每個預測框的置信度， 濾除置信度低于0.01的邊界框； 計算剩下的每個預測框面積并按置信度大小進行排序； 選定置信度最高的預測框， 然后計算這個選定框與周圍預測框的交疊率， 移除大于設定IoU閾值的預測框.

2 實驗結果分析

研究的原始數據集圖片以山丘和樹林為主要背景， 絕緣子的種類包括瓷質絕緣子和復合絕緣子， 所有圖片數據都來自實際的電網無人機巡線. 原圖像素尺寸為4 000 px×3 000 px， 經過圖像預處理后的尺寸都小于1 000 px×1 000 px. 瓷質絕緣子與復合絕緣子總共400張圖片， 隨機抽取出3/4作為訓練集， 余下1/4作為測試集. 其中， 訓練集包含瓷質絕緣子圖片137張， 人工標注的瓷質絕緣子個數為144個； 包含復合絕緣子圖片163張， 人工標注的復合絕緣子個數為179個. 測試集包含瓷質絕緣子圖片40張， 標注41個； 包含復合絕緣子圖片60張， 標注61個.

2.1 模型訓練過程

訓練過程中的主要參數設置如下： 默認框的橫縱比ar∈{1， 2， 3， 1/2， 1/3}； 模型的參數更新方式為均方根誤差優化(RMSProp)， 其初始化的學習速率為0.004， 動量系數為0.9， 訓練批次大小為24； NMS階段中的置信度閾值為0.01， IoU閾值為0.6； 訓練迭代次數為3萬次. 算法使用TensorFlow深度學習框架[19], 在一臺服務器上實現， 服務器的環境是Ubuntu 16.04.3 LTS， Intel Core i7-6850@3.60 GHz 12 CPUs， NVIDIA GeForce GT 1080 Ti GPUs搭配8.0版本的CUDA和6.0 版本的cuDNN， 內存共32 GB.

圖5 平均準確率隨訓練步數變化曲線

離線訓練過程如圖5所示， 一個訓練步數代表模型參數整體更新一次， 每步訓練的平均時間為0.41 s. 由圖5可見， 在模型訓練1萬步后， 兩類絕緣子在測試集上的平均準確率已達到80%附近， 并隨著步數增加而穩步上升， 2萬步后趨向平穩. 訓練后的基礎模型占用內存空間為98.5 MB， 經過固化操作后， 模型大小僅有22.7 MB， 滿足嵌入式移植的要求.

2.2 瓷質絕緣子檢測效果

研究對500 kV線路瓷質絕緣子進行實驗， 從測試集檢測出瓷質絕緣子42個， 其中39個正確識別， 3個誤識別， 2個漏檢. 部分結果如圖6所示， 紅色框為人工標注的真實框， 綠色框為結果框. 瓷質絕緣子由白與紅的絕緣子片構成， 與天空背景的區分度較低， 但本研究提出的檢測方法能較好地完成檢測任務. 同時可以看出圖中的絕緣子都有著不同角度的傾斜， 而且絕緣子并非都處于圖像的正中心. 在這種情況下， 本方法檢測出的檢測框依然十分貼合真實框， 具有較高的交疊率.

圖6 500 kV線路瓷質絕緣子檢測結果

2.3 復合絕緣子檢測效果

在220 kV線路復合絕緣子的實驗中， 算法從測試集中檢測出復合絕緣子57個， 其中52個正確識別， 5個誤識別， 9個漏檢， 部分結果如圖7所示. 由于復合絕緣子的絕緣子片是褐色的， 而且形狀上較為細窄， 導致絕緣子無論在簡單背景還是復雜背景中的區分度都很低， 特別容易受到顏色相近的鐵塔部件的干擾. 然而， 在這種檢測難度較高的情況下， 本方法依然能夠準確檢測出橫、 豎不同角度的復合絕緣子.

圖7 220 kV線路復合絕緣子檢測結果

2.4 檢測結果定量分析

圖8 準確率-召回率曲線圖

本研究采用3個常見評價指標, 即準確率(P)、 召回率(R)以及平均準確率(PA)[20]， 定量評估所提出算法的檢測精度. 結果如下： 瓷質絕緣子的檢測準確率為92.85%， 召回率為95.12%； 復合絕緣子的檢測準確率為91.22%， 召回率為85.24%. 本方法的P-R曲線如圖8所示， 隨著召回率逐漸上升， 準確率一直保持在較高數值， 當召回率接近90%時有小幅度下降， 在召回率接近100%的極端情況下才急劇下降. 兩類絕緣子的P-R曲線都呈現右上凸，PA分別為： 瓷質絕緣子96.29%， 復合絕緣子90.85%， 代表本方法在準確率和召回率上有一個很好的平衡， 檢測精度性能出色. 此外， 采用每秒檢測幀數(F·s-1)作為算法速度的評價指標. 本方法在裁剪后的圖片(1 000 px×1 000 px)上的平均檢測速度為43 F·s-1； 在原圖(4 000 px×3 000 px)上依然能達到35 F·s-1； 在720 P和1 080 P的視頻上分別取得43 F·s-1和39 F·s-1的速度， 滿足實時檢測的速度要求. 方法的整體性能總結于表2. 表中TP表示絕緣子被正確識別的個數； FP表示絕緣子被誤檢的個數； FN表示絕緣子被漏檢的個數.

表2 絕緣子檢測算法整體性能

為了測試SSD模型中默認框比例系數的影響， 選取6種不同的系數組合進行實驗， 結果如表3所示. 算法在smin=0.20，smax=0.95時取得最好效果. 當smin減小， 網絡淺層的默認框尺寸減小， 瓷質絕緣子的檢測精度出現較大幅度下降， 復合絕緣子的檢測精度略微下降； 當smax減小， 深層的默認框尺寸縮小， 兩種類別的檢測精度均出現了較明顯的下滑. 這表明復合絕緣子的檢測更依賴網絡深層默認框的圖像特征， 瓷質絕緣子的檢測對淺層與深層默認框均較為敏感. 但當系數繼續增大時， 精度并沒有進一步提升， 說明默認框的尺寸與最終的檢測精度有密切關系， 一個合適的系數可以更好地擬合待檢測物體的尺寸， 使更多的默認框能貼合圖像中的絕緣子目標， 有助于網絡學習到絕緣子的圖像特征.

表3 默認框比例系數分析

表4 深度學習算法對比

為驗證所提算法的優勢， 額外測試兩個常用的深度目標檢測算法Faster R-CNN[18]及R-FCN[21]， 實驗配置與本文算法一致， 測試結果如表4所示. 得益于區域提議網絡的使用， Faster R-CNN和R-FCN均取得了較高的精度， 其中R-FCN在復合絕緣子上獲得了最高精度， 這是由于R-FCN在網絡結構中引入了全卷積網絡， 達成更多的網絡參數和特征共享， 強化了對復合絕緣子的特征表達能力. 但由于區域提議網絡需要較大的計算資源， 兩種對比算法的計算速度遠遠慢于本文所提算法. 本文算法的平均精度高于Faster R-CNN， 近似于R-FCN， 檢測速度是其他兩種算法的5倍以上， 更加符合巡線的實時檢測需求.

3 結語

針對航拍巡線圖像中的絕緣子檢測， 建立基于輕量級深度卷積神經網絡的目標檢測模型. 該檢測模型無需人工設計特征提取器， 依靠卷積神經網絡CNN提取特征、 處理特征， 形成端到端的檢測網絡， 并且擁有多類目標檢測、 任意尺寸輸入的功能. 采用MobileNet作為目標檢測算法的基礎網絡， 實現了絕緣子的高速高精度檢測. 實驗表明， 對500 kV線路上的瓷質絕緣子和220 kV線路上的復合絕緣子的檢測精度分別達到了96.29%與90.85%， 平均檢測速度達到43 F·s-1， 能夠滿足絕緣子實時檢測的要求. 后續研究圍繞嵌入式算法移植以及更多類別部件的檢測與故障診斷展開， 逐步提升電力巡線系統的智能化水平.