一種改進SSD 的輸電線路電力部件識別方法

王朝碩，李偉性，鄭武略，王寧，趙航航

1.中國南方電網超高壓輸電公司信通中心，廣東 廣州 510000

2.中國南方電網超高壓輸電公司廣州局，廣東 廣州 510000

隨著計算機視覺和無人機技術的快速發展，無人機和計算機視覺技術相結合在智能電網中的應用需求越來越多，而且一些成果已經應用到輸電線路電力部件的智能巡檢和在線監測中[1]。實現對輸電線路電力部件智能巡檢的關鍵是對電力部件進行識別和定位。輸電線路的主要部件包括絕緣子、間隔棒、防震錘和均衡環等，在無人機拍攝電力部件的過程中，由于距離的因素，這些電力部件距離無人機較遠，在圖像上顯示的尺寸較小，是典型的小目標識別問題。

傳統圖像識別方法以圖像二值化和邊緣檢測為基礎，通過尺度不變特征變換[2]、局部二值模式[3]等算法來提取圖像的梯度、顏色、紋理、邊緣和形態等顯著特征[4]，但這些特征提取算法需要根據目標預先設定特征參數，對拍攝角度距離差異、光照影響和復雜背景干擾較為敏感，難以設計通用的特征提取模型來描述不同情景下的物體。因此，其識別準確率較低、魯棒性較差，不適用于電力小部件識別。

隨著深度學習的迅速發展以及硬件水平的提高，深度卷積神經網絡在計算機視覺領域取得了巨大的成功，而且電力部件的數據集越來越多，為深度學習在電力部件識別和定位中的應用奠定了基礎。文獻[5]通過優化更快的基于區域建議卷積神經網絡(faster region-based convolutional neural network,Faster RCNN)[6]損失函數和自建ImageNet圖像樣本庫對輸電線路多目標圖像進行識別和定位，但改進后的網絡模型依然保留高層特征，拋棄淺層特征，對小目標識別和定位效果較差，且檢測速度較慢，實時性難以得到保證，無法進行實際應用。基于回歸的one-stage 目標檢測算法以SSD[7]、YOLO[8]為主，one-stage 算法在檢測速度方面遠快于基于區域興趣的two-stage 目標檢測算法，能夠達到實時檢測的要求。YOLO 算法將特征圖等分為n×n的網格，但是當多個小目標落在一個網格中的時候，會漏檢和誤檢目標。利用SSD 檢測模型檢測小目標時，其只用VGG16特征提取網絡結構中的conv4_3 層，語義信息不夠豐富，因此SSD模型檢測小目標效果較差。Liu等[9]對SSD 進行了改進，充分利用特征層之間的上下文信息，使用殘差網絡提升特征網絡的表征能力，提出了引入反卷積的單階段多框檢測器(deconvolutional single shot detector,DSSD)模型[10]，但檢測速度較慢。

針對以上問題，本文提出了基于注意力機制和多尺度特征融合的amSSD 電力部件識別網絡，在經典SSD 網絡的特征提取階段引入注意力機制，進一步提升網絡的特征提取能力，增強特征圖的語義信息。同時，為解決SSD 識別尺寸較小電力部件效果差的問題，使用膨脹卷積操作來增大淺層特征圖的感受野，并通過反卷積操作將不同語義信息的特征圖進行融合，提升算法的檢測精度，而且有較高的檢測效率。利用實際飛行采集的電力部件數據對算法進行了測試驗證，并與SSD 算法進行對比分析。

1 相關技術理論和算法

1.1 注意力機制

在計算機視覺領域，注意力機制包括基于項的注意力[11]和基于位置的注意力[12]。基于項和基于位置注意力機制的輸入形式不同，基于項注意力的輸入可以是特征圖、向量或者矩陣形式的序列項，或者添加預處理操作來生成序列項；而基于位置注意力的輸入形式為單獨的特征圖，可以通過位置指定所有的目標。基于位置的注意力直接作用在特征圖的某一區域上，應用較為廣泛；基于項的注意力能夠進行端對端訓練，并且不會較大地改動原有結構。因此，本文在特征提取層引入基于項的通道注意力機制網絡結構(SENet)[13]。

1.2 反卷積

小目標往往更依賴淺層特征，因為淺層特征有更高的分辨率，淺層包含的細節信息比較多。因此，本文采用反卷積操作[14]，將具有高語義信息的高層，經過反卷積操作后，與淺層特征圖相融合，使淺層特征圖語義信息更加充足，對小目標檢測更有效。反卷積，也即卷積操作的逆運算，通過轉置卷積核，與卷積后的結果再次進行卷積，卷積過程與反卷積過程示意圖如圖1 所示。

圖1 卷積和反卷積

圖1(a)為卷積正向傳播操作，5 像素×5 像素的特征圖經過3×3 的卷積核卷積運算，步長為2，填充為1 的卷積操作之后，得到大小為3 像素×3 像素的特征圖；圖1(b)為反卷積操作，2 像素×2 像素的特征圖通過填充補零與3×3 的卷積核進行卷積運算，得到4 像素×4 像素的特征圖。反卷積的輸入輸出關系為

式中：o′為輸出；i為特征輸入；s為步長；k為卷積核尺寸；p為卷積操作中的邊界填充(padding)。

1.3 SSD 模型

1.3.1 SSD 網絡結構

SSD 模型以VGG16 為基礎網絡，但是將VGG16的全連接層fc6 和fc7 轉換成卷積層conv6 和conv7，conv6 層和conv7 層的卷積核大小分別為3×3 和1×1，并添加特征提取層。VGG16 中的conv4_3 層特征圖大小是38 像素×38 像素，主要用于識別小目標。使用SSD 網絡中6 種不同的特征層組成多尺度特征層，實現多尺度檢測。SSD 網絡結構如圖2 所示。

圖2 SSD 網絡結構

1.3.2 SSD 檢測流程

SSD 檢測算法使用的6 種特征圖大小分別為38 像素×38 像素、19 像素×19 像素、10 像素×10 像素、5 像素×5 像素、3 像素×3 像素和1 像素×1 像素，針對不同的特征圖，都設置了不同大小的默認框，設置默認框的計算為

式中：k表示第k個特征圖；S k表示最底層的默認

框占輸入圖像的比例；Smax和Smin表示S k的最大值和最小值。默認框的寬高比，每個默認框的寬、高的計算為

當r=1 時，增加默認框的尺度為，該默認框的寬、高為

通過上述方法，SSD 算法可獲得大量的正負樣本，算法通過比較交并比(intersection-over-union,IOU)值，得到真實目標框。實際中，默認框中很小一部分為真實目標框，為使正負樣本保持平衡，SSD 算法采用困難樣本挖掘方法[15]，隨機抽取負樣本，按照置信度分數從高到低排列，將誤差小的作為正樣本，并使正負樣本數量的比例為1：3。

1.3.3 損失函數

SSD 算法的目標損失函數包括分類預測損失和位置回歸損失兩部分。總體目標損失函數為

式中：N為匹配的默認框數目，當N為0 時，損失設為0；α為平衡分類預測損失和位置回歸損失的權重參數；Lloc為位置回歸損失。使用SmoothL1損失函數[16]計算預測的偏移量(l)與真實的偏移量(g)之間的損失，然后對默認框的位置偏移量進行回歸計算：

式中：pos 為正樣本默認框；li為預測的第i個正樣本的位置偏移量；為默認框i與真實框j之間位置的偏移量；為位置偏移量為默認框i的中心坐標、寬和高；為真實框j的中心坐標、寬和高。

Lconf為分類預測損失，使用Softmax 損失函數：

式中：neg 為負樣本檢測框；xij={1,0}表示默認框i與真實框j的類別是否匹配；為預測的正樣本的置信度分數；為預測的負樣本的置信度分數。

2 改進SSD 模型的電力部件識別

2.1 改進模型結構設計

本文提出注意力機制和反卷積多尺度融合的輸電線路電力部件識別模型，通過膨脹卷積、通道加權更新、反卷積等操作，增強淺層特征層的感受野和語義信息，提升模型對較小尺寸電力部件的識別能力。改進后的模型amSSD 如圖3 所示。

圖3 amSSD 網絡結構

2.2 引入SENet 結構

SENet 結構能很容易添加到常見的卷積神經網絡結構中，增強特征提取階段的感受野，提高與目標相關特征通道的權重，抑制與目標無關的特征通道，進一步提升特征圖的語義信息。在SENet 結構中，注意力機制的最重要的操作是擠壓(squeeze)和激勵(excitation)。首先，對輸入SENet 結構中的特征圖進行全局平均池化(global average pooling，GAP)[17]，得到長度為M的實數列，使每個通道上的特征圖具有全局的感受野，從而使感受野較小的淺層特征圖能夠利用全局信息[18]，提升網絡的特征提取能力，得到圖像更為豐富的語義信息；其次，將長度為M的實數列輸入到全連接層，先降維成1×1×?M/r」的向量，使用ReLU激活函數[19]，再升維成1×1×M的向量，采用Sigmoid激活函數計算通道的權重系數；最后，將權重系數乘以對應特征通道，以此更新特征圖。圖4 為SENet 結構，I表示輸入SENet 結構的特征圖；O表示通道更新后輸出的特征圖。本文分別在SSD 網絡的fc7 層、Conv8_2 層、Conv9_2 層、Conv10_2 層、Conv11_2 層引入SENet 結構，更新這5 個層的特征圖，具體如圖4 所示。

2.3 反卷積多尺度特征融合

由于尺寸較小的電力部件主要通過Conv4_3層特征圖進行識別，因此需要提升該層的語義信息。本文采取的改進措施主要有以下2 個方面：

圖4 SENet 結構

1)對細節信息較高的淺層Conv3_1 層做膨脹卷積，目的是增大感受野，損失較少的細節信息，使得特征圖具有更多的全局信息。本文選取的dilation 值為2、步長為2、邊緣填充值為2；再將膨脹卷積后的特征圖與Conv4_3 以特征通道拼接的方式進行融合，得到38 像素×38 像素×1 024像素大小的特征圖；最后采用1×1×512 大小的卷積核對融合后的特征圖執行卷積操作，輸出38 像素×38 像素×512 像素大小的語義信息更加豐富的特征圖Conv4_d，有利于識別尺寸較小的電力部件。

2) 對語義信息較豐富的高層特征圖經過反卷積操作與淺層特征圖融合，從而使淺層特征圖能夠融入較豐富的語義信息，然后進行多尺度特征圖識別圖像中的電力部件。首先，采用反卷積操作擴充 Conv11_2 層 的特征圖，和Conv10_2 層特征圖大小相同；然后，將擴充后的特征圖與Conv10_2 特征圖以對應通道相加的方式進行融合，更新Conv10_2 層的特征圖；最后，將更新后的Conv10_2 層的特征圖采取同樣的方式進行反卷積擴充，并與Conv9_2 層特征圖融合，并更新Conv9_2 層的特征圖。同理，依次更新Conv8_2、fc7 和Conv4_3 層的特征圖。通過以上2 種改進措施，得到的Conv4_3 具有較強的細節分辨率信息和較高的語義感受野，能夠較好地進行較小尺寸電力部件識別和定位。

最后在預測模塊中對更新后的多尺度特征圖進行分類和回歸計算，得到電力部件識別定位結果。

3 實驗及結果分析

本文實驗使用Ubuntu 16.04 操作系統搭建深度學習環境，顯卡型號為NVIDIA GeForce GTX 2080Ti，采用的深度學習框架為Pytorch 1.3.1。

3.1 數據集及實驗參數

本文的數據集為航天圖景(北京)科技有限公司無人機拍攝的輸電線路電力部件圖像，包括絕緣子(insulator)、間隔棒(spacer)、防震錘(damper)和均衡環(ring)共4 類目標，數據集中訓練集圖片30 000 張，測試集圖片10 000 張。通過圖像標注軟件生成記錄目標位置坐標信息的xml 標簽文件[20]。

3.2 實驗結果及分析

實驗采用的預訓練基礎模型為VGG16，初始學習率為0.000 1；迭代訓練6 萬次和8 萬次后學習率分別降低為0.000 01 和0.000 001，使模型更容易收斂；共訓練90 000 次，動量為0.9，權重衰減為0.000 5，輸入模型中的圖像大小為300 像素×300像素；當迭代到40 000 次時訓練趨于穩定。其訓練損失統計如圖5 所示。

本文針對Faster RCNN、SSD 和本文提出的amSSD模型在測試集上進行對比實驗，評價指標為準確率(average precision,AP)、平均準確率(mean average precision,mAP)和識別速率(frames per second,FPS)，得到如表1、2 所示的識別結果，部分實驗結果對比如圖6、7 所示。

圖5 訓練損失統計

表1 不同方法電力部件識別結果 %

表2 不同方法平均識別準確率和識別速率

圖6 本文提出的amSSD 模型電力部件識別結果

圖7 原始SSD 模型電力部件識別結果

從表1 中可以看出，針對4 種電力部件絕緣子、間隔棒、防震錘和均衡環，SSD 算法的識別準確率分別是88.6%、82.9%、79.1%和82.3%；Faster RCNN 算法的識別準確率分別是90.1%、85.6%、75.2%和80.4%；而本文提出的模型識別準確率分別是92.2%、90.6%、87.6%和87.5。從表2 中可以看出，Faster RCNN 的mAP 為82.5%，速度為16 FPS；SSD 算法的mAP 為83.4%，速度為47 FPS；本文算法的mAP 為89.6%，速度為38 FPS。其中，Faster RCNN 的識別準確率和識別速度最低，本文算法識別準確率最高，SSD 算法的識別速度最快。本文算法比SSD 算法平均識別準確率提高了6.2%，針對較小的電力部件如間隔棒和防震錘，識別率分別有7.7%和8.5%的較大提升，提升效果明顯。同時本文算法的識別速度為38 FPS，相對原始SSD 識別速度下降了9 FPS。這是由于amSSD 模型增加了膨脹卷積層、SENet 結構和反卷積層，導致計算量增加，但算法仍能滿足輸電線路巡檢實時性的要求。因此，綜合評價部件識別率和巡檢系統的實時性能，本文提出的算法性能是最優的。

4 結論

本文以SSD 網絡為基礎，通過在特征提取階段引入通道注意力機制和多尺度特征融合，提出了一種改進的amSSD 輸電線路電力部件識別網絡。實驗表明本文提出的網絡在輸電線路電力部件數據集上的識別性能與原始SSD 和Faster RCNN相比更加優異,識別速度相較于SSD 有一定下降，但仍能滿足實時檢測要求。

1)與原始SSD 和Faster RCNN 相比，本文提出的改進模型針對較小尺寸的電力部件具有更低的漏檢率和更高的準確率。同時，尺寸較大的電力部件保持著良好的識別和定位效果。能夠為后續輸電線路故障檢測打下堅實的基礎。

2)本文的進一步工作將對損失函數進行改進，增大難分負樣本的權重占比。在此基礎上，繼續進行電力部件故障檢測算法的研究。