基于深度學習的電力巡檢圖像實時處理與識別算法研究

石志彬，羅望春，莫兵兵，張福

（中國南方電網超高壓輸電公司檢修試驗中心，廣東 廣州 510663）

對輸電線路的狀態進行監控，是電力行業的常態化工作，應用無人機或直升機對輸電線路進行航拍巡檢是目前的主要工作方式，拍攝得到的大量圖片需要人工判斷是否發生缺陷故障，而通過肉眼去判斷則需要消耗大量的人工成本，且工作效率與精準度均不理想[1-3]。隨著深度學習與計算機視覺技術的不斷發展，應用人工智能技術對航拍巡檢圖像進行目標檢測和缺陷識別成為了電力巡檢領域的發展趨勢[4-5]。其研究熱點主要集中于兩點：一是對航拍巡檢圖像進行目標檢測，識別出目標的位置與類型；二是識別航拍巡檢圖像是否存在故障或缺陷[6]。自動化人工智能識別方法的提出，有效提高了輸電線路故障巡檢的效率，降低了人工成本，具有廣闊的應用前景[7]。自2013 年至今，基于神經網絡的深度學習算法在輸電線路目標缺陷識別方面展現出了良好的應用潛力，國內學者王永利通過改進卷積神經網絡的識別異常圖片特征，可以準確、有效地判定出故障的位置[8]。同時，一些國外學者應用SSD 網絡對輸電線路絕緣子進行缺陷識別，提出了經典目標檢測模型，從而提升了訓練圖片的效率[9]。現有研究成果大多針對數據模型展開，側重于模型的訓練技巧，而在深度學習技術的改進以及數據集特征庫的建立等方面的研究仍不夠深入[10-12]。

針對上述問題，該文提出使用基于深度學習的改進Faster-RCNN 模型和HSI 顏色特征相結合的目標檢測方法，實現了對電網巡檢線路的圖像數據集進行各類常規缺陷目標的智能識別。

1 圖像識別處理技術

1.1 圖像歸一化

由于輸電線路目標檢測模型的訓練需要相同格式的數據集，為了便于數據處理，首先需要對圖像進行歸一化預處理。該方法的原則是盡可能少地改變樣本圖像的特征，根據歸一化處理和損失函數處理，減少在轉換與處理時產生較大誤差，從而盡可能完整地保留圖像特征[13]。圖像歸一化的目的是在不改變像素值的情況下，統一圖像的格式和大小。

對無人機拍攝的圖像進行縮放歸一化處理的手段通常是線性插值技術，其采用的是一種將目標圖像的坐標值（像素值）映射到原圖坐標的方式來實現，也即后向映射[14-15]。

雙線性插值又稱為一階插值，但其本身并不是線性的，只是將常規的線性插值拓展到了二維數據的一種應用，該插值方法會將其中的4 個坐標像素值進行加權求和[16]，然后再利用原圖中真實存在的像素值最終決定縮小后圖像的像素值。

1.2 基于HIS顏色模型的特征提取

HSI 顏色模型用H、S、I三個參數來描述顏色特性。其中，H定義為顏色的波長，稱為色調，是對純色定義的屬性，可以反映HSI 色彩空間中顏色的類別；S表示顏色的深淺程度以及鮮艷程度，稱為飽和度，反映了純色被白光稀釋的度量；I表示亮度，是一種主觀描述，在數值上無法測量，但其反映了無色的強度，是一種感覺參數。相較于顏色濃度的變化，人類的視覺系統對于亮度變化的反映程度更強。為了便于色彩的處理及識別，人們通常習慣于用色調、飽和度、亮度來描述物體的顏色。

由于HSI 顏色模型的三個分量可以分開處理且相互獨立，所以這就使得HSI 模型成為了開發基于彩色描述的圖像處理方法的理想工具，可以應用圖像處理與計算機視覺技術相關的大量算法，從而大幅簡化圖像分析及處理時的工作量。

由于強度分量不會對圖像色調產生明顯的影響，因此可以不用加以限制。但是，實際提取出的電網故障區域的HSI 分量范圍仍需要根據轉換結果進行調整。

電網巡檢中常見的銹蝕類故障，通常由圖像的顏色特征進行識別。這就需要首先將圖像由RGB 顏色空間轉換為HSI顏色空間，并提取各個像素點的H、S、I分量值，其中，S和I分量歸一化為[0,1]值。然后通過判斷轉換后圖像每個像素點的HSI 分量銹蝕顏色特征，將銹蝕像素點與非銹蝕像素點分割開來，并將非銹蝕像素點變為白色，使得經過處理過后的圖像只存在銹蝕區域，從而達到目標區域與背景分離的目的。顏色空間轉換的流程，如圖1 所示。

圖1 顏色空間轉換流程

2 基于深度學習的缺陷識別

2.1 Faster-RCNN算法改進

Faster-RCNN 算法是在傳統FR-CNN 算法的基礎上，為了適應小目標場景，在特征層賦予高層語義而實現的。該文為了實現高精度的輸電線路的故障缺陷檢測，在Faster-RCNN 模型網絡中嵌入了密集的連接結構，以RoI Aligin 代替RoI Pooling 的方式建立了改進的Faster-RCNN 輸電線路缺陷檢測算法，從而提高識別精度、增加應用場景范圍。

構建改進Faster-RCNN 模型的關鍵在于有效連接壓縮激勵密集與數據特征結構，然后在此基礎上建立Dense Net 網絡。根據檢測目標特征的空間信息，形成連接兩個激勵層之間的依賴關系。為防止特征層參數過多，需要將通道縮減因子進行壓縮，從C 層壓縮至C/r 層，直至恢復到原有特征參數的數據量水平。

在池化層的調整過程中，首先需要關聯預測層；然后將RoI Align 層與預測層連接；最終建立改進的Faster-RCNN 算法模型。

2.2 缺陷目標識別

采用改進Faster-RCNN 算法對輸電線路缺陷進行識別，對于存在故障的圖片首先利用卷積神經網絡進行處理，并對圖像中的銹蝕部分進行識別，提取圖片中例如銷釘缺失或存在鳥巢等常見故障的特征塊，建立策略網絡（Region Proposal Network，RPN）。然后利用Softmax 激活函數計算映射圖中的每個特征點屬于具體哪一種故障的概率，再將初始圖片拆分成不同的等待區域，選擇一部分區域進入池化層，剩余部分上傳到網絡RPN 層。最終，達到識別圖片中存在故障缺陷的目的。

1）CNN 特征提取

卷積神經網絡是目標檢測的核心技術，Faster-RCNN 采用一組基礎的卷積神經網絡來進行特征的提取，因此該CNN 需要進行數據初始化。Res-101網絡是目前識別精度較高的網絡，其特征提取采用了殘差結構，因此選用其作為輸電線路缺陷識別模型訓練的初始化網絡。

輸入線路特征圖像作為原始的輸入量，卷積神經網絡對輸入信息進行運算，若第一層為卷積層，則該卷積層的輸出向量為：

若第n層為池化層，則該池化層的輸出可表示為：

2）基于RPN 的候選域生成

RPN 有兩個功能：一是在分類層用于生成區域建議目標，判斷候選區域的類別；二是利用邊界框的回歸預測故障缺陷特征的中心目標和區域范圍，并修正檢測框的位置，從而獲得精確的區域劃分方案。

在RPN 模型中，圖片特征可被看作有256 通道的圖像。通過利用卷積核滑窗遍歷整個特征圖，對于圖像中的每個像素點，采用9 種可能的候選窗口以及3 種不同的面積和比例進行處理。分類層輸出每一個位置中屬于前景與背景的概率，回歸層輸出4個平移縮放參數。在回歸層中，該文使用交互比Z作為衡量候選區域框定的準確度：

式中，X、Y表示特征層中不同候選區域的面積。

3）池化層特征維度的歸一化

由于在進行卷積操作時，輸入目標圖片被縮放至統一維度時，難免會損失部分有效信息，這雖然不會在卷積操作和池化操作中產生明顯的影響，但對全連接層的連接會造成改變，并會因此影響最終的識別效果。該文采用空間金字塔池化算法SPP，在使故障缺陷特征部分有效保留的情況下，完成輸入的向量維數歸一化。對每一張輸入的圖像進行三次卷積操作，即采用4×4、2×2、1×1 三種變換因子對特征圖進行池化，取各自區域元素的最大值對該目標區域進行特征表征，并將任意維度的候選域轉換為16+4+1=21 個特征向量，從而解決特征圖大小不一的狀況。

2.3 常規故障缺陷檢測

在獲取到輸電線路巡檢圖像后，進行故障缺陷定位。為了節省特征提取所需要的時間，該文參考YOLOv1 結構，采用SSD 算法進行常規故障檢測。

該算法的關鍵步驟包括：

1）電網巡檢圖像深度特征的提取；

2）不同尺度的特征層融合；

3）采用SSD 損失函數進行多目標處理。

為了克服單步驟模型的缺陷，采用MFIDN 模型進行骨干網絡設計，使用非線性激活函數來提高模型的泛化能力。由于巡檢得到圖像的大部分區域并不含有故障和缺陷，因此為了提高檢測精度，選用平滑L1 損失函數進行回歸分析。當出現故障缺陷時，設計兩組特征提取巡檢圖像的結構，從而提高受檢測圖片的檢測范圍，并對圖像進行卷積操作。具體處理方法是：當航拍圖片的特征圖維度為28×128時，首先對求和計算之后的特征圖進行篩選，然后再進行去噪處理。

3 實驗結果及分析

以南方電網某公司的航拍巡檢圖像數據集為例，進行實驗測試。在圖片數據集中，應盡可能多地涵蓋各種具體情況，例如常見的銷釘缺失故障包括水平、豎直等正常情形，還包括各種不規則排列的銷釘。此外，由于拍攝圖片的環境不同，圖片的效果受到天氣、地點、光線等因素影響。因此在建立圖片樣本集時，充分考慮不同環境因素的影響，選取具有代表性的不同類別圖片進行實驗分析。覆蓋不同角度、光線的銷釘缺失類型，以提高線路缺陷檢測的精度。

采用深度學習算法進行目標檢測，首先需要對樣本數據集進行標注，標記故障的位置信息，此次實驗共標記7 985 張無人機航拍巡檢圖片。隨機選取其中的6 000 張作為訓練集，2 000 張作為測試集，將所有信息匯總至CSV 文件。完成數據標記之后，對圖片進行預處理，基于HIS 顏色模型對所有圖片進行特征提取，增強圖片質量。

基于改進Faster-RCNN 算法對缺陷目標進行識別，并對巡檢圖像數據集進行訓練和實驗。使用Pytorch 深度學習框架初始化模型權重，連接分類器和融合結構并對實驗結果進行分析。與傳統的MFIDN 目標識別算法相同，該文雖然也采用了HOG、SURF 特征，但憑借所提出的改進Faster-RCNN 算法，使得所提方案具備了更為理想檢測能力。應用該文方法對巡檢圖像中的常見故障缺陷檢測結果，如圖2 所示。

圖2 航拍巡檢圖像實時檢測結果

為了驗證該文所提方法的有效性，分別使用不同的損失函數對改進的Faster-RCNN 算法進行訓練。表1 列出了不同組別下的AP 值。從表中可以看出，在L1 損失函數和Logistic 條件下的AP 值最高，且模型性能最優。

表1 MFIDN損失函數驗證

當定位損失采用平滑L1 損失函數、類別損失使用Logistic 交叉熵損失函數時，對輸電巡檢圖片進行目標檢測，判斷所提算法的有效性。表2 為幾種基于深度學習的目標缺陷檢測對比結果。從表中可以看出，隨著網絡模型的優化與改進，圖片的識別精度不斷提高。與其他類似的方法相比，該文提出的改進深度學習算法在測試數據集上實現了較為理想的目標檢測效果，實時處理時間最短，且故障缺陷的識別精確率可達92.54%。

表2 故障缺陷識別精度對比

4 結束語

針對深度學習算法實時性差、精度低等問題，該文提出采用基于深度學習的改進Faster-RCNN 模型和HSI 顏色特征相結合的目標檢測方法，對電力巡檢圖像進行實時處理與識別，并通過實際實驗分析驗證了文中所述方法的有效性。但該文所述算法采用了多個網絡提取特征，通過特征融合解決識別精度問題，并增加模型的冗余度。在下一步工作中，應研究更簡化的網絡特征提取模型，實現端對端的訓練。