架空輸電線路無人機缺陷智能識別技術研究

付子峰，袁 野，李 響，吳星奇，于 江

（國網湖北省電力有限公司超高壓公司輸電檢修中心，湖北 武漢 430064）

0 引言

基于計算機視覺的目標識別方法可以分為圖像分類、目標識別、圖像分割等。輸電線通道巡視圖像隱患識別是特定場景下進行特殊類別的目標識別，使用圖像分類無法準確得到目標的位置信息，使用圖像分割標注麻煩，而且遠距離分割精度無法保證，通過對通用網絡結構進行改進，提升輸電巡視圖像中缺陷和隱患的識別效果［1-3］。

基于深度學習的目標識別算法可以劃分為監督學習方法、無監督學習方法以及弱監督學習方法：由監督學習方法中已知所有圖像中目標的位置和類別，通過對已知信息學習進行模型的訓練；無監督學習方法是完全不知道圖像以及訓練的目標，讓神經網絡自己從訓練圖像中總結提煉進而完成模型的訓練；弱監督學習方法又分為不完全監督、不確切監督和不準確監督，這3 類方法都有一些訓練標簽，但可能是不完整的、粗粒度的或者不準確的［4-6］。目前無監督學習和弱監督學習在目標識別領域的研究進展緩慢，并沒有取得突破性進展，因此本文基于有監督深度學習進行研究。

從巡檢圖像中定位缺陷和隱患目標識別主要分為2個步驟：目標分類和目標定位；分類主要用于判斷出輸入圖像中具有所需特征的缺陷或隱患目標，定位則是確定目標在圖像中位置和范圍，這兩個步驟保證了系統目標識別的準確性和實時性［7-9］。

不同于傳統的手動特征提取，深度卷積網絡提供了一種端到端的學習模型，模型中的參數可以通過梯度下降方法進行訓練，使網絡模型能夠自主學習圖像特征，完成對圖像特征的提取和分類［10-12］。在卷積層中，一個神經元只與部分鄰層神經元連接。基于深度神經網絡的目標識別系統在設計過程中，主要涉及到3個流程：圖像選擇性預處理、圖像特征提取及候選框優化、特征分類［13-15］。卷積神經網絡主要是由卷積層、池化層以及全連接層組成，原始圖像從最左端的輸入層進入網絡，然后不斷地經過卷積層和池化層來對其進行處理，最后經過全連接層以得到網絡的輸出特征圖［16-18］。深度學習模型算法通用的缺陷和隱患目標識別過程如圖1所示。

圖1 卷積神經網絡結構Fig.1 Convolutional neural network structure

針對輸電巡視圖像中缺陷和隱患目標識別應用場景需求，采用以Faster-RCNN（Faster-Region Convolution Neural Network）為代表的Two-Stage 目標識別算法，作為總體技術路線框架。

1 目標識別原理分析

目標識別任務中，特征提取網絡的特征表達能力對目標的分類和定位至關重要。邊框回歸方法使用對邊框的不同表達方式，回歸目標在圖像中的位置信息，對于目標的準確定位具有非常重要的影響［19-21］。輸電巡視圖像在經過特征提取網絡提取特征之后，送入邊框回歸方法進行缺陷或隱患的定位和分類，從而完成目標識別任務。目前基于深度學習的目標識別算法大致可以分為3類：1） 基于回歸（Bounding Boxes）的目標識別與識別算法，例如YOLO、SSD；2） 基于區域建議（Region Proposal）的目標識別與識別算法，例如Faster-RCNN；3） 基于進一步調整網絡優化的Cacscade RCNN，FCOS等［22-24］。

Faster-RCNN 模型可以主要概括為4個主要的組成部分，包括卷積神經網絡（CNN）層、區域建議網絡（RPN）層、區域興趣池化（ROIPooling）層以及全連接（Softmax）層［25-27］，其網絡結構如圖2 所示。Faster-RCNN 的輸入圖像尺寸可以是任意大小，輸入圖像首先經過卷積神經網絡來提取圖像的特征圖，提取出來的特征圖分別用于后續的RPN層和全連接層；將提取出的特征圖作為輸入用于RPN層中，RPN網絡用于生成圖像的候選區域（region proposals）和區域得分，接著將RPN 層的proposals 輸出和卷積神經網絡提取出的特征［28-30］圖輸入Roi Pooling 中，將不同大小的區域歸一化到固定大小的特征圖，最后再將其送入后續的全連接層，計算proposals的類別，并且用邊框回歸得到識別框的最終位置信息，從而實現從原始巡檢圖像中識別定位出缺陷和隱患目標。

圖2 Faster-RCNN網絡結構圖Fig.2 Faster RCNN network structure diagram

2 缺陷及隱患識別算法優化

1） 特征提取網絡優化

深度學習網絡層數少時，可通過不斷增加網絡深度以增加分類的準確率，但是隨著網絡結構越來越深，會出現網絡退化現象，訓練的準確率會趨于平緩，訓練誤差會變大。為了解決這種退化現象ResNet 通過使用多層網絡來表達輸入輸出之間的殘差關系，設計了含有跳層連接的殘差網絡，解決了深度網絡訓練過程中出現的梯度消失的問題。以ResNet 為基礎對殘差模塊進行改進可以得到變體網絡ResNetXt，為了減小ResNetXt-101 conv4 處的Block 數量，保持并盡可能提升原始網絡結構的特征提取能力，在conv1、conv2 和con5 每部分的最后一層逐點卷積處增加通道數量，這樣就可以將殘差通道與深度連接通道進行融合，在網絡的前面幾層提取新的特征向量，在網絡的中間層實現對提取特征的重復利用，提取出高純度的特征向量。

2） 目標識別網絡優化

Cascade R-CNN 網絡針對Faster-RCNN 網絡中一個標準的基于RPN 的兩階段識別器往往由于IOU 的設置不合理導致識別效果下降問題，通過在多個不同IOU閾值下分別訓練識別器后將其級聯起來會使得識別效果提升。具體地，一張圖像經過特征提取網絡后，首先在較低的IOU 閾值下訓練RPN 網絡，并得到這張圖像第1 個階段識別出的目標類別信息和邊界框信息，將這些輸出作為第2階段RPN網絡的監督信號，在另一個提升的IOU 閾值下生成新的RPN 網絡樣本繼續訓練另一個RPN網絡，進而得到這張圖像第二個階段識別出的目標類別信息和邊界框信息，之后級聯的每個識別部分以此類推。

FCOS 網絡的特征提取部分采用了特征金字塔網絡（FPN），在不同尺度Level的特征圖上分離出不同大小的目標特征。在識別部分，各個層級的特征圖在兩個Branch上分別做任務。Branch-1要并行地輸出1張目標類別特征圖Fi∈RH×W×C和目標中心位置概率特征圖centerness ∈RH×W×1，Branch-2 要輸出1 張表征像素位置(i，j)處距離要預測目標真實邊界框四邊距離的特征圖Regression ∈RH×W×4。通過組織像素位置(i，j)處的中心位置概率和其到要預測目標真實邊界框四邊的距離可以得到目標的識別框，從而進一步提升大尺寸目標如絕緣子串和小尺寸目標如螺栓銷釘的識別效果。

3 語義分析降低誤報

在規范無人機自主的巡檢圖像命名基礎上，實現無人機精細化自主巡檢場景及對應部件分類，將文件名中的拍攝位置對應的設備部件推送至算法進行語義分析，靈活調用對應的設備缺陷檢測模型，可以有效降低算法識別誤報，示例見圖3。

圖3 語義分析降低誤報Fig.3 Semantic analysis reducing false alarm

詳細的的無人機精細化巡檢場景分類與部件分類見表1。

表1 無人機精細化自主巡檢場景及對應部件分類Table 1 UAV detailed autonomous inspection scenarios and corresponding component classification

4 無人機巡檢圖像中設備及隱患識別

4.1 桿塔缺陷識別

桿塔類缺陷主要為異物缺陷，在巡檢圖像中表現為任意非電力設施，例如蜂巢、鳥巢、繩索、風箏等出現在線路或者桿塔上，其特征表現為相對附近的電力設施其輪廓有明顯的不同。異物缺陷可能導致閃絡放電或者相間短路，因此，同樣采用深度學習的模型，通過標注線路異物，訓練深度學習模型進行識別。

采用改進的Faster-RCNN 深度學習網絡，目標分析層根據區域篩選層輸出，對于區域目標進行分析、分類，可根據分類要求對于像素、區域進行分類標記，根據Classification 網絡的輸出結果（包括目標種類歸屬概率向量和目標識別框），通過非極大值抑制算法篩選出概率最大的類別屬性和最準確的目標識別區域，從而從圖像中定位出異物位置，見圖4。

圖4 桿塔異物缺陷識別示例Fig.4 Example of foreign body defect identification of poles and towers

4.2 導地線缺陷識別

在自主巡檢無人機巡檢圖像中導地線缺陷多為導線異物，少數為斷股散股。無人機可以從多角度，近距離拍攝導地線圖像，獲取的圖像中缺陷特征相對豐富，一定程度上降低了識別難度。

本節采用基礎網絡為ResNet 的Faster-RCNN 算法，并基于COCO 數據集預訓練模型對權重進行初始化。訓練采用800×1 200 的樣本分辨率，使用小批量梯度下降法（mini-batch SGD）訓練，每個批次（batch）訓練2張圖片，采用預熱（warm-up）學習策略和學習率衰減策略，衰減系數為0.1。RPN 網絡層錨框（anhor）的寬高比例為0.5、1、2共3種，錨框基礎尺寸為2、4、8、16、32共5種，二者組合共計15種錨框，以提升目標的識別效果，識別結果如圖5所示。

圖5 導線異物缺陷識別示例Fig.5 Example of conductors foreign body defects identification

4.3 絕緣子缺陷識別

無人機巡檢拍攝時僅拍攝近拍攝端的絕緣子，遠端絕緣子可通過無人機飛行至另一側的航線拍攝，因此，其圖像中絕緣子目標相對較大且特征突出，導致一些絕緣子灼傷缺陷的識別成為可能。其識別難點主要受到背景變化干擾的影響，導致傳統的絕緣子識別算法無法從復雜背景中提取出絕緣子。

自爆缺陷特征直觀，可通過識別程序將自爆缺失的位置與相鄰完好絕緣子片的區域標注出來。為了提升絕緣子缺陷特征識別的準確性，在使用可變形卷積的基礎上，采用基于多分辨率圖像金字塔的目標識別模型，以此來獲取多個分辨率的圖層從而獲得多尺度的信息，從而提升缺陷識別效果，如圖6所示。

圖6 絕緣子自爆效果示例Fig.6 Example of insulator self-explosion effect

4.4 金具缺陷識別

金具缺陷在無人機巡檢圖像中樣本較多，大部分為銹蝕類缺陷，少數為滑移破損。金具缺陷多發生在金屬構件連接受力部位，通過顏色與形狀加以識別。

采用基礎網絡為ResNet 的Faster-RCNN 算法，并基于COCO數據集預訓練模型對權重進行初始化。訓練采用800×1 200 的樣本分辨率，使用小批量梯度下降法（mini-batch SGD）訓練，每個批次（batch）訓練2張圖片，采用預熱（warm-up）學習策略和學習率衰減策略，衰減系數為0.1。RPN 網絡層錨框（anhor）的寬高比例為0.5、1、2 共3 種，錨框基礎尺寸為2、4、8、16、32共5種，二者組合共計15種錨框，可以提升缺陷的識別效果，識別示例如圖7所示。

圖7 金具缺陷識別示例Fig.7 Example of hardware fittings defect identification

4.5 螺栓銷釘陷識別

在無人機巡檢圖像中螺栓缺銷釘目標占圖片像素區域非常小，其中的開口銷、R 銷、鎖緊銷等目標更細小，且識別時會受到其他無銷釘螺母螺栓干擾。此外，從不同角度拍攝時，銷釘螺栓存在不同的輪廓特征，極大增加了識別的難度。另外，無人機巡檢航線規劃相對靈活，可以從不同角度拍攝目標設備，導致設備呈現不同的形態特征，難以通過定位連接金具的方式定位出銷釘螺母。此外，無人機逆光拍攝會導致圖像對比度的改變，增加識別的難度。

采用圖像金字塔網絡來改善對小目標的識別。借助HRNet 網絡思想，通過圖像金字塔逐步組建高分辨率到低分辨率的子網絡，形成多層的網絡特征表達，同時將多分辨率子網絡并行連接。期間進行了多次多尺度融合Multi-Scale Fusions，使得每一個高分辨率到低分辨率的表征都從其他并行層中反復接收信息。利用高分辨率層的特征細節信息提高對螺栓、螺母、銷釘等圖像中小目標設備的定位精度。充分利用不同層級間的信息交互和不同層級間特征信息的優勢，使得整個識別網絡能更精確地從復雜背景圖像中定位到缺銷位置，排除桿塔上相似的無銷釘螺栓螺母干擾。同時使識別模型具備對不同角度，光照對比度變化圖像的穩定性，采用金字塔網絡加Faster-RCNN 模型的識別結果，識別效果示例如圖8所示。

圖8 銷釘級缺陷識別示例Fig.8 Example of pin-level defect identification

4.6 附屬設施缺陷識別

附屬設施可能安裝于桿塔各個位置，且種類較多，從缺陷分類來看，通常為一般缺陷，主要是塔號牌標志牌破損、圖文不清、鳥刺損壞、防雷設施損壞松動等，其尺寸和目標幾何特征有較大差異。

使用改進的ResNetXt+Cascade R-CNN 對施工機械隱患進行檢測，學習率使用階梯學習速率，基礎學習速率為0.2。不使用預訓練模型，分類損失使用Focal Loss，回歸損失使用GIOU 損失，采用多尺度訓練網絡模型，其識別效果如圖9所示。

圖9 附屬設施缺陷識別示例Fig.9 Example of defect identification for auxiliary facilities

4.7 線路走廊施工外破識別

因無人機攜帶的可見光相機無法測量距離，因此無人機自主巡檢通常不用于測量樹線距離過近，主要用于發現施工機械等外破隱患，可分為吊車、吊車吊桿、泵車、泵車臂、挖掘機、推土機、塔吊、打樁機桿、碾軋機、叉車、挖土機、平地機等12 個目標類別，施工機械類隱患目標具有如下特點：目標尺寸比例存在差異；吊車吊桿、泵車臂等類別呈細長狀，當目標垂直放置時寬高比小于0.2倍，吊車、泵車等車輛的寬高比大約在2倍附近，大部分目標的寬高比位于0.5倍～2倍之間。

使用改進的ResNetXt+Cascade R-CNN 對施工機械隱患進行檢測，學習率使用階梯學習速率，基礎學習速率為0.2。不使用預訓練模型，分類損失使用Focal Loss，回歸損失使用GIOU損失，由于內存的限制，訓練的Batch Size 均為2，采用多尺度訓練網絡模型和單尺度進行測試，多尺度訓練網絡輸入尺寸為［600，1 000］，［800，1 333］，［1 000，1 600］，測試網絡輸入從訓練網絡3個輸入大小中選擇在測試集上表現最優的尺寸，最終檢測識別示例如圖10所示。

圖10 通道缺陷識別示例Fig.10 Example of channel defect identification

5 結語

本文基于采集的無人機高質量巡檢圖像，采用目前主流的Faster RCNN 算法模型對巡檢圖像設備缺陷進行智能識別，可對桿塔、導地線、絕緣子、金具、螺栓銷釘、附屬設施、線路通道機械施工等7大類設備的缺陷進行智能識別，實現了銷釘級缺陷的智能識別。