基于邊緣計算和無人機巡檢圖像的輸電桿塔關鍵部位隱患智能識別

胡志坤，趙超越，王振東，林 晨

（智洋創新科技股份有限公司，山東 淄博 255000）

0 引言

輸電線路安全和穩定運行是電力系統的重要環節，同時保障輸電線路的安全和穩定也是國家電力網絡基礎設施建設的重要基石?，F有的輸電線路桿塔狀態監測方法存在智能化程偏低、實時性差、檢測結果不夠精確等缺陷。隨著我國智能電網的加速建設，現有的輸電桿塔狀態監測方法已不能滿足智能電網發展的要求。

目前，國家電網已采用無人機對電網的輸電線路桿塔進行巡檢。但是，在無人機進行巡檢時，輸電線路桿塔中關鍵部件是否出現故障，一般需要利用深層神經網絡圖像智能識別技術對無人機傳回的海量圖像數據進行信息的離線分析和模型計算。雖然，后端服務器借助深層神經網絡模型可以得到較好的檢測預測模型，但由于無人機采集數據傳回服務器計算的延遲很長，計算結果返回的比較滯后。而且無人機的續航時間一直是限制其技術發展的瓶頸，無人機空載的續航能力一般在20～30 min 之間，并不適用于長距離巡線任務。因此，研究了基于邊緣計算的嵌入式檢測算法。邊緣計算作為一種新的計算模式，將計算任務分解并將其遷移到邊緣節點進行處理，以降低云計算數據中心的計算負載，降低傳輸延遲，從而達到降低能耗、提高移動設備服務時間的目的。研究基于邊緣計算輕量級的微小隱患檢測算法，對在無人機隱患巡檢過程中進行實時的隱患檢測和分析具有非常重要的意義。

近年來，深度學習在圖像識別和智能檢測領域取得了很多成果。特別是R-CNN（區域卷積神經網絡）算法在圖像識別檢測上取得了顯著的成效[1]。卷積神經網絡善于處理圖像的形態特征，在圖像識別和檢測任務中獲得很廣泛的應用[2]。為了減少R-CNN 候選區域使用CNN 模型提取特征向量所消耗的時間，科學家提出了Fast R-CNN算法。為了更進一步地提高效率，Faster R-CNN算法引入了RPN（區域生成網絡）直接產生候選區域，相較于傳統的R-CNN 算法、Fast R-CNN算法更為高效、輕量。隨后，科學家又進行了基于One-Stage Detection 的檢測方法的研究，其中，YOLO v1 創造性的將識別與定位任務合二為一，采用多任務聯合訓練的方式訓練神經網絡。YOLO v3 在兩個方面進行了改進和優化：第一，應用殘差模型；第二，使用FPN（特征金字塔網絡）架構實現多尺度檢測。

在輸電線路桿塔隱患檢測研究中，文獻[3]提出了利用Faster R-CNN 檢測輸電線路中關鍵部件的隱患排查檢測方法，并在線路中的間隔棒、防震錘和均壓環三類部件上進行了檢測應用的試驗，取得了較好的效果。文獻[4]提出一種基于深層神經網絡U-net 網絡的航拍絕緣子檢測方法，可以實現自動分層并對不同層的信息進行特征提取，這種疊加方法可以有效地將淺層特征和高維的特征有機融合起來聯合訓練學習，進而避免一些關鍵信息被遮擋或丟失造成的隱患檢測中常出現的漏報和誤報問題。楊罡[5]提出了基于多尺度特征融合的輸電線路關鍵部件的檢測算法，使用了深層次的方便分離的卷積神經網絡進行特征提取，并將算法應用到移動端的ARM 設備上。但是，沒有考慮到邊緣計算模型上ARM 設備的計算能力有限、訓練數據量相對較少的問題，所以這種基于多尺度特征融合的檢測算法的檢測效果有待提高。目前，搭載在無人機上的巡檢算法無法滿足電網隱患檢測高質量、高效率、低延遲的需求。

本文分析了目前輸電線路桿塔上隱患檢測算法的不足，研究了近些年來提出的電網隱患檢測算法，并在此基礎上進行了綜合的分析研究之后，提出了適用于輸電桿塔本體隱患智能識別的無人機邊緣計算的輕量級算法MGFF-KCD（關鍵部件檢測的多粒度特征融合算法），利用FPN 構建Faster R-CNN 檢測模型來提取多粒度的特征圖像的融合方法，使用多個粒度的圖像特征融合后進行分類與檢測，提高了算法的準確率；將算法模型移植到華為Atlas 芯片并集成到無人機平臺中，在無人機終端進行實時智能分析。選取了銷釘、絕緣子、防震錘、均壓環、鳥巢五類關鍵部位進行實驗，結果表明，該算法在Atlas 200 芯片設備上可實現平均每張62 ms 的檢測速度和88%的準確率。

1 塔桿本體隱患智能識別模型

1.1 基于Faster R-CNN 的識別模型

基于Faster R-CNN[6]檢測的整體網絡結構如圖1 所示，該網絡結構的輸入是一幅包含塔桿本體隱患的圖像（選取了銷釘、絕緣子、防震錘、均壓環、鳥巢五類關鍵部位），檢測識別后通過分類算法[7]輸出關鍵部位出現異常隱患特征的概率得分和隱患部位的邊界框。其中，RPN 生成400個候選區域提供給塔桿本體隱患智能識別模型Faster R-CNN 網絡模型，網絡模型中，將RPN和Fast R-CNN 的卷積層參數共享。

1.2 FPN

圖1 基于Faster R-CNN 的桿塔本體隱患智能識別網絡結構

對于塔桿本體隱患智能識別的問題，傳統的方法是先構建一幅圖像的金字塔，然后通過提取特征來形成特征金字塔，最后在每一層圖上進行預測，其缺點是計算開銷比較大[8]。基于神經網絡的智能識別方法僅需要在最后一層特征圖上進行預測，也能獲得較好的效果。但是，對于桿塔本體上小微部件的隱患檢測[9]，其表現還是不太好，因此，仍然需要考慮金字塔。FPN 使用自下而上路徑、自上而下路徑以及橫向連接的方式將低分辨率、高語義信息的高層特征與高分辨率、低語義信息的低層特征結合在一起，使每一個尺度下的特征均擁有十分豐富的語義信息[10]，如圖2 所示。

圖2 基于桿塔本體識別的特征金字塔網絡

2 輸電線路桿塔邊緣計算檢測算法

本文試驗對象為7 304 張航拍巡檢圖像中6萬余個關鍵部件異常的圖像（包含銷釘缺失、鳥巢隱患、防震錘銹蝕、均壓環傾斜、絕緣子損壞），針對關鍵部位的隱患情況進行數據圖像特征的標注。本文對無人機拍攝到的圖像中關鍵部件在整張圖像中出現的占比進行統計分析，得出以下結論，7 304 張圖片中6 000 多張圖片占比在10%以下，約1 000 張圖片占比在10%～15%，所以關鍵部件在圖像占比在15%～100%范圍的數量非常少。如圖3 所示為電網線路存在小微關鍵部件標注，左上為防震錘銹蝕圖像、右上為絕緣子破損的圖像、左下為均壓環傾斜的圖像、右下角為銷釘識別出來的圖像。由圖3 可知，關鍵部件在無人機拍攝的圖片中占比比較小，所以本文針對輸電線路的小微關鍵部位的隱患情況進行數據圖像特征的標注，然后結合本文提出的強化細粒度圖像特征識別的邊緣計算的輕量級算法MGFFKCD 進行預測。

圖3 無人機拍攝圖像的小微關鍵部位標注

針對輸電桿塔本體關鍵部件的智能檢測識別和分類隱患圖像的問題，本文提出了基于華為Atlas 加速終端和輕量級算法MGFF-KCD 來處理多個粒度的特征信息。包括利用FPN 構建Faster R-CNN 檢測模型來提取多粒度的特征圖像的融合方法，使用多個粒度的圖像特征融合后進行分類與檢測可以有效地改善微小部件隱患檢測的準確度和檢測速率[11]。

2.1 基于桿塔本體隱患識別的MGFF-KCD智能識別算法

首先，本文使用FPN 替代單尺度特征圖以適應RPN。為了達到多粒度融合的效果，需要在金字塔每個等級的每一個位置進行滑動卷積。在形態大小上，為了緩解卷積網絡上采樣過程中的混疊效應，得到的特征映射集為{P2，P3，P4，P5}，本文設計了一種多粒度融合的模型，在形式上，{P2，P3，P4，P5}所對應的尺度為{42，162，322，642}。由于FPN 之間有參數共享，故這樣的設計方法可以使得所有層級具有相似的語義信息。本文仍然使用3 種長度比{1:1，1:2，2:1}，因此在金字塔中共有12 個錨點。訓練過程中，本文將重疊率大于0.7 的當做正樣本，小于0.3 的當做負樣本。由于FPN 之間有參數共享，故使得所有層級具有相似的語義信息。

在進行關鍵部件圖像識別預測的過程中，需要將特征信息進行分類，在本文的輕量級邊緣計算算法中可以近似將其看作一個凸二次規劃的優化問題，其解可以通過構造拉格朗日函數獲得分類函數的解：

式中：ai≥0 為拉格朗日乘子。

分別對式中的w 和b 求偏導數，并令其等于0，有：

帶入式（1）中，有：

根據解得ai的得到權重w。決策函數為：

對于樣本線性不可分的情況，引入非負松弛變量ζ=（ζ1，ζ2，…，ζn）≥0，構造最優超平面，在錯誤最小的情況下將樣本分類：

式中：C 為懲罰因子，表征對錯誤的懲罰程度，C越大，表示對錯誤分類的懲罰越大。

然后，融合FPN 和Fast R-CNN。Fast R-CNN采用RoI pooling 層來提取特征，其通常在單尺度特征圖上執行。如果要將其與FPN 一起使用，那么需要把不同尺度的RoI 分配給金字塔等級。在形式上，可以通過式（6）將寬度w 和高度h 的RoI分配給特征金字塔的等級k，即：

式中：224 表示ImageNet 數據集預訓練圖像大小；k0表示映射到wh=2242RoI 的目標水平，本文中將k0設置為4。式（6）意味著若RoI 的尺度變小（如：224 的二分之一），則其應該被映射到更細粒度的級別。

2.2 模型移植到Atlas 平臺

為了滿足無人機邊緣計算中深度神經網絡對芯片算力的需求，本文的無人機搭載了華為升騰AI 處理器Atlas 200。處理器不僅可以提供強大高效的乘加算力，并且在硬件體系結構上對于深度神經網絡進行了特殊的優化。升騰AI 處理器主要的架構組成部件包括特制的計算單元、大容量的存儲單元和相應的控制單元，如圖4 所示。

圖4 升騰AI 處理器架構

圖4 中，升騰AI 處理器采用達芬奇架構設計AI Core，具有高通量、大算力和低功耗的特點，主要負責執行標量、向量和張量相關的計算密集型算子，從而使之能夠以極高的效率完成目前主流的深度神經網絡的前向計算，即深度模型的推理任務，圖5 為升騰AI 處理器對輸入圖像的處理流程。

圖5 昇騰AI 處理器處理流程

圖5 中，圖像的轉碼、切分和變形由數字視覺預處理模塊完成；針對輸入數據完成包含正則化在內的一系列預處理；核心推理的運算由AI core，即達芬奇架構處理核心完成；運算結果交給CPU 進行處理，將結果輸出。在主機側已經完成了算子的實現和執行順序的編排，在設備側（無人機）秩序進行離線推理計算即可。

3 試驗結果與分析

3.1 試驗準備

本文針對提出的算法改進方案進行試驗，操作系統是Ubuntu16.04，使用caffe 和Tensorflow框架。CPU 為Inter （R） Core （R） i7-9750H，3.4 GHz×12，64G 內存，GPU 為Nvidia GeForce RTX 2080Ti，硬盤512G SSD（系統盤）和4T×2 的機械存儲盤。具有邊緣計算能力的移動端設備核心配置為Atlas 200 Develop Kit，Hi3559 Camera 模塊以及Atlas 200 AI 加速模塊，Ubuntu 服務器通過USB 接口與Atlas DK 開發者板連接。邊緣計算模塊連接方式如圖6 所示。

3.2 數據集

本文所用數據集來源于國家電網無人機巡檢時所拍攝的圖片，涵蓋了多個地區、不同時間段、各類場景。采集到的圖片分辨率較高，約為4 800×3 600 像素。本文中主要選取絕緣子、均壓環、防震錘銹蝕、銷釘缺失、鳥巢共5 種不同關鍵部件異常的圖片作為本文數據集的正樣本，數據總量有7 304 張。其中訓練集6 674 張，測試集630 張。不同類型的數據集數量和標注標簽展示如表1 所示。

表1 無人機拍攝關鍵部位的數據類型和數量

3.3 算法訓練策略

由于關鍵部件數據集數量不足，不建議直接對模型進行訓練，因為數據集數量太少容易引起過擬合問題，導致模型預測能力降低。因此，本文采取預訓練模型后導入模型進行參數初始化的預訓練方法：首先在監控攝像機拍攝的10 萬余張電網線路隱患圖像匯總進行預訓練，從這些海量的圖像數據集中提取豐富的語義特征[12]，動態調整學習到的特征參數。然后將模型參數發送到無人機設備端，上述過程在無人機啟動初期就完成了。啟動完成并導入服務器模型參數后，無人機開始拍攝圖像，接收到關鍵部件的圖片后，使用一開始導入的預訓練模型得到的特征參數作為模型初始化狀態[13]，并結合Fast R-CNN 和RPN2種神經網絡對關鍵部件的特征提取后的模型進行微調，使得參數可以使用關鍵部件的數據。

3.4 試驗結果

本文開展的試驗研究采用的是3.2 節中介紹的包含正樣本數量總計7 304 張圖像，其中6 674張圖像為訓練集，其中，從訓練集中抽樣選取660 張圖片作為驗證集，余下的630 張圖像為測試集進行測試，采用預測的準確率作為評判標準。為了直觀展示融合效果，本文還進行了幾組消融試驗，結果如表2 所示。

圖6 邊緣計算模塊連接機制

表2 各類樣本的識別準確率

由表2 可以看出，鳥巢和絕緣子的識別率相對較高。一方面，鳥巢和絕緣子體積較大，容易識別；另一方面，鳥巢和絕緣子的樣本數目相對較多，提高了模型識別的正確率。其他的種類的識別率較低。銷釘和防震錘的圖像識別率不高，一方面是因為他們的樣本數目太少，另一方面是體積小，不容易發現，銷釘的體積就屬于比較小的，在圖像中占得比例不足2%，本文隨機抽取了幾張在Atlas 平臺上輸出的檢測實例，如圖7所示。

圖7 桿塔本體檢測算法輸出實例

圖7 展示了桿塔本體上檢測識別的實例。針對桿塔本體檢測和識別的關鍵部位對隱患區域進行標注并自動給出隱患類型的分類。

輸電桿塔本體的缺陷檢測主要采用基于深度學習的目標檢測算法，深度神經網絡模型計算量大[14]，目前無人機終端搭載的處理器由于計算能力不足，難以達到實時檢測的效果。

圖8 展示了桿塔本體隱患檢測和分類算法在不同的芯片上完成推理工作流程所需耗費的時間。顯然，Atlas200 推理耗時略高于GTX2080Ti，但是其遠低于CPU 的耗時。其次，隱患檢測算法在輸電線路的現場使用過程中會有其他方面的耗時，包含但不限于模型載入和傳輸的時間。由于Atlas 比GTX2080Ti 小，可以跟隨輸電線路檢測的設備如攝像頭一起安裝到現場，所以其綜合用時最少。

圖8 桿塔本體隱患檢測和分類速率結果比對

4 模型對比分析

R-CNN 算法解決了目標檢測中速度和數據集兩個關鍵問題，在圖像識別檢測的應用上取得了顯著的成效。但仍存在訓練、測試速度慢，訓練空間大等問題，于是出現了基于R-CNN 改進的Fast R-CNN 算法、Faster R-CNN 算法。與RCNN 算法相比，Fast R-CNN 算法在最后一層卷積層后加了ROI pooling 層且損失函數使用了多任務損失函數，將邊框回歸直接加入到CNN 網絡中訓練，改進了R-CNN 算法訓練、測試速度慢，訓練空間大等問題；相比Fast R-CNN，Faster R-CNN 算法使用RPN 代替原來的Selective Search 方法產生建議窗口以及產生建議窗口的CNN 和目標檢測的CNN 共享，提高了檢測精度和速度，真正實現了端到端的目標檢測框架。

為了更明確的了解各個算法之間的差異，本文進行了模型性能分析，對比結果如表3 所示。

表3 各算法的性能對比

由表3 可知，Faster-R-CNN 的Fps 遠快于R-CNN 和Fast-R-CNN，檢測精度也遠大與-CNN和Fast-R-CNN，于是本文選擇Faster-R-CNN 作為基本檢測算法，該算法高效且輕量。而且針對目前輸電線路桿塔上隱患檢測算法的不足，本文利用FPN 構建Faster R-CNN 檢測模型來提取多粒度的特征圖像的融合算法MGFF-KCD 來處理多個粒度的特征信息，不僅提高了檢測算法的準確率，而且提升了無人機在輸電本體隱患巡檢過程中對輸電本體小微隱患檢測分類準確率和識別的實時性，試驗結果表明，該算法在Atlas 200 芯片設備上可實現每張62 ms 的檢測速度。

5 結論

本文提出了一種基于邊緣計算和無人機巡檢圖像的輸電本體隱患智能檢測和分類應用，基于華為Atlas 加速終端和輕量級算法MGFF-KCD 來處理多個粒度的特征信息。無人機搭載華為Atlas 200 人工智能計算加速模塊，具備非常強大的計算能力，為檢測算法提供更好的運算平臺[15]。在后端服務器預訓練模型后遷移到無人機端進行邊緣檢測模型的計算，輸電線路桿塔關鍵部件隱患檢測識別的準確率得到提升。選取了銷釘、絕緣子、防震錘、均壓環、鳥巢五類關鍵部位進行試驗，結果表明，該算法在Atlas 200 芯片設備上可實現每張62 ms 的檢測速度和88%的準確率。