基于多傳感器融合的無人機電力線巡檢

錢金菊， 潘子宇， 麥曉明， 宇文旋

(1.廣東電網有限責任公司 電力科學研究院 人工智能與機器人研究所，廣東 廣州 510000； 2.中山大學 數據科學與計算機學院，廣東 廣州 510006)

我國電網現行高壓電力線路結構復雜、規模龐大，線路通道環境十分復雜，異物纏掛、線路下方存在樹木、違規施工、違章建筑等易導致線路安全距離不足而發生短路事故。事故一旦發生，后果嚴重，巨大的電流可能造成人員嚴重傷害，故障造成線路設備損壞、跳閘停運、對電網運行造成沖擊，同時，故障對城市區域供電造成影響，擾亂企業和居民的正常生產生活秩序，帶來重大經濟損失[1-2]。針對不同的電力設備維護，遠程控制機器人在電纜管道內進行設備檢查[3]，對電力運輸線的溫度進行實時監控[4]，保障電力設備的安全運行。

在智能電網的新時代，用于電力線測量的無人機技術越來越受到電力行業的關注[5-6]。目前，檢查受到人為因素的影響太多。在一些危險區域，無人機可以避免人工檢查造成的人員傷亡和錯誤。目前常用的方式是在電力工人巡線過程中，對線路段進行人工目視判斷或全站儀量測，但線路安全距離不足的多發點通常在人跡難至之地，這種測量方式由于樹木、建筑等遮擋以及視覺透視偏差，難以對疑似超限點做出準確有效的判斷，不能適應現代化電網的發展和安全運行需要，超、特高壓電網急需高效、先進、科學的方式實現電力線路安全檢測。為了保證輸電網的安全運行，迫切需要開發一種自動、靈活的電力線檢測方法。

有人直升機[7]及大型無人機[8-9]攜帶激光掃描系統電力線路通道巡檢技術[10]，已在我國電網巡檢中逐漸得到應用。機載激光雷達測量系統可以很好地解決空間定位和測量精度等問題，可直接、快速地采集線路走廊高精度三維激光點云數據，進而快速獲得高精度三維線路走廊的地形、地貌、地物和線路設施的空間信息[8]。隨著Light Detection And Ranging(LiDAR)點云數據處理技術的逐漸成熟，目前國內大部分無人機電力巡線系統都配備有LiDAR系統[11]。隨著傳感器技術的進步，激光掃描儀和定位定姿系統都在逐步小型化，LiDAR系統也隨之輕小型化，從而能被多旋翼無人機所搭載。但激光雷達只能獲取外部三維信息，無法提供更豐富的外界信息，如色彩信息。

本文提出了一種基于激光雷達與圖像數據融合的無人機三維場景重建檢測電力線下方地物安全距離的方法，編寫了用于數據同步的復雜可編程邏輯器件(Complex Programmable Logic Device,CPLD)。在GPS/IMU(Global Positioning System/Inertial Measurement Unit)與相機以及GPS/IMU與激光雷達配準過程中，可以利用公式計算GPS/IMU、相機和激光雷達之間的剛性位置關系。將AprilTag[12]固定在長方形紙板上，可以從單個圖像或激光雷達數據中獲取特征的6自由度定位信息。從序列中隨機抽取1000對標定數據進行隨機樣本一致性采樣，擬合得到想要的標定結果。將多模態神經網絡(Multimodal Neural Networks,MNN)算法[13]引入到電力線分割中，它包含了一些改進，可以通過其他方式(如深度圖像和單一顏色信息)，利用自己的訓練數據和測試數據進行檢驗。利用Voxel Hashing[14]進行快速三維語義場景重建，再利用該場景數據實時擬合電力線弧垂方程，得到電力線的三維模型。最后采用鉛垂線方法對下方地物安全距離進行實時檢測。實現了對電力線下方地物安全距離的實時檢測。

1 傳感器配準

在多旋翼無人機上裝備了一個PointGrey Flea3彩色相機(15 Hz，分辨率為1328像素×1024像素)、RTK GPS/IMU定位定姿單元、16線Velodyne激光雷達、數據存儲芯片、4G通信模塊和同步控制器。把設備安裝在無人機的底部，相機與激光雷達的視場合理重疊是數據融合和分割的關鍵。

1.1 傳感器同步采集

在標定激光雷達和相機的內部參數，修正設備內部因素引起的畸變等，使標定后的相機符合針孔成像模型后，對GPS/IMU、相機以及雷達之間的相對位姿進行配準，為數據融合做準備。

傳感器同步用于保證圖像、激光雷達和位置信息在時間維度上的對齊。如圖1所示，利用復雜CPLD實現多傳感器的同步。CPLD可以以高頻率、低延遲的方式并行同步采集數據。利用其特性，可以同時觸發多個傳感器，在存在GPS/DR信號的情況下，PPS將用于產生同步控制器的觸發信號。采集到的數據保存在存儲芯片上，通過4G模塊回傳。

圖1 同步系統設計

1.2 傳感器標定

在機載測量系統中，GPS/IMU組合導航系統提供了平臺在世界大地測量坐標系下的位置。利用AprilTag得到了AprilTag相對于傳感器的6自由度位姿。相機與激光雷達、GPS/IMU的相對關系如圖2所示。

圖2 傳感器標定的位置關系

(1)

機載測量系統在平臺移動過程中，傳感器高頻率記錄測量數據，經后處理得到平臺的位置和姿態信息。在慣導坐標系下的任一掃描點可通過式(2)轉換到全局坐標系：

(2)

(3)

假設機載測量對同一標志物點P進行了兩次測量，多次掃描的AprilTag定位為

(4)

(5)

x=[χ0,γ0,z0,θ0,φ0,ψ0]T

(6)

采用LM(Levenberg-Marquart)[15]非線性優化算法解算6個標定參數，該算法通過迭代獲得一組非線性方程的最小平方和：

(7)

(8)

2 電力線巡檢

2.1 融合數據語義分割

對于獲取的圖像與激光雷達數據，將多幀激光雷達數據投影到校正后的相機坐標系中，生成深度圖像。然后將最先進的語義分割方法MNN引入到電力走廊提取的解決方案中。新穎的多模態卷積神經網絡(Convolutional Neural Networks，CNN)架構實現了一種中層融合，允許網絡利用已經在中等功能級別上的跨模態相互依賴。該體系結構的優點在RGB-D圖像理解任務中得到了體現。

Schneider等[13]提出的體系結構包含了一些改進，這些改進可以利用除單一顏色信息之外的其他方式，如深度圖像等。網絡結構主要由深度網絡、Network in Network(NiN)[16]與RGB網絡兩個部分組成。其中，深度網絡主要處理圖像信息的深度；NiN與RGB網絡是GoogLeNet[17]，對網絡中RGB圖像的輸入特征進行特征提取，并將深度網絡的特征作為輸入。由于早期融合， RGB和深度輸入可以直接連接起來，從而產生一個新的第一卷積層。然后，將RGB網絡和深度分支網絡的得分連接到最后，再使用1×1 卷積層作為分類器。它被稱為后期融合。

對于深度分支，可使用NiN提取深度數據。NiN由多個模塊組成，每個模塊都進一步由一個卷積層和多個1×1卷積核組成，卷積層的核大小大于捕獲空間信息的核大小。該模塊相當于多層感知(MLP)，可以提高劃分模型的表達能力，并可以在分類層次上對特征圖進行全局平均匯聚，這是有意義和可解釋的。對于RGB網絡，GoogLeNet由卷積層和最大池層組成，這些層可以快速降低空間分辨率。由此推導出獲取目標對象的方法，如電力線和電力塔。

2.2 三維電力走廊場景重建

提取出RGBD圖像的語義特征后，通過校正將GPS/IMU定位單元的輸出投影到左側攝像機坐標系中，重構出三維語義場景。該方法名為Voxel Hashing[14]，它能夠有效重建場景，重建細粒度的細節和尺度的環境。

為了利用稀疏性，Voxel Hashing只圍繞重建的表面幾何形狀分配體素塊。一個高效的Graphics Processing Unit(GPU)加速散列表用于管理體素塊的分配和檢索。體素塊可以使用世界坐標(x,y,z)從散列表中進行檢索。通過簡單的乘法和四舍五入來求世界空間中三維點的坐標。散列表可以用來進一步重建和過濾歧義。在實現中，體素存儲了標志字段、顏色、語義信息和權重。

在重建的過程中，將檢查前后幀在圖像序列中的一致性，并針對語義模糊的體素塊進行優化。在插入和檢索過程中，散列塊的語義信息和權重將被更新。如果不同的圖像對相同的體素有不明確的分割，權重將會被減弱。在完成整個序列的重構之后，將更新散列表，并刪除存在語義信息模糊的塊。

2.3 電力線提取及建模

根據分類得到的電力線激光點云，手動選擇屬于同一直線上的多個點，在獲取同一條電力線多個節點(3個點以上)的三維絕對坐標(lng,lat,h)后，通過弧垂方程擬合得到電力線三維模型。

電力線上任意一點的弧垂是指該點距兩懸點連線的垂直距離。基于電力線多個節點的三維絕對坐標，根據架空線弧垂公式[18]進行電力線擬合。

等高懸點電力線任意一點的弧垂的計算公式為

(9)

不等高懸點電力線任意一點弧垂f計算公式為

(10)

式中，σ0為電力線最低點應力，單位為kg/mm2；g為電線比載，單位為kg/(m·mm2)；l為檔距，單位為m；φ為懸點高差角，單位為(°)。

獲得電力線弧垂矢量模型后，同時考慮地球重力場，使用鉛垂線方法，自動計算電力線在鉛垂線上與電力線下方地物密集三維點云的距離。基于距離計算結果，自定義不同的閾值以統計和顯示不同閾值下的結果，從而達到自動進行電力線與下方地物安全距離檢測目的。

其中，使用鉛垂線方法的計算公式為

Δh(lng,lat)=hline(lng,lat)-hbottom(lng,lat)

(11)

式中，Δh(lng,lat)為電力線在(lng,lat)點處與地物之間的垂直距離；(lng,lat)為導線上任意點的經緯度坐標；hline(lng,lat)為點(lng,lat)處電力線的高度；hbottom(lng,lat)為地物點云在以(lng,lat)為中心的圓形區域中最高點的高度。

3 巡檢實驗

通過設計無人機檢測試驗平臺，并進行大量的線路檢測試驗，以驗證本文檢測方案的合理性。測試場地為東莞市供電局管轄線路中一段11 kV線路，如圖3所示。總測試時間為60 min，分兩架次，每次約18 min。兩架次分別命名為T1-T2檔號段和T3-T4檔號段。

圖3 測試場地為東莞供電局管轄線路中一段11 kV線路

根據測試區域，無人機是按照路線行駛，多個傳感器同時采集數據。收集到的數據一方面存儲在本地磁盤上，另一方面通過4G網絡發送回處理中心。

為了完成特定的語義分割任務，制作了一個由機載測量系統捕獲的數據集，分辨率為1328像素×1048像素。數據集分為兩個部分，分別包含2817張訓練圖像和200張測試圖像，所有的圖像都包含人工標注的真值，使用LabelMe[19]進行標記。

語義場景重構示例如圖4所示，用不同顏色表達不同的語義分類。圖5為激光雷達與相機數據融合的重建鳥瞰圖，圖5(a)為測試路段通過激光雷達重建的地形模型，將相機得到的色彩信息融合后得到圖5(b)。圖6為安全距離的分析曲線，紅色虛線是報警距離。圖6(a)和圖6(b)分別為兩個檔號段的距離分布曲線。從圖6(b)可以看出，在T3-T4檔號中存在著超限異常，達到報警容限的數據被記錄在表1中，Δh全站儀是利用全站儀測量對異常點進行檢測后得到的距離數據，當安全距離設置為5 m時，本方法與全站儀量測出的數據基本一致，且可以得出全序列密集曲線分布，可滿足導線安全距離檢測的要求。

圖4 語義場景重建

圖5 激光雷達與相機數據融合重建圖

圖6 測試場地安全距離分布

表1 T3-T4檔號段巡檢異常數據

4 結束語

提出了一種基于激光雷達與圖像融合的無人機輸電線路異常檢測方法。設計了一種基于CPLD的低成本、低功耗同步采集板，并利用AprilTag實現了GPS/IMU和傳感器的快速標定。提出了一種基于多傳感器融合的電力線異常檢測方法，包括語義分割、場景重建和距離測量。得到電力線的三維模型，采用鉛垂線方法對下方地物安全距離進行實時檢測。用實驗驗證了方法的有效性。該檢測解決方案可以充分利用多傳感器不同特性實現對電力線的高效檢測，促進無人機在線路巡檢中的推廣應用。