輸電線路無人機巡檢自主導航算法研究

戴永東,姚建光,李 勇,毛 鋒,文志科,倪 莎

(1.國網江蘇省電力有限公司泰州供電分公司, 江蘇 泰州 225300;2.眾芯漢創(北京)科技有限公司, 北京 100193)

0 引言

隨著架空輸電線路的不斷擴建和覆蓋范圍的快速增加,架空輸電線路的區域環境復雜多樣,使得架空輸電線路的運行維護更加困難。傳統的輸電線路檢測方法強度高、周期長、風險因素高、盲區多,難以滿足現代電網發展的需要[1-2]。基于此,無人機作為一種科學、高效的檢測手段受到了廣泛的關注。特別是近年來,為了使無人機更好地完成搜救[3]、路徑規劃[4-5]、目標跟蹤[6-7]等工作,開展了大量的學術和工程應用研究。為了實現自主導航和智能避障,開發了多種制導、導航和控制算法,為無人機在動力巡查檢測中的應用研究奠定了基礎。此外,無人機具有機動性強、控制簡單、形式多樣、效率高、成本低等優點,被國內外電力公司廣泛應用于輸電線路的檢查和偵察中[8-10]。

然而,目前基于無人機的架空輸電線路自主檢測的研究還處于起步階段,主要的學術和工程應用研究重點是通過配備激光雷達、可見光傳感器和紅外攝像機的無人機對輸電線路進行檢測,收集故障數據,提供導航線路巡邏無人機的信息。無人機采集數據的位置和高度取決于飛行控制人員的視覺和這些傳感設備的檢測結果,因此無人機對架空輸電線路的檢測嚴重依賴于控制人員的飛行控制水平,存在人工控制難度大、定位精度低,影響航拍和狀態診斷[11-13]。這在很大程度上限制了無人機的性能,不能很好地利用無人機機動性強、控制靈活、效率高的優點。為此,研究無人機對架空高壓輸電線路的自主檢測,以期無人機能夠執行更先進、更優化的空中檢測任務[14-16]。為了實現巡檢無人機的自主導航,一些研究人員還利用GPS、超聲波傳感器、紫外、紅外、可見光傳感器以及這些傳感器的組合對巡檢無人機進行導航研究[17-18]。

通過分析在Faster R-CNN中使用scratch模型和Pre-trained模型(如InceptionResNet-V2[19]和ResNet-50[20])檢測障礙物的性能,選擇了精度最好、速度最快的模型,并對其進行改進,應用于無人機導航。所提改進的Faster R-CNN模型獲得了比ZF-Net模型[21]更高的精度,將極大地擴展無人機的自主飛行能力。

1 障礙檢測

1.1 scratch模型研究

受當前檢測方法優異性能的啟發,采用Faster R-CNN[22]作為障礙檢測器。更快的R-CNN融合了2個模塊:一個提出區域的深度全卷積網絡;另一個使用提出區域的Fast R-CNN檢測器[23-25]。深度全卷積網絡的使用顯著提高了區域提議的計算時間,并實現了實時目標檢測。在本節中,先構建Faster R-CNN網絡,并預先訓練模型。分析并比較了它們在檢測精度和速度方面的性能,最后確定了一種用于避障任務的檢測器。總共創建了4個不同的檢測器,以研究訓練數據的數量和卷積層的數量對檢測性能的影響。這4種檢測器分別為檢測器A、B、C和D,都是按照不同的規格進行訓練的。第1個操縱參數是訓練圖像的數量。檢測器A使用4 000多張圖像進行訓練,而其他3個檢測器僅使用1 500張圖像進行訓練。其他3個檢測器的訓練數據集中的圖像是從檢測器A的訓練數據集中提取的,即檢測器B、C、D的訓練數據是檢測器A訓練數據的子集。表1和圖1給出了探測器A和B的CNN結構。表2總結了探測器之間的差異。

表1 CNN的每一層探測器A和B

圖1 探測器A和B的CNN結構

表2 4種探測器的規格

定義網絡結構后,訓練Faster R-CNN檢測器,并更新Region Proposal network (RPN)和CNN中的參數。訓練采用的算法為SGDM優化器,學習率為0.001。

1.2 Pre-trained模型研究

除了scratch模型,還選擇了2個已有的預訓練模型進行再訓練,以進行障礙檢測。這2個模型之前都是在COCO數據集上訓練的。

第1個網絡是Inception v2,這是圖像分類歷史上第2個在ILSVRC中超過人類水平的機器學習模型。Inception模型的獨特、廣泛的架構以相對較低的計算成本顯示了出色的性能。

第2個預訓練模型是ResNet-50。作為Faster R-CNN配置中的CNN基礎模型,ResNet在圖像分類和檢測方面取得了最先進的成果。與訓練的scratch模型相似,重構的ResNet-50和Inception網絡采用SGDM優化器進行微調。在訓練中的學習率被設置為0.000 2,遠小于scratch模型(0.001)。這是為了在不嚴重修改權重的情況下減少丟失先前提取特征的風險。

1.3 飛行數據的采集與標注

為了訓練和驗證1個檢測模型,需要1個由目標環境的圖像組成的大數據集。在這項研究中,1架Parrot Bebop 2被用作空中平臺,在1個學校錄制飛行視頻。收集數據集的位置如圖2所示。該數據集由無人機隨機飛行的視頻組成,用于訓練檢測器與真實飛行場景。數據收集是在1 d 內的3個不同時間段(上午、下午、晚上)內進行的,確保模型在不同光照條件下均能檢測到障礙物。無人機拍攝的視頻原本是1 920×1 080像素。被調整為426×240像素后再進行對象標注,以節省訓練時的計算時間。

圖2 數據集所在位置圖

2 避障運動

2.1 障礙物定位

檢測結果可作為無人機自主導航運動的依據。每個原始圖像的大小被調整,以匹配檢測模型的輸入層大小,然后將其輸入訓練模型,以檢測障礙物及其位置。檢測模型通過參考圖像左上角的原點輸出障礙物邊界框的坐標。圖像坐標系(xi,yi)如圖3所示。邊界框的左上和右下坐標定義分別為(xij,min,yij,min)和(xij,max,yij,max)。

圖3 檢測到障礙物的包圍盒坐標為圖像軸(盒1)

2.2 關鍵障礙物的識別

得到被檢測障礙物的坐標后,需要識別無人機前進路徑上接近的障礙物,它們被稱為關鍵障礙物。在算法中,邊界框的高度作為深度線索。在控制器中,無人機被命令以恒定速度前進,直到檢測到關鍵障礙物時觸發停止。

基于上述情景,可以通過2種情況識別出關鍵障礙:條件1,它正在接近無人機;條件2,它在一個安全邊界內,阻礙了飛行路線。

安全邊界設置為距離無人機攝像頭0.5 m,這是為了確保無人機在前進時不發生碰撞。它涵蓋了無人機的大小和一些可接受的空間。此外,該算法允許無人機探測到至少1 m以外的障礙物。

如上所述,使用圖像中檢測到的空間的高度作為深度線索。該參數會受到無人機高度的影響。雖然無人機高度可以使用聲納測量反饋控制,但是無人機很難在真實飛行中保持在一個精確的恒定高度。這是由于外部環境因素,如松軟和不平整的地面,側風或陣風,都會影響測量和無人機的穩定性。為此,設定參數高度比hratio,即圖像中的障礙物高度與圖像高度的比值,障礙物在距離相機1 m處不同飛行高度Z(單位為m)下的高度比為:

(1)

式中:VFOV為垂直視場的角度;himg為圖像的像素高度;f為通過相機標定得到的相機的焦距。

檢查條件1,圖3中的yij,max用來表示物體在圖像中的高度。當yij,max與himg的比值不小于hratio時,檢測到的障礙物滿足條件2,即障礙物正向無人機逼近,有:

yij,max/himg≥hratio

(2)

對于測試條件2,利用邊界盒的坐標xij計算圖像幀x軸上障礙物的位置,分析障礙物的位置是否在無人機的安全邊界內。研究中,機載攝像機被假定為針孔攝像機,因為通過攝像機標定校正了失真,所以坐標xij的安全邊界內的障礙物可定義為:

(0.5wimg-wobj)≤(xij,minorxij,maxorxij,c)≤

(0.5wimg+wobj)

(3)

式中:xij,min為最小值;xij,max為最大值;xij,c為邊界x的坐標中心。相反的,當物體距離物體1 m時,計算得到攝像機的抖動為:

(4)

式中:HFOV為相機水平視場的角度;wimg為圖像的寬度。通過使用式(2)—(3)中所述的這2個條件,可以識別出關鍵障礙。

2.3 預期航向評估

在探測到關鍵障礙物后,將無人機轉向預期的航向角。這種類型的障礙物被稱為警告障礙物。對于這些障礙,它們的邊界框的高度大于圖像高度的1/3。通過考慮這些障礙新的預期航向角可以引導無人機到一個更平滑的路徑。這減少了導航中的過度轉向,使路線比只感知和避免關鍵障礙的方法更簡單。

所需要的航向參考是通過在圖像x軸上找到最大的無障礙區域來確定的。圖4展示了一個示例,包含了表示檢測到的障礙物的邊界框。其中,wi表示警告和關鍵障礙物的邊界框之間以及障礙物和圖像邊界之間的水平距離。下標i是沿x軸的圖像上的空閑空間數。w值最大的區域i表示最大無障礙區域。計算最大無障礙區域x*的中心,以確定所需的航向參考。

當w的值最大時,i小于80像素,當無人機領先1 m時,等效寬度為0.32 m,自由空間太小,無人機無法通過。

圖4 垂線表示的目標參考例

圖4中w1和w4是檢測到的障礙物與圖像邊界之間的水平距離,而w2和w3是障礙物之間的水平距離(警告和臨界),x*設置為圖像的右邊界wimg。這是為了引導無人機離開當前的空間環境,因為沒有足夠的空間讓無人機安全通過。

在計算x*之后,確定轉向角度ψ*:

(5)

計算轉向角度在順時針方向是正的,反之亦然。所需的方向參考ψdesigned可以通過在無人機當前航向角上加上ψ*得到:

ψdesired=ψheading+ψ*

(6)

2.4 改進的Faster R-CNN算法

圖5為Faster R-CNN的網絡結構。

圖5 Faster R-CNN的網絡結構

VGG16網絡作為Faster R-CNN的骨干網絡,進行特征提取時,會出現梯度消失,減少深層網絡返回的梯度相關性,增加小缺陷漏檢的概率,降低檢測精度,因此使用有殘差單元的ResNet-50網絡提取缺陷圖像特征,既保留了細節信息又解決了梯度消失問題。圖6為殘差單元。

圖6 殘差單元

由圖7可知,ResNet-50網絡包含4個卷積組,這4個卷積組分別包含3、4、6、3個殘差單元。通過全局平均池化固定特征圖,進行1 000維的全連接,最后通過Softmax函數得到分類結果。

2.5 無人機的運動控制

研究中,運動控制的一個直接方法是實施到飛行控制器,以驗證提出的策略。無人機被編程以恒定速度從起始位置向前移動,直到檢測模型觸發無人機停止。無人機的高度在飛行過程中利用聲納測量的反饋調節到1.5 m的恒定高度。當探測到一個關鍵障礙物時,無人機被命令轉向所需的航向角。關于zb軸的角速度ωψ為:

ωψ=Kp(ψheading-ψdesired)

(7)

式中:Kp表示在最短的時間內實現所需的航向角,取值0.5。zb軸垂直于xb、yb坐標平面,指向下方,如圖4所示。

圖7 ResNet-50的網絡結構

3 障礙物檢測結果

3.1 實驗環境

表3為實驗的相關設置。

表3 實驗的相關設置

3.2 不同模型的性能

實驗從2個方面進行,首先將4個模型訓練為不同規格的檢測器,這是為了研究訓練圖像總數和卷積層數對檢測模型性能的影響。每個檢測器的性能測試使用60幅圖像,這些圖像不包含在所有檢測器的訓練數據集中。其次與Faster R-CNN、YOLOv3和YOLOv5這3種算法進行對比。

1) 為了評價探測器的整體性能,圖8制定了每個探測器的精度曲線。從結果來看,檢測器A的最大召回值已達到0.76,是所有探測器中最高的。也就是說,檢測器A可以在測試圖像中檢測出更多的實際障礙物,從而提高了檢測圖像中關鍵障礙的成功率。通過比較檢測器B、C、D,研究了卷積層數對障礙物檢測的影響。檢測器B的平均精度最高,檢測器D次之,檢測器C的精度最低。因此,選擇一個性能最好的scratch模型作為下一步的障礙物檢測器。基于結果,使用更多的圖像數據對具有兩層卷積的模型進行訓練,以進一步提高其檢測性能。

2) 為了進一步評價模型的性能,對比了Faster R-CNN、YOLOv3和YOLOv5這3種算法。

3.3 scratch模型和Pre-trained模型比較

前文中選擇的scratch模型和2個預先訓練的模型,即ResNet-50和Inception v2,都使用相同的數據集進行訓練。數據集由不同光照條件下的圖像組成。訓練數據集是一個5 min的飛行視頻,由4 689幅圖像組成。這些圖像共包含23 866個障礙物注釋。訓練結束后,用一段2 min的飛行視頻對模型進行了測試,該視頻由514張在同一區域按順序記錄的圖像組成。將召回率和精確率作為評價指標,具體計算式為:

(8)

(9)

式中:TP表示分類器預測結果為正樣本,實際也為正樣本,即正樣本被正確識別的數量;FP表示分類器預測結果為正樣本,實際為負樣本,即誤報的負樣本數量;TN表示分類器預測結果為負樣本,實際為負樣本,即負樣本被正確識別的數量;FN表示分類器預測結果為負樣本,實際為正樣本,即漏報的正樣本數量。

圖9為scrath模型和Pre-trained模型的精度曲線。2種Pre-trained模型與scratch模型相比,獲得了更高的最大召回率模型,因此Fast R-CNN與Inception v2被選中為避障中的檢測器系統,因為模型可以準確、迅速輸出檢測框。

圖8 測試精度結果的召回曲線

圖9 scrath模型和Pre-trained模型的精度曲線

為了進一步評價模型的精度,所提模型與Faster R-CNN、YOLOv3和YOLOv5這3種模型對比的結果如表4所示。由此可知,所提算法的準確率最高。

表4 不同模型的精確率對比

為了評估真實環境下模型的時延,選取了一天中不同時段來分析,如表5所示,可以看出1 d中的多個時段的時延都不高,說明所提模型可以應用在實際生活中。

表5 不同時段的時延

4 結論

提出了一種新的無人機自主導航方法并應用在輸電線路檢測中,消除了對用于探測障礙物的傳感器的外部依賴性。該系統利用車載攝像機獲取正面圖像,預測到一幀一幀的障礙物位置。模型輸出了障礙物在坐標圖像中的的位置,目的是準確控制無人機。預先訓練的模型,選擇Fast R-CNN與Inception v2,通過與3種算法的對比,驗證所提算法在無人機自主導航系統中的性能。在測試中,即使在飛行高度變化的情況下,無人機也能成功檢測到所有的障礙物是否對其導航有危險,并自動執行避障飛行。