基于無人機視頻的公路橋梁邊坡異常檢測

黃少雄，蘭建雄，譚 勇，潘 勇，曹申豪

（1.廣東省南粵交通仁新高速公路管理處，廣東 韶關512600；2.廣州天勤數字科技有限公司，廣東 廣州 510627；3.武漢大學 計算機學院，湖北 武漢 430072）

隨著公路的發展，公路總里程不斷增加，人們出行更加方便；同時公路上的重要基礎設施增多，公路地形路段更加復雜，也給有關部門對高速公路的監管和養護帶來了更大的挑戰。邊坡與橋梁在公路交通領域中扮演著重要角色，在日常巡檢中及時發現邊坡坡面沖刷，橋梁地基沖刷，橋下空間違章停車、違章堆積物和違章建筑等邊坡和橋梁隱患并及時處理，能大大消除邊坡和橋梁等公路重要設施的安全隱患，有力捍衛路產路權，保障人民的出行安全。因此，對公路邊坡和橋梁定時進行巡查格外重要。目前檢測主要由相關部門安排人員到現場進行察看，該方式存在很大的局限性：①檢查位置無法完全覆蓋所有的坡面和橋梁結構；②檢查次數無法滿足規定的頻率要求，增加了坡面和橋梁產生安全隱患的風險，不利于國家交通行業的健康發展。

隨著智能化的發展，人工智能正在引領社會各行業的變革，無人機搭載探測器進行巡檢的報道時有出現。陳永洪[1]等利用無人機搭載激光雷達獲取線路走廊內的三維激光點云，再利用人工智能算法自動提取耐張塔、導線等關鍵地物和三維地形信息，最后進行激光點云數據的自動/半自動分類，用于檢測耐張塔預偏值和軟跳線安裝質量；陳顯龍[2]等設計了一種基于無人機的路橋病害檢測系統；吳萍昊[3]等基于卷積神經網絡對飛來峽水庫鐵溪坑示范區進行分類，并結合確界數據解譯得到30處違法違章嫌疑區。利用無人機搭載高清相機進行巡檢，仍處于試探性應用階段，主要是通過手動操作無人機到合適位置，再調整云臺角度獲取巡檢部位影像數據，無法進行有效的航線規劃，巡查過程中難以對無人機進行遠距離操控，自動化程度低、巡查效率不高。為減小公路巡檢成本，本文提出了一個基于無人機視頻分析的公路橋梁邊坡常見異常隱患目標自動檢測系統。檢測系統通過地面站對無人機的飛行任務進行設定，固化航線，可實現一鍵式任務執行，拍攝指定位置的重要建筑視頻；利用基于深度學習的目標檢測技術對無人機拍攝的邊坡和橋梁視頻進行分析，精準檢測邊坡坡面沖刷、橋梁地基沖刷和橋下空間違章物。實驗和實際場景測試表明，該系統可提高巡檢效率，降低人員到復雜區域的作業頻率，減少人員安全隱患，提高日常巡查頻率，及時準確地發現邊坡和橋梁的一些常見隱患。

1 公路橋梁邊坡隱患目標巡檢系統

基于無人機的公路橋梁邊坡隱患目標巡檢系統由無人機、地面工作站、巡檢數據管理平臺3 部分組成（圖1），地面工作站用于定制和規劃無人機的飛行任務，無人機執行飛行，到達指定地點采集視頻，巡檢數據管理平臺管理無人機采集的數據，并開放數據接口，供違章物檢測系統調用。

圖1 巡檢系統結構

1）無人機控制系統。系統以大疆經緯M300 RTK無人機為基礎平臺，搭載禪思H20相機，對橋梁、邊坡進行日常巡查。自動巡檢系統的無人機平臺采用慣性測量單元、高精度全球導航衛星系統、光流傳感器、紅外傳感器等多種傳感器進行級聯閉環控制，同時利用載波相位差分技術實現厘米級定位。無人機平臺還增加了額外的光流傳感器控制回路。光流傳感器可通過計算拍攝平面上的像素點位移判斷無人機本身的位移，從而反向增加無人機的穩定性。在光線不足的情況下，位于無人機底部的LED補光系統還可增加亮度，使傳感器更好地識別表面紋理。無人機控制系統結構見圖2。

圖2 無人機控制系統結構

2）地面工作站根據邊坡與橋梁的特點和巡檢部位，對無人機的飛行航線、姿態進行固化，巡檢人員只需將無人機帶到固定地點，即可通過一鍵式執行任務，簡單化、標準化作業流程。

3）巡檢數據管理平臺負責對無人機采集的數據進行集中管理、數字存檔，方便查詢檢索，永久保存；利用基于深度學習的目標檢測技術分析巡檢照片、視頻，檢測邊坡坡面沖刷、橋下地基沖刷、橋下堆積物等，并通知工作人員。

2 公路橋梁邊坡常見隱患目標檢測算法

基于深度學習的目標檢測算法能準確檢測邊坡坡面沖刷，橋梁地基沖刷以及橋下空間違章停車、違章堆積物和違章建筑等公路橋梁邊坡常見隱患。基于深度學習的目標檢測算法可分為單階段YOLO[4]系列、SSD[5]和雙階段算法RCNN[6]系列，其中YOLOv3[7]算法的檢測準確率高、檢測速度快，適用于檢測公路橋梁邊坡常見隱患?；谀繕藱z測的無人機公路橋梁邊坡常見隱患目標檢測方法的具體步驟為：①構建公路橋梁邊坡常見隱患目標數據集；②訓練適用于公路橋梁邊坡常見隱患目標檢測的YOLOv3 模型；③設計適用于橋下空間違章物的過濾策略。

2.1 公路橋梁邊坡常見隱患目標數據集構建

基于深度學習的目標檢測算法需要大量帶標注的圖像用于訓練。本文采用人工采集、人工標注的方式構建公路常見隱患目標數據集。在采集過程中，工作人員操作無人機以3 m/s 的速度沿邊坡或橋體方向航行，拍攝包含坡面、橋體和橋下空間區域的視頻。在標注過程中，為減小數據冗余和人工標注工作量，以2 s的采樣間隔對無人機拍攝的視頻進行抽幀，得到圖像數據集；再采用人工標注的方式，標注每張圖像中的目標。數據集分為邊坡數據集和橋梁數據集，邊坡數據集包括坡面沖刷、橋梁地基沖刷兩種識別目標，共計968 張，其中818 張用于訓練，其余用于測試；橋梁數據集包括橋體、橋墩、車輛、違章建筑、貨物5種識別目標，共計570張，其中470張用于訓練，其余用于測試。

2.2 基于YOLOv3的目標檢測算法

基于YOLOv3目標檢測算法，借鑒殘差網絡結構[8]形成更深的網絡層次，并結合多尺度檢測提升了平均精確率（mAP）和小物體檢測效果。YOLOv3 算法網絡的主干結構是Darknet-53[7]網絡，預測支路采用的都是全卷積結構。Darknet的卷積層后接批量歸一化層（BN）[9]和LeakyReLU層，除最后一層卷積層外，在深度卷積網絡中BN 層和LeakyReLU 層已是卷積層不可分離的部分，共同構成了網絡結構的最小組件。深度卷積網絡輸出包含3 個分支，分別專注于大目標、中目標和小目標檢測，每個分支輸出預測物體的坐標、類別和置信度。訓練過程的損失函數由預測的坐標損失、類別損失和置信度損失3 部分組成。本算法對YOLOv3 主干網絡結構進行微調，將分支全連接層數設置為7，即待檢測物體數，包括坡面沖刷、地基沖刷、違規車輛、貨物、建筑、橋體、橋墩。訓練過程中，采用Adam 算法[10]進行優化，學習率設置為0.001，批量大小設置為8，累計訓練50 輪。

2.3 橋下空間異常隱患檢測的過濾策略

在采集的包含橋下空間和橋體的視頻中，橋面上往往行駛著不同大小的車輛；而目標檢測技術將同時檢測橋下空間違規停放的車輛和橋面正常行駛的車輛，因此需要設計一種過濾策略，篩除橋面上正常行駛的車輛。在標注數據集的過程中，橋體以矩形框的形式進行標注，可作為劃分橋下空間和橋面的依據。對于所有檢測結果，比較其預測的坐標值與檢測到的橋體坐標值，若物體坐標的最低值高于橋體最低值，則表明物體位于橋體上方，剔除該物體；反之，則保留該物體。

2.4 實驗與結果分析

2.4.1 評價指標與結果

本文選取精確率（AP）作為單個類別物體檢測效果的評價指標，mAP作為多個物體檢測效果的評價指標。AP表示一個類別PR 曲線的面積；mAP 則是對m個類別的AP求平均值。

式中，TP為預測為正樣本、實際為正樣本的數量；FP為預測為正樣本、實際為負樣本的數量；FN為預測為負樣本、實際為正樣本的數量；P為預測為正樣本中實際為正樣本的概率；R為在實際的正樣本中預測為正樣本的概率。

在選取不同閾值作為正負樣本的判斷標準時，就會產生一組對應的P、R，二者往往相互矛盾，此消彼長，也就產生了PR曲線。各物體的AP見表1，計算得到mAP為0.849 2，可以看出，目標檢測器對坡面沖刷、橋梁沖刷、橋墩、橋體和車輛的AP較高，對違章建筑和貨物的AP較低。其原因在于，真實場景下，橋下空間的違規建筑和堆放貨物較少，因而采集數據中對應的樣本數量較少。

表1 各物體檢測結果評估

2.4.2 真實場景檢測結果圖

部署基于無人機視頻分析的公路橋梁邊坡常見異常隱患自動檢測系統，并在真實場景下進行測試，結果見圖3，可以看出，檢測系統能精確檢測出邊坡坡面沖刷、橋梁地基沖刷以及橋下空間的違章建筑、違規停放車輛和堆放貨物；且在檢測并標注橋下空間違規停放車輛的同時，剔除了橋面上正常行駛的車輛；但存在少量漏檢和誤檢的情況。

3 結 語

為解決傳統公路巡檢費時費力的問題，本文結合無人機控制技術和基于深度學習的目標檢測技術，設計并開發了基于無人機視頻分析的公路橋梁邊坡常見異常隱患目標自動檢測系統，實現了公路邊坡和橋梁隱患巡檢和養護的全自動化。系統利用無人機機動靈活、空中鳥瞰、任意懸停等特性，實現了多角度巡查，減少了巡檢盲區；通過地面站對任務進行設定，固化航線，一鍵式任務執行，實現了數據采集的自動化；利用基于YOLOv3 的目標檢測算法，訓練了適用于公路橋梁邊坡常見隱患目標檢測的高精度模型。真實場景下的測試表明，該系統具有較高的精確率，能完全自動化地進行巡檢，極大地節約了人力成本。