基于無人機的道路裂縫量化評估系統的設計

朱魯曉，宋曉煒,2，陳曦

(1.中原工學院電子信息學院，河南鄭州 450007；2.開封大學，河南開封 475004)

0 引言

隨著我國基礎建設的快速發展，交通設施的質量評估一直是研究人員關注的熱點話題，道路表面的損害檢測和防治工作備受交通管理部門的關注。根據潛在破壞的早期跡象來判斷基礎設施損壞程度，裂縫是一個關鍵因素，直接影響基礎設施的使用能力?；炷谅访嬖诖笮蛙囕v經過或長時間自然損耗后，容易出現不同程度的裂縫損壞，而且這種情況會隨著時間的推移逐漸惡化，甚至交通安全構成威脅。尤其是在經受7·20鄭州特大暴雨的惡劣天氣影響后，城市出現多處地面塌陷、橋梁坍塌的情況，這為人們敲響了警鐘。道路巡檢要成為常態，保養維修要及時[1]。

科學技術的飛速發展，掀起了人工智能的浪潮。開發智慧城市，自動評估現有基礎設施系統狀況的需求正在迅速增長。若要分析道路裂縫的損傷情況，需要能夠對裂縫進行定位與評估[2]。在現有的裂縫檢測中，Yu等[3]提出了一種兩階段分割模型，它是基于FCN設計的。在第一階段，采用輕量級的FCN來獲取缺陷的大概區域；在第二階段，使用不同于第一階段的FCN 來進一步精細分割。Huang 等[4]使用MCue-Push UNet 模型來檢測瓷磚表面的缺陷。該模型的特點是由MCue模塊生成的一個顯著性圖像和兩個原始圖像。Li 等[5]使用Dense Block 改進的編碼器，并將UNet網絡跳轉層原始的Concat換成逐像素求和，改進網絡進行混凝土缺陷檢測。Zou 等[6]構建DeepCrack檢測地面裂縫，將多層次、多尺度的深度卷積特征進行融合，以捕捉精細裂縫。但這些網絡在裂縫分割方面分割精度不佳，并且無法進行裂縫分割后的后期量化，再針對人工檢測存在的效率低下、易漏檢、檢測費時費力、存在安全隱患等問題，本文設計了一種基于無人機的道路裂縫量化評估系統，將無人機作為載體，與NVIDIA Jetson Xavier NX[7]作為主微控制器的地面邊緣設備結合，實現無人機代替人工進行道路裂縫巡檢與評估工作[8]，致力于建設智慧化城市。

1 總體設計

基于無人機的道路裂縫量化評估系統主要包含硬件和軟件兩個方面?？傮w設計框架如圖1所示。

圖1 總體設計框圖

硬件方面，無人機能夠實現高清視頻實時傳輸、紅外避障、GPS 定位飛行、一鍵返航[9]等功能。通過GPS 定位無人機，無人機可實時返回定位信息，飛行過程中無人機將攝像頭模塊所捕捉到的圖像實時傳輸到地面工作站，與此同時通過紅外避障功能躲避障礙物。系統可以實時控制無人機的運動狀態。無人機配置的無線通信圖傳模塊Skydroid將所采集的圖像信息通過發送端實時的傳輸到接收端，實現遠程視頻傳輸功能。軟件方面，通過改進的ECA-UNet 深度神經網絡訓練大量的裂縫數據，選取最優的裂縫分割模型，并將其與配有定位巡線功能、圖像視頻傳輸功能的無人機相結合，實現了無人機定點巡線拍攝道路裂縫，并回傳高清視頻至地面邊緣設備進行裂縫的實時分割，同時，將訓練SENet[10]分類網絡得到的裂縫分類模型劃分裂縫類別[11]，并對分割分類后的裂縫圖像進行像素占比的量化，即對裂縫的輕中重的等級進行劃分[12]，從而實現基于無人機的道路裂縫量化評估系統。本系統不僅實現了裂縫的分割目標，還按照國家標準，對裂縫的輕重等級做了相應的量化評估。

1.1 硬件設計與分析

本設計以NVIDIA Jetson Xavier NX 為核心，連接無人機搭載的圖傳模塊，其中飛行控制器，采用了pixhawk2.4.8飛控。有了這個核心部件，無人機能夠以穩定的姿態飛行。圖傳設計采用無線通信圖傳模塊Skydroid，無人機端的攝像頭通過圖傳發射端與地面邊緣設備的圖傳接收端建立連接，并通過傳輸信號將道路路面視頻傳輸給地面邊緣設備，無人機Skydroid圖傳模塊支持長達2公里距離的圖像傳輸；可以在飛控的基礎下進行圖傳，支持多種方式圖傳顯示，將圖像數據實時傳送至地面站。M8NGPS 定位模塊是一款專為無人機設計的GPS 模塊，具有即插即用的特點，可提供精確定位、自動返航和智能方向控制等多種功能。即使在惡劣環境下，如大風天氣，M8NGPS模塊仍能夠在GPS模式下精確鎖定經緯度和高度，實現高精度的懸停效果。無人機全貌如圖2所示。

圖2 無人機全貌

地面邊緣設備處理器主要是NVIDIA Jetson Xavier NX，Jetson Xavier NX開發人員套件利用緊湊型的Jetson Xavier NX模塊，將超級計算機的高性能帶到邊緣領域，為AI邊緣設備提供了強大的支持。

1.2 軟件設計與流程

為了控制時延，減輕機載計算機的算力負擔，本系統將裂縫分割量化評估算法運行在地面站計算機上，其余算法流程運行于無人機之上。整體的目標量化評估架構如圖3 所示。首先針對無人機回傳的道路路面圖像，對其第K 幀圖像進行裂縫分割后，調用訓練好的分類網絡模型，對分割后的圖像進行分類，同時計算裂縫所占圖像像素比例，后跳轉至評估函數中，判斷該裂縫的類別和損傷等級。

圖3 目標量化評估架構

根據軟件部分設計，首先對于無人機傳輸過來的視頻，利用分割網絡進行圖像分割處理，將每一幀圖像分割為二值化圖。UNet 是比較著名的可以應用于醫學影像分割的圖像分割網絡，而裂縫縱橫交錯的特征與醫學影像中的血管等十分相似，考慮將適用于醫學影像分割的算法引用在裂縫分割當中。對于裂縫分割算法常見的還有FCN、SegNet。FCN 得到固定長度的特征向量進行分類主要是使用全連接層，采樣得到的結果整體比較粗糙。SegNet 圖像分割采用先編碼再解碼的方式。編碼是用VGG16的網絡模型，對目標的特征信息進行編碼。解碼則對采集到的特征轉換為圖像形式，將像素直接分割成對應的類別。因為它是像素處理級的網絡，相較于其他網絡，需要更高配置的計算機來平衡這一計算量。與SegNet 一樣，UNet 同樣采用編碼器-解碼器結構，但其特征提取部分需要在尺度融合前將它們拼接在一起。本文中使用的是對UNet改進的ECA-UNet算法，在裂縫分割的精度上有更好的表現。

首先本文對想要使用的主體網絡進行了選擇。如表1 示，可知對于裂縫分割這一任務，UNet 總體有著出色的表現，本文使用了常用的網絡評價指標，數據集是CFD數據集與Crack 200道路裂縫數據集的合并，在網絡對比中，除了網絡結構不同外，其他參數均保持一致的情況下，可知UNet 的全局準確率(G)、平均交并比(mIOU)、精確率(P)、F1_score值(F)都達到了三者之中的最佳值，因此嘗試使用UNet 作為我們的主體網絡。

表1 主體網絡性能對比

對于裂縫分割，期望獲得更好的裂縫分割效果。注意力機制在通道或者是空間方向，提取目標特征，并為其添加一定的權重，得到優質的分割效果。SE模塊將通道注意力機制引入卷積塊中，使得網絡能夠更好地聚焦于目標區域。然而，為了降低計算成本，采用降維操作可能會對通道注意力的預測產生不良影響，并且獲取依賴關系的效率較低且不必要。ECA注意力機制的出現很好地解決了這個問題。在ECA中，注意力權重是一種可學習的參數，通過反向傳播算法，網絡可以自動調整注意力權重，以適應不同的任務和數據集。假設輸入特征圖為H×W×C，其中C表示通道數，H和W分別表示特征圖的高度和寬度。ECA模塊首先沿著高度和寬度維度進行平均池化，從而得到通道維度上的平均值。接著，對該平均值進行一維卷積操作并經過Sigmoid激活函數，最終得到各個通道的注意力權重ω，其公式如(1)所示：其中C1D代表一維卷積，k為卷積核大小，σ為Sigmoid激活函數。

通過將得到的注意力權重與原始輸入特征圖的對應元素相乘，可以得到最終的輸出特征圖。圖4為ECA注意力模塊的示意圖。

圖4 ECA注意力機制

該注意力機制對網絡處理速度的影響又最小，嘗試將ECA注意力模塊對UNet中的部分基礎塊進行改進，但是注意力機制的具體添加位置并沒有一個準確的說法。因此嘗試消融實驗，多次實驗結果表明，將ECA 注意力機制添加在UNet 左側編碼部分有較好的效果，部分數據如表2所示（注：Li代表添加在UNet的左側第i層)。

表2 UNet不同層添加注意力機制性能對比

由實驗得知，注意力機制模塊的疊加并不一定能夠獲得更好的結果，但ECA 注意力模塊添加在左側第二層能夠獲得更好的效果。其中mIOU值達到最高值84.84，相較于UNet 提升了1.51 個百分點，F1-score值達到82.82，相較于UNet提升了2.04個百分點。

在分類方面，VGG、ResNet、DenseNet 等分類網絡的發展常常對其他計算機視覺任務有著重要的作用。而SENet 主要是對無用的信息加以抑制，對有用的信息增加權重來實現目標類的分類。SENet是2017競賽Image Classification 任務的冠軍，對于此次設計所進行的裂縫分類，只將裂縫劃分為單向裂縫、塊狀裂縫與龜裂，是簡單的分類，使用SENet 訓練精度達到95%，可用來進行裂縫分類。聯合裂縫比例計算，針對不同的裂縫分類所應劃分等級的區間，進行損傷等級的評定，如圖5是SENet針對裂縫分類量化評估的過程。

圖5 裂縫分類量化評估

2 實驗與結果分析

在實驗測試過程中，首先是對無人機進行解鎖，通過遙控無人機起飛，待無人機飛行穩定后，采用定高飛行模式。主要原因是為了保證我們采集的路面大小是基本相同的，這樣計算的比例才是有效且準確的。當確定了定高飛行實際所拍攝的道路面積，開始對路面圖像進行采集。調試無人機，保證無人機電量充足，無人機起飛，到達測試區域后，查看實時回傳畫面，操控無人機正常飛行的同時，對道路裂縫進行拍攝，如圖6 所示，無人機按GPS 指定的定位航點軌跡巡檢道路，視頻實時傳輸到地面工作站進行裂縫的分割工作，并對當前裂縫損傷水平進行評估。其中，class 為分割類別，主要將其劃分為單向裂縫、塊狀裂縫和龜裂，pix為分割出的裂縫所占地面的像素比例，evaluation 即評估等級，主要分類為輕度、中度和重度裂縫。

圖6 無人機拍攝畫面與量化評估畫面

3 結論

本設計中無人機主要實現紅外避障、GPS定位巡檢道路以及實時回傳高清視頻的功能，地面邊緣設備利用改進的ECA-UNet神經網絡深度學習網絡通過訓練自建網絡數據集所獲得的最佳模型，在將其全局精度達到99.02%后，通過SENet分類網絡對裂縫類型進行分類以及計算分割幀的像素占比，對裂縫的輕重等級做了量化評估。該系統可對多種交通設施進行巡檢，不僅限于道路。對橋梁等不易巡檢的交通設施，無人機這樣的硬件設備可以不受阻擋，更方便快捷地獲取裂縫損害的真實情況。該系統適用于道路養護部門，減輕了道路巡檢人員的工作壓力，提高了工作效率，為促進智慧化城市的發展貢獻一份自己的力量。