基于無人機(jī)橋梁表觀病害巡檢與三維數(shù)字孿生

王 楓，吳華勇，趙榮欣，余威鐳，賈鵬飛，余 力

（1.上海市建筑科學(xué)研究院有限公司 上海市工程結(jié)構(gòu)安全重點(diǎn)實(shí)驗(yàn)室，上海市 200023；2.上海大風(fēng)技術(shù)有限公司，上海市 200082）

0 引言

截至2022 年底，我國僅公路橋梁的數(shù)量就已超過103 萬座，其中40%在役橋梁服役年限超過20 a。隨著橋梁服役年限的增長，在結(jié)構(gòu)材料自身老化退化等內(nèi)部因素，以及車輛荷載、地震、臺(tái)風(fēng)、洪水等自然災(zāi)害的外部因素綜合作用下，橋梁結(jié)構(gòu)運(yùn)營逐漸進(jìn)入高維修高風(fēng)險(xiǎn)階段。傳統(tǒng)橋梁檢測(cè)主要由檢測(cè)人員采用紙筆對(duì)橋梁病害直接識(shí)別、記錄，其具有重復(fù)性強(qiáng)、中斷交通、需高空作業(yè)等特點(diǎn)，導(dǎo)致橋梁巡檢工作成本高、效率低及結(jié)果不準(zhǔn)確。

隨著物聯(lián)網(wǎng)、近景攝影測(cè)量與機(jī)器視覺等技術(shù)的快速發(fā)展，采用無人機(jī)輔助視覺技術(shù)取代人工視覺完成橋梁檢測(cè)工作逐漸成為可能[1]。目前，研究人員已采用無人機(jī)技術(shù)在沿海腐蝕環(huán)境橋梁病害巡檢[2]、大跨橋梁病害圖像采集[3]、公路橋梁日常與應(yīng)急巡檢[4]、鐵路橋梁巡檢[5-6]等諸多橋梁檢測(cè)工作中進(jìn)行了嘗試。然而，因橋梁現(xiàn)場(chǎng)環(huán)境復(fù)雜多變，存在多處信號(hào)盲區(qū)，無人機(jī)無法自動(dòng)采集橋梁全部信息，如梁底、蓋梁及橋墩關(guān)鍵部位，導(dǎo)致無人機(jī)在橋梁自動(dòng)化巡檢中的應(yīng)用推廣受到諸多限制。

本文采用商用無人機(jī)對(duì)城市橋梁表觀信息進(jìn)行自動(dòng)化采集與三維建模，基于機(jī)器視覺算法對(duì)橋梁表觀病害信息進(jìn)行分類識(shí)別與定位，通過病害與三維模型關(guān)聯(lián)匹配算法實(shí)現(xiàn)了橋梁表觀病害的三維孿生，提高了橋梁巡檢的自動(dòng)化程度，實(shí)現(xiàn)了無人機(jī)進(jìn)行橋梁巡檢的數(shù)字化交付。

1 基于無人機(jī)的橋梁表觀信息采集

小型商用無人機(jī)具有機(jī)動(dòng)、靈活、快速、經(jīng)濟(jì)等特點(diǎn)，以無人機(jī)為飛行平臺(tái)，掛載多類型高性能傳感器，如高像素相機(jī)，激光雷達(dá)等，構(gòu)建橋梁檢測(cè)圖像自動(dòng)化采集系統(tǒng)，從而實(shí)現(xiàn)橋梁表觀信息的高效采集。相較與植保無人機(jī)、電線巡檢無人機(jī)等，橋梁巡檢無人機(jī)對(duì)于信息采集的要求更高，主要體現(xiàn)在：（1）橋梁結(jié)構(gòu)空間立體尺寸復(fù)雜；（2）橋梁病害巡檢需要貼近拍攝；（3）無人機(jī)易受橋梁周圍樹木、路燈桿、電線、建筑等的干擾。基于此，目前無人機(jī)橋梁巡檢以飛手人工手動(dòng)控制為主，且對(duì)飛手具有一定飛行經(jīng)驗(yàn)與橋梁病害檢測(cè)經(jīng)驗(yàn)要求，這限制了無人機(jī)橋梁巡檢人工效率的提高。

針對(duì)無人機(jī)橋梁巡檢貼近拍攝的特點(diǎn)，提出了無人機(jī)橋梁巡檢航線規(guī)劃方案如圖1（a）至圖1（d）所示，具體包括：橋梁主體，以環(huán)繞拍攝為主；橋梁路面，保持一定高度蛇形航線飛行拍攝；橋梁側(cè)面，保持一定距離豎向鋸齒航線貼近拍攝；橋梁梁底，采用上置云臺(tái)攝像頭仰視巡線飛行拍攝；橋塔，采用超高清矩陣拍攝；橋梁拉索等特殊構(gòu)件，采用階梯形航線拍攝。通過多種飛行模式的組合，獲得橋梁全息圖像。

無人機(jī)采集橋梁表觀病害需根據(jù)拍攝精度要求，對(duì)相機(jī)像素、焦距、拍攝距離等參數(shù)進(jìn)行設(shè)置。表1 展示了相機(jī)焦距為35 mm 時(shí)，相機(jī)像素?cái)?shù)與橫視野范圍、可以檢出的最小裂縫寬度之間的關(guān)系。由表1 可知，當(dāng)需要識(shí)別出0.1～0.2 mm 寬度的裂縫時(shí)，采用3 600 萬的相機(jī)像素?cái)?shù)，橫方向最大視野范圍為2.94 m，換算得到相機(jī)至拍攝物體的距離為5.03 m。因此，對(duì)于需要檢測(cè)出橋梁裂縫病害的需求，需對(duì)無人機(jī)與橋梁的距離為5 m 左右時(shí)貼近拍攝。

表1 相機(jī)像素與最小裂縫寬度之間的關(guān)系

2 橋梁表觀圖像實(shí)景三維建模

無人機(jī)外業(yè)采集橋梁表觀圖像后，采用測(cè)量測(cè)量技術(shù)進(jìn)行建模，將橋梁外觀圖像信息轉(zhuǎn)化為三維數(shù)字模型。武漢大學(xué)張祖勛院士團(tuán)隊(duì)針對(duì)五相機(jī)傾斜攝影中有效照片比例低、成果在某些方面不可用的問題，提出了“貼近攝影測(cè)量”（nap-of-the-object photogrammetry）概念[7]，貼近攝影測(cè)量技術(shù)利用無人機(jī)貼近目標(biāo)物獲取超高分辨率影像，通過三維地理信息提取，高度還原物體的精細(xì)結(jié)構(gòu)。

本文基于傾斜、貼近兩種攝影測(cè)量技術(shù)，采用自主研發(fā)的建模軟件對(duì)橋梁表觀信息進(jìn)行實(shí)景三維建模，如圖2（a、b）所示，其為上海某大橋?qū)嵕叭S模型。

3 基于深度學(xué)習(xí)的橋梁表觀病害識(shí)別與定位

橋梁表觀病害識(shí)別與定位可將其視為目標(biāo)檢測(cè)任務(wù)，通過目標(biāo)檢測(cè)算算法識(shí)別出圖像是否有病害、病害的類別，病害在圖像中的位置以及病害的大小。近年來，隨著圖像采集設(shè)備的普及，目標(biāo)檢測(cè)算法在人臉識(shí)別、車牌識(shí)別、工業(yè)產(chǎn)品缺陷檢測(cè)等場(chǎng)景得到了較多應(yīng)用，從而使計(jì)算機(jī)視覺等相關(guān)技術(shù)得到應(yīng)用與發(fā)展，目標(biāo)檢測(cè)算法也從基于人工特征的傳統(tǒng)算法轉(zhuǎn)向了基于深度神經(jīng)網(wǎng)絡(luò)算法的檢測(cè)技術(shù)。當(dāng)前，最為先進(jìn)的深度學(xué)習(xí)目標(biāo)檢測(cè)算法框架YOLOv8，它是最新的SOTA（State of the arts）技術(shù)，可以在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，在各種硬件平臺(tái)上運(yùn)行，在檢測(cè)精度與檢測(cè)速度之間尋找到了較好的平衡點(diǎn)。

3.1 YOLOv8 神經(jīng)網(wǎng)絡(luò)

YOLOv8 基礎(chǔ)輸入仍然為640×640，其網(wǎng)絡(luò)結(jié)構(gòu)主干網(wǎng)絡(luò)（Backbone）部分使用C2f 模塊，檢測(cè)頭（Head）部分使用了無錨框（Anchor-free）及解耦合頭（Decoupled-head），損失函數(shù)使用了分類BCE、回歸CIOU+VFL（新增項(xiàng)目）的組合，框匹配策略由靜態(tài)匹配改為了對(duì)齊分配器（Task-Aligned Assigner）正樣本分配策略、最后10 個(gè)迭代（epoch）關(guān)閉馬賽克增強(qiáng)（Mosaic）的操作、訓(xùn)練總epoch 數(shù)從300 提升到了1000。YOLOv8 神經(jīng)網(wǎng)絡(luò)架構(gòu)參見參考文獻(xiàn)[8]。

3.2 YOLOv8 模型配置與訓(xùn)練

本文采用了網(wǎng)絡(luò)公開數(shù)據(jù)集與人工收集的橋梁現(xiàn)場(chǎng)工程檢測(cè)圖像作為樣本。本次研究主要以橋梁裂縫與露筋兩種病害作為研究對(duì)象，人工篩選了238張圖像數(shù)據(jù)，包含裂縫照片116 張、露筋照片122 張。為了與工程應(yīng)用場(chǎng)景接近，這些圖像未經(jīng)過圖像的縮放、裁剪、亮度和對(duì)比度調(diào)整等。采用Labelme 工具對(duì)病害進(jìn)行實(shí)例分割標(biāo)注，共標(biāo)注裂縫病害150處，露筋病害331 處。將這些標(biāo)注好的圖像按照7∶2∶1 的比例被分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，用于模型訓(xùn)練、性能驗(yàn)證和測(cè)試。

在訓(xùn)練過程中，本文使用了預(yù)訓(xùn)練的yolov8n.pt模型作為初始權(quán)重，以加速模型的訓(xùn)練過程。YOLOv8 類別損失采用的是交叉熵?fù)p失，邊框回歸損失采用的是分布焦點(diǎn)損失（DFL Loss）加上完整的交并比損失（CIOU Loss）。本文在YOLOv8 的基礎(chǔ)上，使用了谷歌強(qiáng)勢(shì)推出的優(yōu)化器Lion，相較與主流優(yōu)化器AdamW，優(yōu)化器Lion 使用參數(shù)更少，減少了復(fù)雜運(yùn)算，具有更省顯存與速度更快的優(yōu)勢(shì)。

模型訓(xùn)練的所有工作都是用Windows 的Pytorch框架[10]上進(jìn)行的，并在配置有圖形處理單元（GPU）的工作站上進(jìn)行（CPU：INTEL I9-9900X，內(nèi)存：16GB×6，GPU：NVIDIA GeForce RTX 2080TI×4）。模型參數(shù)設(shè)置與調(diào)優(yōu)是深度學(xué)習(xí)中最為關(guān)鍵的一步，選擇合適的模型參數(shù)對(duì)模型推理結(jié)果的準(zhǔn)確性產(chǎn)生較大影響，且影響模型訓(xùn)練與推理時(shí)間。本文通過對(duì)訓(xùn)練樣本的優(yōu)化調(diào)整與不同參數(shù)設(shè)置組合設(shè)置，在驗(yàn)證集上評(píng)估其識(shí)別的準(zhǔn)確率。在參數(shù)設(shè)置方面，最大的訓(xùn)練周期（epoch）設(shè)為1 000，圖像的輸入尺寸調(diào)整為640×640，根據(jù)工作站性能及圖像樣本數(shù)量設(shè)定批次大小（batch）為16。參數(shù)patience 設(shè)為50，當(dāng)在最新訓(xùn)練的50 次后模型性能無提升時(shí)會(huì)停止訓(xùn)練。在超參設(shè)置方面，初始學(xué)習(xí)率與最終學(xué)習(xí)率均設(shè)為0.01，優(yōu)化器的動(dòng)量（momentum）設(shè)為0.937，優(yōu)化器的權(quán)重衰減（weight decay）設(shè)為0.000 5。最后訓(xùn)練得到的YOLOv8s-seg 模型具有261 層，11 790 870 個(gè)參數(shù)及11 790 854 個(gè)梯度，每張圖像的處理時(shí)間為9.9 ms。

3.3 訓(xùn)練結(jié)果與測(cè)試分析

根據(jù)上節(jié)3.2 介紹的參數(shù)設(shè)置，隨著隨著損失函數(shù)值的逐漸下降，模型預(yù)測(cè)準(zhǔn)確率逐步上升，當(dāng)epoch為937 時(shí)，結(jié)束訓(xùn)練，總共用時(shí)1.24 h，訓(xùn)練過程中損失值與精度值的變化如下圖3 與圖4 所示。圖5給出了測(cè)試集的混淆矩陣，可以看到預(yù)測(cè)的正樣本集中于矩陣的對(duì)角線上，不同類別病害之間無混淆，僅病害與背景之間的混淆，說明該模型其在橋梁裂縫與露筋病害分類中的具有較高的準(zhǔn)確性。此外，從該混淆矩陣可以看出，背景被識(shí)別為病害的概率較低，而病害被識(shí)別為背景的概率較高，且裂縫相較于露筋病害更易造成識(shí)別混淆，這可能與不同病害之間的圖像特征的差異以及露筋樣本數(shù)量高于裂縫樣本數(shù)量有關(guān)。

圖3 訓(xùn)練過程中損失值

圖4 訓(xùn)練過程中模型精度值

圖6 所示為訓(xùn)練結(jié)果的準(zhǔn)確率與召回率曲線（P-R 曲線）。圖6（a）為裂縫與露筋病害的目標(biāo)檢測(cè)框的P-R 曲線，裂縫病害的精準(zhǔn)率為0.990，露筋病害的精準(zhǔn)率為0.986，平均精準(zhǔn)率為0.988。圖6（b）為裂縫與露筋病害的示例分割結(jié)果的P-R 曲線，裂縫病害的精準(zhǔn)率為0.971，露筋病害的精準(zhǔn)率為0.983，平均精準(zhǔn)率為0.977。圖6 結(jié)果表明，本文訓(xùn)練的YOLOv8s-seg 模型在目標(biāo)檢測(cè)任務(wù)與實(shí)例分割任務(wù)中均具有大于97%的準(zhǔn)確率。

圖6 準(zhǔn)確率與召回率曲線（P-R 曲線）

4 橋梁表觀病害三維數(shù)字孿生

本文在第二部分橋梁實(shí)景三維建模的基礎(chǔ)上，結(jié)合第三部分病害識(shí)別與定位算法，將識(shí)別的病害與三維實(shí)景模型關(guān)聯(lián)起來以實(shí)現(xiàn)橋梁表觀病害的三維數(shù)字孿生。橋梁病害三維數(shù)字孿生模型可以真實(shí)還原的病害在橋梁上的具體位置，病害表觀紋理、病害類別與病害大小，在瀏覽過程中模型可以放大、縮小、移動(dòng)、多角度查看紋理細(xì)節(jié)，同時(shí)可以測(cè)量病害的尺寸與面積。橋梁表觀病害三維數(shù)字孿生模型建立后，檢測(cè)單位可根據(jù)裂縫、露筋等病害的自動(dòng)提取結(jié)果，進(jìn)行進(jìn)一步的量化計(jì)算，輔以橋梁模型對(duì)病害位置、尺寸信息進(jìn)行匯總，最終出具檢測(cè)報(bào)告。原本難以檢測(cè)的橋梁梁底，可通過模型確定橋底缺陷類別、大小及位置。檢測(cè)單位完成檢測(cè)任務(wù)后，不僅可提交紙質(zhì)或電子版的檢測(cè)報(bào)告，而且可以實(shí)現(xiàn)檢測(cè)結(jié)果的數(shù)字化交付。圖7 所示為上海某大橋病害三維數(shù)字孿生模型，管養(yǎng)人員、業(yè)主單位人員不用去橋梁現(xiàn)場(chǎng)即可獲得全面真實(shí)的橋梁病害信息及對(duì)橋梁的技術(shù)狀態(tài)有清晰的認(rèn)識(shí)。

圖7 上海某大橋病害三維數(shù)字孿生模型

5 結(jié)語

為了實(shí)現(xiàn)無人機(jī)橋梁檢測(cè)的自動(dòng)化，本文提出了一套基于無人機(jī)橋梁自動(dòng)化檢測(cè)的方法與流程，并通過工程案例實(shí)踐并驗(yàn)證了該方法的有效性。首先，采用無人機(jī)進(jìn)行橋梁表觀信息的采集，通過合理的航線規(guī)劃與拍攝模式設(shè)置，提高表觀信息的有效性與完整性。通過傾斜攝影測(cè)量與貼近攝影測(cè)量技術(shù)對(duì)無人機(jī)采集的圖像信息三維建模。然后，采用深度學(xué)習(xí)算法對(duì)橋梁表觀病害進(jìn)行模型訓(xùn)練與病害識(shí)別與定位，本文采用的改進(jìn)的YOLOv8 算法訓(xùn)練的YOLOv8s-seg 模型對(duì)于橋梁裂縫與露筋病害的識(shí)別與定位準(zhǔn)確度可達(dá)97%以上。最后，通過三維模型與病害關(guān)聯(lián)實(shí)現(xiàn)橋梁表觀病害的三維數(shù)字孿生，該方法提高了在實(shí)際無人機(jī)橋檢中的自動(dòng)化操作程度，提高橋梁檢測(cè)的效率和精度，實(shí)現(xiàn)了檢測(cè)結(jié)果的數(shù)字化交付。

本文提出的無人機(jī)橋梁檢測(cè)方法也存在一些潛在的限制，例如對(duì)于橋下凈空較小的橋梁，無人機(jī)難以自動(dòng)化采集梁底照片，數(shù)據(jù)集的質(zhì)量與規(guī)模對(duì)病害自動(dòng)化檢測(cè)結(jié)果可能產(chǎn)生較大影響，橋梁三維實(shí)景建模與模型訓(xùn)練對(duì)硬件設(shè)備有一定要求等。未來的研究可以考慮進(jìn)一步優(yōu)化無人機(jī)自動(dòng)化采集策略，提高橋梁病害數(shù)據(jù)集的質(zhì)量與規(guī)模，同時(shí)將本文方法遷移到其它設(shè)施的表觀病害檢測(cè)中，如建筑外立面、大壩、煙囪等。