基于無人機(jī)的橋梁表觀病害快速采集與識(shí)別

吳華勇，王 楓，趙榮欣，周子杰，賈鵬飛

（上海市建筑科學(xué)研究院有限公司上海市工程結(jié)構(gòu)安全重點(diǎn)實(shí)驗(yàn)室，上海市 200032）

0 引 言

隨著我國(guó)城鎮(zhèn)化進(jìn)程的加速和城市基礎(chǔ)設(shè)施的快速發(fā)展，道路、橋梁、隧道等基礎(chǔ)設(shè)施的規(guī)模不斷擴(kuò)大。巨大的建成體量給基礎(chǔ)設(shè)施的運(yùn)行和維護(hù)帶來了繁重的人力及資金壓力。傳統(tǒng)的橋梁基礎(chǔ)設(shè)施的安全主要以人工紙筆記錄的方式開展人工巡查和定期檢測(cè)，這種方式費(fèi)時(shí)費(fèi)力，受主觀影響較大，容易產(chǎn)生遺漏和誤差，亟需數(shù)字化的感知手段進(jìn)行提質(zhì)增效。

近兩年，國(guó)內(nèi)已有不少學(xué)者開展無人機(jī)橋梁檢測(cè)技術(shù)研究，并取得了一定的成果。如吳凌霄等（2023）以邵陽市桂花懸索大橋?yàn)閷?shí)驗(yàn)對(duì)象，采用無人機(jī)傾斜攝影測(cè)量手段構(gòu)建了懸索橋三維模型并開展病害檢測(cè)。朱澤文等（2023）介紹了吉林省某大橋和江西省某大橋的無人機(jī)檢測(cè)應(yīng)用實(shí)例。張斌等（2022）提出一種二維高精度數(shù)字資產(chǎn)與三維建模相結(jié)合的鐵路橋梁無人機(jī)巡檢方法。孫宏斐（2022）結(jié)合深度學(xué)習(xí)等技術(shù)，針對(duì)無人機(jī)獲取的橋梁圖像，提出了一種先通過分類網(wǎng)絡(luò)判別缺陷所在區(qū)域，然后通過分割網(wǎng)絡(luò)確定區(qū)域內(nèi)缺陷像素點(diǎn), 最后根據(jù)距離信息實(shí)現(xiàn)缺陷定量檢測(cè)的檢測(cè)方式。李峰（2021）提出了基于無人機(jī)及深度學(xué)習(xí)的橋梁結(jié)構(gòu)裂縫智能方法，其識(shí)別的裂縫寬度與裂縫測(cè)量?jī)x結(jié)果吻合，其絕對(duì)誤差小于0.097 mm，相對(duì)誤差小于9.8%。

本文采用商用小型無人機(jī)對(duì)公路橋梁表觀病害信息進(jìn)行快速采集與識(shí)別，通過3D 點(diǎn)云技術(shù)進(jìn)行三維全息建模，采用深度學(xué)習(xí)算法對(duì)橋梁表觀病害進(jìn)行分類識(shí)別提取，采用計(jì)算機(jī)視覺技術(shù)對(duì)橋梁病害尺寸信息進(jìn)行識(shí)別，實(shí)現(xiàn)橋梁表觀病害的快速采集與智能化化識(shí)別。

1 基于無人機(jī)的橋梁表觀信息快速采集

本文選取勝辛路橋作為試驗(yàn)對(duì)象，如圖1 所示該橋位于G1503 高速公路北環(huán)線，橋位樁號(hào)K181+102。該橋?yàn)樯稀⑾滦袃煞鶚蚋?5 跨，橋長(zhǎng)300 m，橋面總寬32 m，上部構(gòu)造形式為預(yù)應(yīng)力空心板梁，下部構(gòu)造形式第1-14 跨為柱式，0#臺(tái)與15#臺(tái)為埋置式。上、下行上部結(jié)構(gòu)各由225 片預(yù)應(yīng)力空心板梁組成，橋面采用瀝青混凝土面層，支座采用板式橡膠支座。設(shè)計(jì)荷載為汽車超20 級(jí)，掛車120。勝辛路橋于1999 年8 月建成通車，至今已運(yùn)行20 多年，部分結(jié)構(gòu)出現(xiàn)不同程度的病害見圖1，本文主要采用商用無人機(jī)對(duì)勝辛路橋跨線部分的7 至8 跨進(jìn)行表觀病害采集，在無人機(jī)無法到達(dá)的部分采用近景攝影測(cè)量技術(shù)利用相機(jī)拍照的方式采集橋梁表觀病害。

圖1 勝辛路橋現(xiàn)狀

橋梁表觀數(shù)據(jù)采集方式主要是通過大疆PHANTOM 4 RTK 無人機(jī)（見圖2）自動(dòng)采集試點(diǎn)橋梁路面及側(cè)面照片（見圖3），橋梁底部無人機(jī)無法采集的地方采用佳能單反相機(jī)（見圖4）人工拍照的方式進(jìn)行試點(diǎn)橋梁橋底（見圖5）外觀數(shù)據(jù)采集。

圖2 大疆P HANTOM 4 RTK 無人機(jī)

圖3 大無人機(jī)自動(dòng)采集數(shù)據(jù)

圖4 佳能5DMARK4 相機(jī)

圖5 人工拍照采集數(shù)據(jù)

2 勝辛路橋傾斜攝影建模

現(xiàn)場(chǎng)無人機(jī)飛行4 架次，約1 h，共采集照片1 233 張。人工橋底拍照1 h，采集相機(jī)照片542 張。將現(xiàn)場(chǎng)采集到的照片進(jìn)行三維建模分析，圖6 為傾斜攝影三維建模流程。采用的硬件配置為工作組包括2 臺(tái)32 g 內(nèi)存、i7cpu、gtx1080，1 臺(tái)64 g 內(nèi)存、i7cpu、gtx1080，建模時(shí)間為無人機(jī)照片8 h，相機(jī)照片8 h。建模結(jié)果見圖7，三維模型的相對(duì)精度為0.000 5～0.022 m，正射影的精度為0.001 5～0.022 m。模型精度與照片像素及拍攝距離有關(guān)，照片像素越高、拍攝距離越近，模型精度越高。本項(xiàng)目中，無人機(jī)與橋梁的最近距離為2 m。

圖6 傾斜攝影三維建模流程

圖7 勝辛路橋傾斜攝影模型

3 基于人工智能算法的病害識(shí)別

針對(duì)無人機(jī)與相機(jī)采集的大量橋梁表觀照片，研究使用了最新的YOLOv3 目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型對(duì)裂縫等表觀病害進(jìn)行自動(dòng)識(shí)別的方法。訓(xùn)練過程中，我們采用了在先前收集的大規(guī)模橋梁表觀裂縫圖像數(shù)據(jù)集上進(jìn)行的迭代優(yōu)化。訓(xùn)練數(shù)據(jù)集包含了2032 張橋梁裂縫的實(shí)例，并使用Labelimg 工具對(duì)裂縫進(jìn)行目標(biāo)框標(biāo)注。將這些標(biāo)注好的圖像按照7∶2∶1 的比例被分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，用于模型訓(xùn)練、性能驗(yàn)證和測(cè)試。確保模型能夠?qū)W習(xí)到豐富的特征并準(zhǔn)確地進(jìn)行裂縫檢測(cè)。

3.1 YOLOv3 目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型

YOLO（You Only Look Once）是一種流行的實(shí)時(shí)目標(biāo)檢測(cè)算法，YOLOv3 是其改進(jìn)的第三版，具有更高的檢測(cè)準(zhǔn)確率和更好的性能，是目前最具普適性的版本。如圖8 所示，YOLOv3 采用單階段檢測(cè)方法，在一次前向傳遞中即可對(duì)圖像中的多個(gè)目標(biāo)進(jìn)行檢測(cè)。相比于傳統(tǒng)的兩階段檢測(cè)算法，YOLOv3 具有更快的處理速度，適合應(yīng)用于無人機(jī)實(shí)時(shí)采集大量圖像的場(chǎng)景。

圖8 YOLOv3 網(wǎng)絡(luò)模型結(jié)構(gòu)圖

3.2 YOLOv3 模型識(shí)別結(jié)果與分析

本研究模型使用了PyTorch 作為深度學(xué)習(xí)框架，搭建了YOLOv3 目標(biāo)檢測(cè)模型。PyTorch 提供了豐富的工具和便捷的API，使得模型的構(gòu)建、訓(xùn)練和推理都變得更加高效和簡(jiǎn)單。模型還使用了搭載預(yù)訓(xùn)練模型、應(yīng)用交叉熵?fù)p失函數(shù)、配置訓(xùn)練優(yōu)化器Adam等訓(xùn)練策略來優(yōu)化模型在訓(xùn)練中的表現(xiàn)。硬件方面，模型訓(xùn)練在配置有圖形處理單元（GPU）的工作站上進(jìn)行（CPU：INTEL I9-9900X，內(nèi)存：16GB*6，GPU：NVIDIA GeForce RTX 2080TI*4）。模型參數(shù)設(shè)置與調(diào)優(yōu)是深度學(xué)習(xí)中最為關(guān)鍵的一步，選擇合適的模型參數(shù)對(duì)模型推理結(jié)果的準(zhǔn)確性產(chǎn)生較大影響，且影響模型訓(xùn)練與識(shí)別時(shí)間。本文通過對(duì)訓(xùn)練樣本的優(yōu)化調(diào)整與不同參數(shù)設(shè)置來進(jìn)行了多次訓(xùn)練試驗(yàn)，并在驗(yàn)證集上評(píng)估其識(shí)別的準(zhǔn)確率模型在測(cè)試集中的精度、召回率、F1 值等評(píng)價(jià)指標(biāo)，同時(shí)對(duì)一些典型樣本的識(shí)別結(jié)果進(jìn)行展示，見圖9。最終我們訓(xùn)練得到的最佳模型，其單張圖像的處理時(shí)間為12.2 ms；準(zhǔn)確率為81%，召回率為78%，具有良好的預(yù)測(cè)性能。

圖9 橋梁表觀裂縫自動(dòng)識(shí)別結(jié)果

4 結(jié) 語

本文通過融合地理信息數(shù)據(jù)與無人機(jī)技術(shù)，配合傾斜攝影、激光雷達(dá)的技術(shù)方案，實(shí)現(xiàn)了橋梁上部及下部結(jié)構(gòu)表觀圖像數(shù)據(jù)的快速采集，再通過3D 點(diǎn)云技術(shù)進(jìn)行目標(biāo)橋的三維全息建模。另一方面，采用深度學(xué)習(xí)算法對(duì)橋梁表觀病害進(jìn)行分類識(shí)別提取，采用計(jì)算機(jī)視覺技術(shù)對(duì)橋梁病害尺寸信息進(jìn)行識(shí)別，實(shí)現(xiàn)橋梁表觀病害的快速采集與智能化識(shí)別。使用該方法對(duì)上海市G1503 繞城高速勝辛路橋開展了相關(guān)的橋梁檢測(cè)工作，檢測(cè)精度高，工作效率提升了30%以上，取得了良好的應(yīng)用效果。不過該方法也具有一定的局限性，無人機(jī)的操控需要技術(shù)人員的熟練使用以降低飛行中的損毀風(fēng)險(xiǎn)；由于橋梁檢測(cè)現(xiàn)場(chǎng)環(huán)境的復(fù)雜性，利用人工智能算法的檢測(cè)結(jié)果會(huì)有一些誤判的地方，需要橋梁檢測(cè)人員進(jìn)行人工復(fù)核。目前，所能達(dá)到的混凝土裂縫的識(shí)別的準(zhǔn)確率約為80%，仍具有較大提升空間。