橋梁快速建模及病害識別技術(shù)應(yīng)用研究

元 松，王曉佳

（上海市市政公路工程檢測有限公司，上海市 201108）

0 引言

橋梁外觀往往反映了其結(jié)構(gòu)的健康狀況[1]。近年來，我國對橋梁檢測進(jìn)行了大量研究，積累了許多經(jīng)驗(yàn)，但仍然存在一定的問題，如：（1）落后的檢測手段，較低的機(jī)動(dòng)性；（2）昂貴的檢測費(fèi)用；（3）較高的作業(yè)危險(xiǎn)系數(shù)；（4）不全面的檢測范圍；（5）低效率檢測導(dǎo)致交通不便。

隨著橋梁多種病害的突發(fā)，日常運(yùn)營維護(hù)工作迫在眉睫。運(yùn)用人工智能方法，夯實(shí)橋梁數(shù)字化運(yùn)維基礎(chǔ)，將有利于橋梁的維護(hù)，及時(shí)發(fā)現(xiàn)并有效修復(fù)病害，提高路橋養(yǎng)護(hù)效率，實(shí)現(xiàn)養(yǎng)護(hù)管理精細(xì)化、數(shù)字化和網(wǎng)格化。國內(nèi)外雖然有采用攝影技術(shù)對橋梁進(jìn)行建模的研究及應(yīng)用，但還沒實(shí)現(xiàn)在模型上進(jìn)行構(gòu)件自動(dòng)劃分和外觀病害的自動(dòng)識別輸出。

本文基于Lensphoto 近景攝影測量技術(shù)，對橋梁進(jìn)行三維快速建模，并采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，對模型上的病害圖像進(jìn)行自動(dòng)識別，以期實(shí)現(xiàn)定量、快速、自動(dòng)化的檢測，提高橋梁檢測評估的效率。

1 基本原理

1.1 近景攝影測量技術(shù)

Lensphoto 近景攝影測量系統(tǒng)具有3 大特點(diǎn)：（1）全新的多片影像立體匹配算法，具備自動(dòng)空中等角測量及區(qū)域網(wǎng)平差、自動(dòng)生成等值線、自動(dòng)密集點(diǎn)云生成、自動(dòng)構(gòu)網(wǎng)、建模、紋理映射等功能；（2）可處理旋轉(zhuǎn)多基線攝影近景影像數(shù)據(jù)或者平行攝影近景影像數(shù)據(jù)；（3）相對測量精度達(dá)1/10 000[2]。

旋轉(zhuǎn)多基線交向攝影示意圖見圖1。

圖1 旋轉(zhuǎn)多基線交向攝影示意圖

由圖1 可知，通過4 個(gè)攝站，每個(gè)攝站拍攝至少3 張影像，即可覆蓋整個(gè)被攝物體，按區(qū)域?qū)λ鶖z對象進(jìn)行整體處理，經(jīng)過自檢校區(qū)域網(wǎng)平差，獲取密集點(diǎn)云。

1.2 多點(diǎn)配準(zhǔn)及自動(dòng)紋理映射技術(shù)

多點(diǎn)配準(zhǔn)映射技術(shù)流程見圖2。

圖2 多點(diǎn)配準(zhǔn)映射技術(shù)流程

多點(diǎn)配準(zhǔn)及自動(dòng)紋理映射技術(shù)主要是通過計(jì)算影像在激光點(diǎn)云坐標(biāo)系中的外方位元素，使激光點(diǎn)云與影像在幾何上精密地聯(lián)系在一起，實(shí)現(xiàn)影像與激光點(diǎn)云的配準(zhǔn)，從而達(dá)到點(diǎn)云構(gòu)網(wǎng)、三維建模與紋理映射全部自動(dòng)化，生成具有高度逼真的三維模型[3]。

1.3 YOLOv4 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

YOLOv4 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型見圖3。

圖3 YOLOv4 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型

YOLOv4 模型結(jié)構(gòu)由輸入層、主干網(wǎng)絡(luò)、混合和組合圖像特征的網(wǎng)絡(luò)層、預(yù)測層4 部分組成[4]。其中：CBM 由Conv+Bn+Mish 這3 個(gè)激活函數(shù)組成；CBL由Conv+Bn+Leaky_relu 這3 個(gè)激活函數(shù)組成；CSPX 結(jié)構(gòu)借鑒CSPNet 網(wǎng)絡(luò)結(jié)構(gòu)，由卷積層和X 個(gè)Res_unit 殘差單元張量拼接組成；SPP 采用1×1、5×5、9×9、13×13 最大池化的方式，進(jìn)行多尺度融合。

2 橋梁三維快速建模技術(shù)

根據(jù)Lensphoto 獲取橋梁表觀圖像和三維建模的方法，通過圖像解析計(jì)算得到高精度點(diǎn)云，在此基礎(chǔ)上通過自動(dòng)紋理映射，得到高精度、目視化的橋梁三維模型，可直觀應(yīng)用于橋梁表觀病害自動(dòng)識別及橋梁技術(shù)狀況評估。

2.1 無人機(jī)攝影平臺

無人機(jī)攝影平臺見圖4。

圖4 無人機(jī)攝影平臺

無人機(jī)用于橋梁檢測具有很多優(yōu)勢[5]，但由于當(dāng)前無人機(jī)幾乎沒有向上拍攝的功能，為了實(shí)現(xiàn)對橋梁結(jié)構(gòu)表觀狀況的全方位、全覆蓋拍攝，需要在現(xiàn)有無人機(jī)的基礎(chǔ)上增加云臺和向上拍攝的相機(jī)。為了保證三維模型效果，需要確保檢測部位在照片上無遺漏和無死角，以實(shí)現(xiàn)雙目立體前方交會，并同步記錄對應(yīng)的GPS 數(shù)據(jù)[6]。

選擇常用的物種多樣性測度指標(biāo)，如物種豐富度指數(shù)、物種多樣性指數(shù)、物種優(yōu)勢度以及物種均勻度指數(shù)等［3］。

2.2 橋梁三維模型構(gòu)件自動(dòng)劃分

2.2.1 方案設(shè)計(jì)

通過無人機(jī)對橋梁表觀影像進(jìn)行采集，運(yùn)用Lensphoto 近景攝影測量技術(shù)對所采集的影像進(jìn)行高精度建模；再通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對橋梁各構(gòu)件類型進(jìn)行訓(xùn)練，提取橋梁的各種構(gòu)件特征，實(shí)現(xiàn)對橋梁三維模型進(jìn)行構(gòu)件自動(dòng)劃分。橋梁構(gòu)件劃分流程見圖5。

圖5 橋梁構(gòu)件劃分流程

2.2.2 橋梁構(gòu)件樣本標(biāo)注

按橋梁部位將橋梁分為橋面系、上部結(jié)構(gòu)和下部結(jié)構(gòu)3 部分。以梁式橋?yàn)槔瑯蛎嫦蛋唇M成部分主要?jiǎng)澐譃闃蛎驿佈b、伸縮縫、防撞護(hù)欄等部件；上部結(jié)構(gòu)按組成部分劃分為主梁、濕接縫、橫隔板、支座等部件；下部結(jié)構(gòu)按組成部分劃分為橋墩、橋臺、墩臺基礎(chǔ)等部件[7]。

為了對上述構(gòu)件進(jìn)行自動(dòng)識別劃分，首先應(yīng)對各類構(gòu)件圖像進(jìn)行標(biāo)注，標(biāo)注數(shù)量不少于2 000 張；再將這些標(biāo)注完成的影像導(dǎo)入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提取各類構(gòu)件的特征信息。

橋梁構(gòu)件標(biāo)記見圖6。

圖6 橋梁構(gòu)件標(biāo)記

2.2.3 三維建模實(shí)體應(yīng)用

將無人機(jī)所拍攝的影像信息導(dǎo)入識別系統(tǒng)中，選擇建模方式，點(diǎn)擊“開始處理”，建立所拍攝橋梁的三維模型，同時(shí)模型數(shù)據(jù)在病害檢測和構(gòu)件劃分界面進(jìn)行顯示；點(diǎn)擊“構(gòu)件識別”，即可進(jìn)行構(gòu)件的自動(dòng)識別和劃分；最后是成果輸出。以上海市顓橋鎮(zhèn)北橫涇斜拉橋?yàn)槔浣ＰЧ妶D7。

圖7 上海市顓橋鎮(zhèn)北橫涇橋三維模型

3 橋梁表觀病害自動(dòng)識別技術(shù)

3.1 方案設(shè)計(jì)

橋梁表觀病害檢測系統(tǒng)設(shè)計(jì)方案見圖8。

圖8 橋梁表觀病害檢測系統(tǒng)設(shè)計(jì)方案

橋梁表觀病害自動(dòng)識別系統(tǒng)由圖像導(dǎo)入、三維重建、構(gòu)件和病害識別、成果輸出4 大模塊組成。

3.2 橋梁病害的樣本

根據(jù)橋梁結(jié)構(gòu)，將橋梁表觀病害分為混凝土結(jié)構(gòu)病害、鋼結(jié)構(gòu)病害、橋面鋪裝病害3 大類。其中：（1）混凝土結(jié)構(gòu)病害主要包括：裂縫、蜂窩麻面、剝落掉角、空洞孔洞、鋼筋裸露銹蝕等；（2）鋼結(jié)構(gòu)病害主要包括：涂層起皮剝落、鋼結(jié)構(gòu)銹蝕等；（3）橋面鋪裝病害主要包括：瀝青路面鋪裝層裂縫、坑槽等。

橋梁結(jié)構(gòu)病害類別標(biāo)注見圖9。

圖9 橋梁結(jié)構(gòu)病害類別標(biāo)注

圖像標(biāo)注與訓(xùn)練樣本選擇：為減小干擾因素影響，首先應(yīng)對訓(xùn)練圖像中的病害信息進(jìn)行分類標(biāo)注和命名[8]，每類病害圖像標(biāo)注數(shù)量不少于2 000 張。

3.3 病害識別準(zhǔn)確率

從總體樣本中選取80%為訓(xùn)練集，對各類病害進(jìn)行特征提取、訓(xùn)練和識別后，選取剩余20%病害樣本為驗(yàn)證集，以檢驗(yàn)識別模型的準(zhǔn)確率。表1 為各類病害識別準(zhǔn)確率。

表1 各類病害識別準(zhǔn)確率

由表1 可知，各類病害的識別準(zhǔn)確率可以達(dá)到70%以上，基本滿足工程需求。為方便工程應(yīng)用，同樣以上海市顓橋鎮(zhèn)北橫涇斜拉橋?yàn)槔洳『D像識別結(jié)果和數(shù)據(jù)導(dǎo)出如圖10 所示。經(jīng)過現(xiàn)場檢測，病害識別類型和大小基本符合實(shí)際，識別精度可達(dá)厘米級。

圖10 上海市顓橋鎮(zhèn)北橫涇橋病害自動(dòng)識別結(jié)果

4 結(jié) 語

將近景攝影測量技術(shù)用于橋梁檢測行業(yè)，實(shí)現(xiàn)了無人機(jī)影像數(shù)據(jù)的快速實(shí)景建模，提高了后期三維模型的生成效率，可構(gòu)建高精度、高清晰的紋理模型；同時(shí)運(yùn)用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法對采集的橋梁構(gòu)件進(jìn)行訓(xùn)練，開發(fā)出自動(dòng)識別劃分軟件；最后在可視化橋梁表觀三維模型的基礎(chǔ)上，實(shí)現(xiàn)橋梁結(jié)構(gòu)病害圖像的自動(dòng)識別和定量評價(jià)。

目前，橋梁結(jié)構(gòu)病害特征圖像樣本數(shù)量有限，隨著數(shù)據(jù)庫的不斷增加，其識別精度也會逐步提高，基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的橋梁三維快速建模及病害自動(dòng)識別技術(shù)勢必會得到更加廣泛可靠的應(yīng)用。