基于視覺的高速公路隧道表面缺陷自動(dòng)檢測系統(tǒng)

收稿日期：2023-10-31

作者簡介：張愛華（1983—），女，本科，助理工程師，注冊消防工程師，從事消防機(jī)電和安全管理工作。

摘要 鑒于周圍環(huán)境的變化、車輛引發(fā)的振動(dòng)以及人為干擾等因素，高速公路隧道表面經(jīng)常受到損壞，從而引發(fā)事故。為了實(shí)現(xiàn)高精度的隧道表面缺陷檢測，文章研究提出了一種基于視覺的多層特征融合網(wǎng)絡(luò)。這個(gè)網(wǎng)絡(luò)利用了多個(gè)層級的特征信息，以提取和融合隧道表面的各種特征。通過在不同層次上對特征進(jìn)行融合和加權(quán)，可以更準(zhǔn)確地捕捉和識(shí)別隧道表面的缺陷。這種自動(dòng)高速公路隧道表面檢查系統(tǒng)能夠有效地檢測并識(shí)別隧道表面的缺陷，提高道路安全性和交通效率。它不僅可以降低事故的發(fā)生率，還可以提供及時(shí)的維護(hù)和修復(fù)提示，保持隧道表面的良好狀態(tài)。

關(guān)鍵詞 高速公路隧道表面檢查系統(tǒng)；數(shù)據(jù)采集模塊；圖像預(yù)處理；缺陷檢測

中圖分類號 TP391.4文獻(xiàn)標(biāo)識(shí)碼 A文章編號 2096-8949（2024）01-0029-03

0 引言

近年來高速公路建設(shè)在逐步增長，與此同時(shí)，安全問題逐漸顯現(xiàn)。由于施工年限、對周邊社區(qū)的影響、火車引發(fā)的振動(dòng)、缺乏維護(hù)和人為干擾等原因，高速公路損壞問題變得越來越嚴(yán)重。大多數(shù)高速公路事故均與這些高速公路隧道表面損壞有關(guān)，如塌方、滲水和墜塊。為了確保高速公路的安全運(yùn)營，定期檢查是管理的關(guān)鍵日常工作[1-2]。傳統(tǒng)的高速公路隧道表面檢查方法主要依賴于主觀性強(qiáng)、效率低和準(zhǔn)確性有限的人工檢查人員。由于檢查的時(shí)間有限（每天約3 h），大量缺陷被忽略，這可能會(huì)導(dǎo)致潛在的安全隱患[3-4]。因此，需要一種具有高準(zhǔn)確性、高效率和高可靠性的自動(dòng)高速公路隧道表面檢查系統(tǒng)。

近年來，機(jī)器視覺技術(shù)迅速發(fā)展，它們可以應(yīng)用于許多任務(wù)，如混凝土結(jié)構(gòu)的缺陷檢測、視覺引導(dǎo)的機(jī)器抓取和金屬表面檢查等。然而，基于機(jī)器視覺技術(shù)的高效準(zhǔn)確的高速公路隧道表面缺陷檢測系統(tǒng)尚不完善[5-6]。為了解決這些問題，該文設(shè)計(jì)了一種新型的基于視覺的圖像采集設(shè)備，用于收集檢測數(shù)據(jù)（即隧道表面圖像）并減少手動(dòng)工作量。該設(shè)備配備了線掃描攝像機(jī)、高亮度光源和控制單元，此移動(dòng)平臺(tái)還設(shè)計(jì)有可變速度，可以與線掃描攝像機(jī)的采集頻率協(xié)調(diào)，一次檢查可以捕獲大量圖像數(shù)據(jù)。

1 系統(tǒng)描述

1.1 數(shù)據(jù)采集模塊設(shè)計(jì)

圖像數(shù)據(jù)采集是確保高速公路隧道表面自動(dòng)檢測準(zhǔn)確性和效率的第一步，為了快速捕捉隧道圖像數(shù)據(jù)，該文設(shè)計(jì)了一個(gè)高效的隧道表面圖像數(shù)據(jù)采集模塊，包括數(shù)據(jù)采集、移動(dòng)和控制部分。為了滿足捕捉到的隧道表面圖像的精度要求（約為0.2 mm/像素），該文設(shè)計(jì)了一個(gè)新的數(shù)據(jù)采集部分，包括八個(gè)高分辨率的線掃描相機(jī)、四張圖像采集卡和九個(gè)線性光源。其中，線掃描相機(jī)是該項(xiàng)目的關(guān)鍵元素，分辨率為12 288×1。數(shù)據(jù)采集設(shè)備適用于高速公路隧道檢測，大多數(shù)高速公路隧道的常規(guī)直徑為5.5 m或6 m，在數(shù)據(jù)采集系統(tǒng)中，能夠滿足最小精確要求（0.2 mm/像素）。在實(shí)驗(yàn)中，以直徑為5.5 m的隧道作為示例，在該文中進(jìn)行說明。

1.2 圖像預(yù)處理

圖像預(yù)處理的目的是增強(qiáng)捕獲的原始圖像特征，以便更好地進(jìn)行缺陷檢測分析。一方面，由于圖像采集過程中曝光時(shí)間有限，高速移動(dòng)的高速公路隧道表面圖像被線性掃描相機(jī)捕獲后保持低對比度。針對捕獲的原始圖像數(shù)據(jù)低對比度的問題，該文提出了一種自適應(yīng)圖像對比度增強(qiáng)方法，以使圖像對比度保持在合理范圍內(nèi)。另一方面，采用了一種由粗到細(xì)的圖像拼接方法，用于定位缺陷并防止在圖像重疊區(qū)域進(jìn)行重復(fù)識(shí)別。

1.3 缺陷檢測

由于高速公路隧道面臨各種復(fù)雜的負(fù)面影響，結(jié)構(gòu)損壞可能隨時(shí)發(fā)生，這可能在高速公路運(yùn)營期間導(dǎo)致安全事故。主要的結(jié)構(gòu)損壞包括滲漏、塊體脫落和裂縫，這些缺陷占高速公路隧道結(jié)構(gòu)缺陷的90%以上[4]。為了自動(dòng)、有效地解決這些問題，該文使用了一種基于Faster RCNN改進(jìn)的基于深度學(xué)習(xí)的隧道表面檢測框架。

2 實(shí)驗(yàn)結(jié)果

2.1 數(shù)據(jù)采集模塊測試

為驗(yàn)證數(shù)據(jù)采集設(shè)備的穩(wěn)定性并為深度學(xué)習(xí)框架的訓(xùn)練準(zhǔn)備數(shù)據(jù)集，擬選取韓信嶺隧道研發(fā)和安裝巡檢機(jī)器人，創(chuàng)建安全智慧管控示范隧道。韓信嶺隧道位于G5京昆高速祁臨段，左洞中心樁號K645+131，長度為1 365 m；右洞中心樁號K645+134，長度為1 410 m。韓信嶺隧道屬團(tuán)霧易發(fā)路段，高峰斷面流量可達(dá)10 000輛次/日，年事故量可達(dá)20余起，存在較大的安全風(fēng)險(xiǎn)。

為了衡量圖像采集設(shè)備的效率和準(zhǔn)確性，同時(shí)邀請了四名專業(yè)檢查員來檢查同一區(qū)域，包括檢查時(shí)間和可靠性。作為對比，四名經(jīng)過培訓(xùn)的檢查員花了大約2.5 h來檢查該高速公路長1.2 km的隧道。結(jié)果顯示，使用時(shí)速5 km的采集設(shè)備進(jìn)行高速公路隧道表面數(shù)據(jù)采集的時(shí)間約為0.5 h，包括組裝和拆卸時(shí)間，工作效率的比較結(jié)果如表1所示。在數(shù)據(jù)采集后，另外花費(fèi)了1 h來通過肉眼檢查捕獲的圖像，這是在時(shí)間窗口結(jié)束后進(jìn)行的。為了提高工作效率，圖像采集在時(shí)間窗口期間執(zhí)行，然后進(jìn)行圖像處理。

收集的圖像的可靠性是另一個(gè)重要的評估因素，檢查的缺陷對比結(jié)果如表2所示。根據(jù)對比結(jié)果，該系統(tǒng)在隧道表面缺陷檢測方面的表現(xiàn)優(yōu)于基于人工的方法；該系統(tǒng)的方法在裂縫檢測方面表現(xiàn)更為突出。這是因?yàn)榇蠖鄶?shù)裂縫較小，在黑暗的隧道內(nèi)難以用肉眼識(shí)別。因此，該系統(tǒng)從高速公路隧道中檢測到的缺陷數(shù)量優(yōu)于四名經(jīng)過培訓(xùn)的操作員。

此外，將MTSIS的數(shù)據(jù)采集模塊與隧道檢查的最先進(jìn)設(shè)備MTI-100進(jìn)行了比較。結(jié)果表明，該系統(tǒng)硬件部分在隧道表面數(shù)據(jù)收集方面具有先進(jìn)的技術(shù)參數(shù)；在系統(tǒng)重量方面，數(shù)據(jù)采集模塊比MTI-100輕了75 kg，更適合應(yīng)用。尤其是在分辨率和移動(dòng)速度方面，該系統(tǒng)在保持穩(wěn)定性的基礎(chǔ)上取得了巨大的進(jìn)步。此外，該系統(tǒng)完全自動(dòng)化。總之，該系統(tǒng)數(shù)據(jù)采集模塊在隧道表面數(shù)據(jù)收集的效率和分辨率方面表現(xiàn)出色，這是通過比較實(shí)驗(yàn)驗(yàn)證的，該系統(tǒng)在功能上優(yōu)于MTI-100，已經(jīng)實(shí)現(xiàn)了隧道檢查的最先進(jìn)性能。

2.2 圖像預(yù)處理

2.2.1 對比度增強(qiáng)

在圖像采集過程中，不足的照明和動(dòng)態(tài)情況可能會(huì)導(dǎo)致由于曝光時(shí)間較短，捕獲的圖像對比度較低。為了確保隧道缺陷檢測圖像的一致對比度，應(yīng)用了對比度增強(qiáng)方法來提高對比度。如圖1所示，呈現(xiàn)了原始圖像和相應(yīng)的增強(qiáng)圖像。根據(jù)處理結(jié)果，該系統(tǒng)的方法在圖像對比度增強(qiáng)方面表現(xiàn)良好。原始圖像中裂縫難以識(shí)別，因?yàn)榇蠖鄶?shù)裂縫很小，很難有效地從背景中提取，而該文提出的對比度增強(qiáng)方法在幾乎沒有模糊細(xì)節(jié)的情況下表現(xiàn)出良好的性能。此外，增強(qiáng)后的圖像也適合供人工操作者用于缺陷檢測。

2.2.2 圖像拼接

為了驗(yàn)證圖像拼接方案的有效性，對某高速公路1號線拍攝的圖像進(jìn)行了實(shí)驗(yàn)。測試數(shù)據(jù)包括64張圖像，這些圖像是由高速公路隧道檢查設(shè)備捕獲并通過對比度增強(qiáng)方法增強(qiáng)的。采用粗配準(zhǔn)和精配準(zhǔn)來拼接相鄰攝像機(jī)捕獲的高速公路隧道表面圖像。此外，NCC用于點(diǎn)對相關(guān)性計(jì)算，因此，圖像拼接方法更加精確和高效，粗配準(zhǔn)消除了特征點(diǎn)的搜索，這個(gè)操作可以節(jié)省計(jì)算資源，并減少在圖像精配準(zhǔn)處理過程中的誤差率，因?yàn)樵诖峙錅?zhǔn)階段排除了大多數(shù)不相關(guān)的特征點(diǎn)。該文完成了基于OPENCV圖像處理庫的算法，拼接的隧道表面全景圖像如圖2所示。由于基于粗配準(zhǔn)的相關(guān)知識(shí)，隧道圖像拼接方法表現(xiàn)出良好性能，不僅可以避免在圖像重疊區(qū)域中進(jìn)行缺陷重復(fù)檢測，還可以提供已識(shí)別缺陷的定位。

2.3 缺陷檢測測試

2.3.1 數(shù)據(jù)集準(zhǔn)備

首先，從高速公路線路中收集了數(shù)百張包含缺陷的隧道表面圖像。然而，由于設(shè)備速度無法完全保持恒定，如5 km/h。因此，輕微的變速會(huì)使線掃描相機(jī)拍攝的圖像不可避免地會(huì)產(chǎn)生畸變。幸運(yùn)的是，輕微畸變對隧道表面缺陷檢測造成的影響很小。然后，從原始圖像中挑選有缺陷的圖像來創(chuàng)建數(shù)據(jù)集，數(shù)據(jù)集的數(shù)量如表3所示。首先，選擇了包含裂縫、墜落物塊和滲漏的原始圖像數(shù)量（216、195和298），用于模型的訓(xùn)練和測試，這些圖像的分辨率為20 000×20 000。為了避免小數(shù)據(jù)導(dǎo)致的過擬合，使用了圖像處理技術(shù)，例如隨機(jī)旋轉(zhuǎn)、水平和垂直翻轉(zhuǎn)等，進(jìn)一步增加了數(shù)據(jù)集。此外，為了平衡不同缺陷的訓(xùn)練樣本數(shù)量，從每個(gè)有缺陷的類別中提取了700張圖像用于訓(xùn)練、80張圖像用于測試。在訓(xùn)練和測試階段，原始圖像被裁剪為2 000×2 000的分辨率，裂縫、墜落物塊和滲漏區(qū)域由專家手動(dòng)標(biāo)記為地面實(shí)況，捕獲的實(shí)際隧道圖像包含剛性導(dǎo)軌、壁燈、電纜支架等，這些很容易被分類為有缺陷的。為解決這個(gè)問題，還添加了另外2 100個(gè)負(fù)樣本進(jìn)行訓(xùn)練。

2.3.2 訓(xùn)練過程

該文提出了一種基于Faster RCNN的多層特征融合網(wǎng)絡(luò)，培訓(xùn)過程的詳細(xì)描述如下：首先，骨干網(wǎng)絡(luò)由預(yù)訓(xùn)練模型初始化。然后，RPN網(wǎng)絡(luò)基于固定的目標(biāo)提議進(jìn)行訓(xùn)練，并與反向傳播一起進(jìn)行區(qū)域提議任務(wù)的優(yōu)化。接下來，使用RPN生成的提議對檢測器進(jìn)行訓(xùn)練。此外，為確保RPN和檢測器共享融合的特征圖，利用檢測器網(wǎng)絡(luò)優(yōu)化RPN網(wǎng)絡(luò)。同時(shí)，固定共享的卷積層，基于固定的卷積層，分別微調(diào)RPN網(wǎng)絡(luò)和檢測器網(wǎng)絡(luò)多個(gè)層級中的某一層。

2.3.3 評估

在缺陷檢測方面，通常使用精度（P）、召回率（R）、平均精度（mAP）、宏精度（MP）和宏召回率（MR）來進(jìn)行性能評估，其計(jì)算公式定義如公式（1）～（5）。具體來說，MR和MP可用于評估漏檢對象的百分比和多類對象檢測的精度，在實(shí)際的缺陷檢測中，MR更為重要。為計(jì)算統(tǒng)計(jì)指標(biāo)，需要統(tǒng)計(jì)真正例（TP）、真負(fù)例（TN）、假正例（FP）和假負(fù)例（FN）。

（1）

（2）

（3）

（4）

（5）

式中，i——缺陷的類別；n——缺陷類別的數(shù)量。

3 結(jié)論

高速公路隧道表面缺陷檢測是確保高速公路運(yùn)行安全的基本考慮因素，為了滿足高效且有效地檢查高速公路隧道表面的迫切需求，該文設(shè)計(jì)了一個(gè)自動(dòng)的高速公路隧道表面檢測系統(tǒng)（MTSIS），包括數(shù)據(jù)收集模塊和缺陷檢測模塊。對于數(shù)據(jù)收集模塊，設(shè)計(jì)了一種基于視覺的高速公路隧道表面數(shù)據(jù)收集設(shè)備，以在短時(shí)間窗口內(nèi)實(shí)現(xiàn)高頻率的圖像采集。對于數(shù)據(jù)處理模塊，采用圖像預(yù)處理和缺陷檢測方法，分別用于提高圖像質(zhì)量和檢測缺陷，實(shí)施了圖像對比度增強(qiáng)和拼接方法，以預(yù)處理捕獲的隧道表面圖像，為隧道缺陷檢測通過基于深度學(xué)習(xí)的方法做好準(zhǔn)備。基于準(zhǔn)備好的圖像數(shù)據(jù)，可以使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行高速公路隧道表面缺陷檢測，其在混凝土表面缺陷檢測方面的性能優(yōu)于最先進(jìn)的方法。

參考文獻(xiàn)

[1]謝永， 章義來， 黃華. 墻地磚表面缺陷自動(dòng)檢測集成系統(tǒng)的研究[J]. 中國陶瓷， 2008（4）： 56-58.

[2]張曉波， 劉文耀， 王兵振， 等. 基于圖像處理技術(shù)的表面缺陷自動(dòng)檢測系統(tǒng)的研究[J]. 汽車技術(shù)， 2005（11）： 29-32.

[3]周建國， 趙思琦， 羅海濤. 基于影像測量機(jī)器人的墻體表面缺陷檢測方法[J]. 安全與環(huán)境學(xué)報(bào)， 2023（11）： 3906-3913.

[4]曹國金， 蘇超， 王文君. 基于深度學(xué)習(xí)的水工混凝土結(jié)構(gòu)表面缺陷檢測[J]. 水電能源科學(xué)， 2023（6）： 137-141.

[5]姚宗偉， 楊宏飛， 胡際勇， 等. 基于機(jī)器視覺和卷積神經(jīng)網(wǎng)絡(luò)的軌道表面缺陷檢測方法[J]. 鐵道學(xué)報(bào)， 2021（4）： 101-107.

[6]閔永智， 岳彪， 馬宏鋒， 等. 基于圖像灰度梯度特征的鋼軌表面缺陷檢測[J]. 儀器儀表學(xué)報(bào)， 2018（4）： 220-229.