基于深度學習的鋼橋橋面鋪裝病害識別與量化方法*

溫勇兵

(中國鐵建投資集團有限公司, 廣東 珠海 519000)

由于鋼橋結構和鋼材導熱性的影響,鋼橋橋面鋪裝受溫度的影響比普通瀝青路面更明顯。鋼橋橋面因存在加勁肋的支撐,橋面板的大規模焊接,在縱隔板、縱向加勁肋、橫肋(或橫隔板)處易出現應力集中[1-3],鋼橋橋面鋪裝受力情況復雜。另外,大跨徑鋼橋一般橫跨江河、海峽和山谷,經常受強風甚至臺風的影響及其他因素產生的振動作用。受交通荷載、溫度變化、風載、地震等的影響,鋼橋橋面鋪裝的應力和變形復雜,很容易出現病害[4-5]。因此,必須對鋼橋橋面鋪裝的使用質量和狀況進行評估。

鑒于傳統的人工檢測橋面鋪裝病害的方法效率低下且容易出錯[6-8],研究人員提出了許多基于圖像處理和機器學習的方法來檢測橋面鋪裝病害。Snavely N.在編碼器和解碼器網絡中融合卷積特征,基于SegNet架構建立Deep Crack系統,用于裂紋檢測[9]。Jahanshahi M. R.等采用深度卷積神經網絡技術(DCNN),提出了像素級裂縫檢測架構Crack U-net[10]。Guan H. Y. 等通過掃描獲得橋面鋪裝病害圖像,并利用形態學算法對病害圖像進行處理,得到了描述真實病害特征的關鍵參數[11]。李姍采用YOLOv5進行道路鋪裝病害檢測,取得了良好的分類效果[12]。余俊等基于數碼攝像機獲取的路面病害圖片,提出一種對路面病害進行識別、處理和分類的智能檢測方法,該方法包括異常檢測、異常提取和病害分類三部分,在提升識別效率的同時提高了識別精度[13]。

在各類橋面鋪裝病害(裂縫、坑洞、車轍、剝落等)中,坑洞和裂縫是典型的橋面鋪裝病害,嚴重影響橋面鋪裝的平整度和行車舒適度。其中坑洞因視覺的獨特性,機器學習方法可以基于二維圖像快速進行檢測,但二維圖像只能對病害進行檢測和分類,不能對坑洞的體積損傷進行量化[9,14]。因此,一些學者采用從運動中獲取結構的方法,用三維深度圖像識別瀝青橋面鋪裝的狀況。由RGB-D傳感器和深度傳感器組成的傳感器系統也被用來提取三維點云,以檢測和量化橋面鋪裝的坑洞[10,15]。

但這些用于識別和量化已知病害的方法都是人工或半自動的。盡管數據收集過程可以使用能夠檢測數據的系統來進行,但病害評估仍然由受過培訓的評估人員手動或通過計算機完成。由于識別和分類過程的主觀性,不同的評估人員可能對缺陷有不同的解釋,這些方法都不能獨立地識別某些病害的關鍵特征[16-17]。為此,本文提出一種鋼橋橋面鋪裝病害智能識別、分類和量化方法,基于微軟Kinect V2相機,對二維圖像進行缺陷識別、缺陷提取和病害分類訓練,通過深度傳感器,采用YOLOv5算法識別橋面鋪裝典型病害,然后對識別的病害進行分類和量化。

1 病害采集與分析方法

1.1 分析與算法框架

根據橋面鋪裝的典型病害特征,利用傳感器自動獲取圖像,并基于深度學習方法通過訓練、建模、處理等識別、分類、量化橋面鋪裝典型病害。該方法基于深度攝像頭Kinect V2自動檢測和識別橋面鋪裝典型病害,過程如下:1) 圖像采集;2) 基于深度傳感器(包括紅外相機和紅外投影儀)的深度信息獲取;3) 基于彩色圖像的缺陷檢測和識別,基于ResNet-34網絡的病害分類;4) 基于深度點云數據,使用YOLOv5進行病害分割和量化(見圖1)。缺陷識別和提取通過小圖像裁剪塊的異常檢測,靈活控制檢測誤差容限,節省計算成本[18]。

圖1 分析與算法框架流程

1.2 橋面鋪裝典型病害數據獲取

采用微軟Kinect V2拍攝橋面鋪裝典型病害圖像,包含以不同角度、光線和距離拍攝的圖像,獲得一定規模的數據來充實訓練數據集,提高模型的泛化能力。將這些圖像裁剪成300×300像素的小塊,圖2為幾種典型橋面鋪裝病害的圖像裁剪塊。

圖2 橋面鋪裝典型病害裁剪圖塊

圖3為橋面鋪裝病害識別方法,主要包括缺陷檢測、缺陷提取、橋面鋪裝病害分類。先通過攝像設備獲得缺陷圖像,然后根據缺陷圖像識別缺陷區域,并自動提取各類橋面鋪裝病害,最后對提取的病害進行分類。

缺陷檢測通過卷積來進行訓練。卷積自動編碼器本質上是一個由編碼器模塊和解碼器模塊組成的結構。在檢測到缺陷后,根據缺陷分數對區塊中的橋面鋪裝病害進行分割和提取。根據缺陷分數計算多個閾值,實現對橋面鋪裝病害的缺陷識別。對所有像素的缺陷分數進行排序,然后計算所需百分位數對應的缺陷分數。

圖3 橋面鋪裝病害識別方法

通過缺陷分數與閾值的比較來識別橋面鋪裝病害,并對其進行分類。方法如下:1) 按式(1)計算百分位數PG的異常得分APG,如果APG大于默認TG值,則更新TG值。2) 根據所有像素的異常分數按式(2)確定TL,將TL與TG進行比較,若TL>αTG,則閾值T=TL;若TL<αTG,則T=TG。3) 根據T值將病害圖像劃分成若干個圖像區塊,如果區塊中像素的缺陷分數大于T,則提取相應的區塊識別橋面鋪裝病害并進行分類。

(1)

式中:ni為圖像i的總像素;N為圖像總數。

(2)

式中:PL為為計算TL選定的百分比;n為病害圖像的總像素。

2 病害識別與分類方法

基于深度學習的鋼橋橋面鋪裝病害智能識別與量化方法可以測量和擬合一個不受傳感器和目標之間距離限制的平面,該方法依賴傳感器的輸出,不需要任何人工測量。首先,采用RGB-D傳感器進行數據點云采集。RGB-D傳感器是基于RGB-D數據的三維重建技術開發的傳感器。微軟Kinect V2是一個深度相機,其RGB圖像數據的分辨率為1 920×1 080像素,而點云數據的分辨率為512×424像素。最小和最大的深度值為0.5～4.5 m,深度值即每個點到深度相機所在垂直平面的距離。在RGB-D傳感器中,通過TOF(Time of flight)值計算每個點的深度,從而得到每個像素的三維坐標。微軟Kinect V2與MATLAB有接口,可通過MATLAB編程獲得深度數據。

然后采用YOLOv5定位橋面鋪裝的坑洞病害,通過RGB-D傳感器獲得圖像來識別坑洞病害。YOLOv5由主干網絡(Backbone)、特征網絡層(Neck)、輸出和預測(Head)組成(見圖4)。為了量化坑洞體積,采用隨機采樣一致性算法(RANSAC)擬合得到橋面鋪裝的參考平面。

圖4 YOLOv5的對象檢測架構

2.1 YOLOv5框架

YOLOv5框架主要由主干網、頸部網和識別網組成。主干網是一種卷積神經網絡,它將不同細粒度圖像聚合形成圖像特征;頸部網由一定數量的混合特征和組合圖像特征組成,由其生成特征金字塔網絡(FPN),通過識別網絡生成輸出圖像特征;識別網主要用于模型的最終識別與檢測,錨框作用于前一層的特征映射和輸出信息向量,包括對象的置信度和對象邊界坐標的最大值和最小值,通過預測錨框對原始圖像中的病害進行標識,完成病害識別。

通過深度圖像訓練對YOLOv5模型進行訓練。以坑洞病害識別為例,基于采集的坑洞數據,通過構建深度點云數據集進行量化。數據集包含749張由Kinect V2拍攝的RGB圖像,在不同的光照條件下,調整拍攝距離(50～300 cm)拍攝橋面鋪裝病害圖像,用于數據擴展。將獲得的圖像分解為1 107幅853×1 440像素的圖像,并對圖像中的坑洞形態進行識別,形成一個帶標識的坑洞圖像數據集(見圖5)。

圖5 帶標識的坑洞圖像數據集

將坑洞圖像的訓練、驗證和測試數據集按照8∶1∶1的比例分開,并通過水平和垂直翻轉及曝光度調整,對訓練集和驗證集進行擴展。考慮到小數據集的限制,使用轉移學習對YOLOv5進行預訓練,提高訓練效率。原始學習率設置為0.005,指數學習率衰減為0.9,動量參數設置為0.9,進行800次訓練,批量大小為32個原始數據,特征圖大小為75×75像素。

2.2 坑洞識別結果分析

坑洞識別結果見圖6。對于不同距離的分析模型,像素點體積均由3組數值表征,取其平均值進行計算。基于深度學習的橋面鋪裝病害智能識別與量化方法能高效地識別坑洞,對坑洞進行分割和量化,且不受坑洞大小、深度和傳感器距離的影響。從圖6可以看出:YOLOv5捕捉到了橋面鋪裝上的坑洞,并通過邊界框進行了標識,可以對其進行分割。如果路面坐標確定,便可以提取所識別到的坑洞數據。

圖6 坑洞識別結果

如圖7所示,在角度不變的情況下,攝像頭與待識別坑洞間的距離對坑洞深度的識別精度有一定影響。智能識別的坑洞深度普遍小于人工實測的坑洞深度,這與測試設備對坑洞不同深度的識別精度有關。智能識別精度隨著攝像頭與坑洞距離的增大先增大后減小,1.8 m左右時識別精度最佳;識別誤差隨著識別距離的增加先減小后增大,平均誤差在4%左右,滿足識別要求。

圖7 坑洞深度識別結果與誤差

3 模型訓練與實現

3.1 病害分類處理

采用卷積神經網絡(CNN)分類器對病害進行分類處理。CNN使用深度前饋神經網絡分析多維數據,卷積濾波器的精度取決于實現該濾波器所用訓練數和過濾器的大小,處理過程見圖8。經過卷積層后,輸出大小為256×10×10像素的特征圖,卷積核大小為1×1。然后在并行最大池化層的作用下對特征圖進行二次采樣,輸出大小為1 024×40×40像素的特征圖。最后在具有512卷積核的卷積層的作用下,生成大小為512×20×20像素的輸出圖像。

圖8 卷積神經網絡對病害的分類處理

為了創建不同尺寸的圖像塊進行數據擴展以增強模型學習的特征,在原始訓練數據集中采用非重疊滑動窗口將圖像分解為不同比例的小方塊,將所有的塊重新縮放為300×300像素,每個像素都在 [-1, 1]區間進行歸一化處理,然后將區塊用于訓練與學習。采用均方誤差作為損失函數,利用Adam優化器,以最小化損失值。初始學習率設置為0.01,指數學習率衰減為0.9,動量參數設置為0.9,進行300次訓練,批量大小為32個原始數據。

訓練后進行模型驗證,在驗證集上具有最小損失值的模型為最終模型。在測試階段,采用滑動窗口將測試圖像裁剪成不同大小的塊,對裁剪后的塊進行縮放和歸一化,生成病害圖像,然后進行拼接集合,生成整個病害圖像。測試過程僅需要很短的時間,即可輸出高分辨率和高識別度的病害圖像。橋面鋪裝典型病害分類結果見圖9。

圖9 橋面鋪裝典型病害分類結果

3.2 病害識別效果評價

損失值作為深度學習模型在訓練過程中的一個指標,可以用于評估模型預測結果與真實值之間的誤差。圖10為交叉驗證過程中損失值和精確度隨迭代次數的變化。由圖10可知:隨著迭代次數的增加,病害識別的損傷值逐漸減小、精確度逐漸增大,并趨于穩定;在迭代的初始階段,驗證集的損失值低于訓練集的損失值,這是因為驗證集沒有經過亮度和對比度預處理,此外在進行模型評估時禁用了Dropout層;經過約30次迭代后,訓練集損失值逐漸大于驗證集損失值。

表1為橋面鋪裝幾種典型病害的識別精度。由表1可知:裂縫、網裂、松散剝落的分類精度較好,識別精度在94%左右;車轍、坑洞和正常橋面(無明顯病害)的識別精度較低,識別精度在92%左右。車轍、坑洞識別精度較低的原因是橋面鋪裝結構中這些病害的發生頻率較低、長度較短、面積較小、嚴重程度較輕,所以數據較少,個別的輕微病害和已修補的病害也對識別精度有一定影響;正常橋面識別精度較低的原因是獲取的正常橋面圖像較復雜,會受橋面鋪裝上雜物、與病害相似特征的正常路面(或程度很輕的病害)、路面表面紋理特征及識別角度、距離和陰影等因素的影響。

圖10 病害識別損失值和精確度隨迭代次數的變化

表1 橋面鋪裝病害的識別精度

利用上述橋面鋪裝病害智能識別方法對某鋼橋橋面鋪裝結構進行識別與評估,以驗證該方法的適用性和準確性。作為對比,采用傳統的人工識別方法進行病害識別,并通過計算機處理獲得橋面鋪裝典型病害(見圖11)。

以橋面鋪裝最主要的裂縫和坑洞病害為例,人工識別和智能識別結果對比見表2。人工識別中裂縫和坑洞同時進行,消耗的時間分別按照裂縫和坑洞的比例計算。智能識別方法所消耗時間包括采集數據處理、模型訓練和測試時間。從表2可以看出:智能識別的精確度低于人工識別方法,其中裂縫識別精度低5.0%,坑洞識別精度低7.4%。究其原因,一是智能識別會受到病害原圖片清晰度、病害邊緣識別誤差的影響,二是識別數據本身會受到攝像設備性能、光照、角度和距離的影響,三是算法本身的精度在某種程度上受到限制。智能識別方法的耗時比人工識別方法少,其識別效率顯著高于人工識別方法,提升60%以上。與人工識別方法相比,智能識別方法能在不影響交通的條件下完成橋面鋪裝病害識別和量化,計算效率更高,可大大節省人工和時間成本,并獲得較高的識別精度。

圖11 橋面鋪裝人工病害識別結果

4 結論

本文基于深度學習提出一種鋼橋橋面鋪裝典型病害識別與量化方法。先將采用微軟Kinect V2相機拍攝的鋼橋橋面鋪裝典型病害圖像通過裁剪轉化為300×300像素的區塊作為訓練集,再對RGB圖像進行缺陷識別、缺陷提取和分類訓練;構建一個卷積編碼器,從橋面鋪裝圖像中識別病害,使用閾值分割法獲得包含橋面鋪裝病害特征的圖像;對模型進行訓練,根據病害特征對所識別的橋面鋪裝病害進行分類與量化。采用YOLOv5創建、訓練、驗證和測試一個標記了橋面鋪裝病害的數據庫,識別病害并對其進行體積量化。驗證結果表明,本文方法具有較高的識別精度和識別效率,病害識別精度在90%以上。基于深度學習,利用隨機采樣一致性實現RGB-D傳感器在不同工作距離上的平面擬合,橋面鋪裝病害的識別誤差在10%以內。智能識別方法的識別精度略遜于人工識別方法,但智能識別方法的識別效率顯著高于人工識別方法,提升60%以上,且智能識別方法能在不影響交通的情況下完成橋面鋪裝病害識別和量化,計算效率高,可大大節省人工和時間成本。在未來,RGB-D傳感器可以安裝在無人駕駛車上,用于危險或大交通量道路的病害識別。