基于卷積神經網絡的橋梁裂縫識別和測量方法

梁雪慧，程云澤，張瑞杰，趙 菲

（1. 天津市復雜系統控制理論與應用重點實驗室（天津理工大學），天津300384；2. 天津理工大學電氣電子工程學院，天津300384）

（?通信作者電子郵箱*1871545564@qq.com）

0 引言

橋梁是交通設施互連的關鍵節點和樞紐項目，是國民經濟發展和社會生活安全的重要保障。中國橋梁總數穩居世界第一［1］，橋梁的維護和管理已成為確保橋梁安全運行的關鍵。橋梁的質量和安全與經濟和民生息息相關，橋梁上事故的發生往往是由于缺乏科學及時的病害檢測。裂縫是最主要的橋梁病害之一，如果不及時處理，很有可能造成橋毀人亡的意外。因此，選擇科學有效的檢測措施對橋梁進行定期檢查迫在眉睫。

近年來，為了準確、快速地提取橋梁裂縫，國內外研究者開展了全面而深入的研究，并取得了顯著的成就。Aerobi EU項目已在歐洲建立，旨在開發和驗證創新的智能空中機器人系統的原型。Sanchez-Cuevas 等［2-3］設計了無人機的橋梁檢測系統；Amhaz 等［4］針對路面裂縫的對比度低、連續性差等特點，提出了一種基于最小代價路徑搜索的路面裂縫檢測算法；王耀東等［5］針對全局圖像檢測精度低的問題，采用分塊的思想處理圖像。還有很多其他檢測算法［6-12］被提出，但這些圖像處理方法檢測裂縫大都需要手動設計特征及設定參數，準確率低且周期長，不能很好地對橋梁裂縫進行檢測。

深度學習是近些年才提出的智能識別方法［13］，在其他領域表現突出，但應用到橋梁裂縫檢測上還有很大挑戰:1）訓練網絡需要大量樣本，目前裂縫標簽樣本數據匱乏；2）經典的深度學習模型直接用于橋梁裂縫檢測時，效果不甚理想。針對這些局限性，本文提出一種基于改進GoogLeNet 網絡的橋梁裂縫檢測方法。該方法的主要流程如圖1 所示，主要設計內容包括數據來源和標簽、裂縫圖像預處理、裂縫圖像分類識別及裂縫的定位和測量。

圖1 本文方法的流程Fig. 1 Flowchart of the proposed method

1 數據來源和標簽

使用實地隨機環境下采集的800 張不同橋梁的裂縫圖像樣本，首先將其歸一化為2 048× 1024 分辨率的圖片，然后采用固定大小256 × 256的窗口進行滑動裁剪，裁剪后的圖片分為包含裂縫的裂縫圖片和不包含裂縫的背景圖片，共24 000張。從中挑選7 500張裂縫圖片組成裂縫數據集，挑選15 000張背景圖片組成背景數據集，并將其拆分成訓練集和測試集。數據集構建成功后，利用Jupyter Notebook 分別對訓練集和測試集的裂縫和背景圖片構建相應的類別標簽，組成帶標簽的原始的數據集，如表1所示。

表1 裂縫帶標簽原始數據集Tab.1 Crack tagged original dataset

2 橋梁裂縫的預處理

為了保證檢測方法能應對各種復雜的情況，800 張圖片中包含若干低質量的圖片，如霧天、陰天等特殊天氣，橋梁上建筑物遮擋導致的光線不足等，如圖2（a）為陰天、光照不足時的裂縫圖片。為了保證訓練圖片的質量，需要對裂縫圖片進行一系列特殊的處理。

圖片經過雙邊濾波［14］和Retinex［15］圖像增強算法后圖像明顯要比原始圖像亮，達到處理特殊天氣和有建筑物遮擋光照不足的情況，效果如圖2（b）所示。拉普拉斯銳化是一種提高圖片對比度的圖像處理方法，此方法也可以提高裂縫邊緣細節，效果如圖2（c）所示。為了進一步提高對比度，將銳化后的圖像進行灰度化處理后，采用直方圖均衡化（Histogram Equalization）的方法［16］提升裂縫和背景的對比度，效果如圖2（d）所示，經過均衡化操作，與原始圖像相比清晰程度有明顯提升。

圖2 預處理效果Fig.2 Preprocessing effect diagram

將7 500 張裂縫圖片和15 000 背景圖片進行雙邊濾波、Retinex 圖像增強、拉普拉斯銳化、直方圖均衡化一系列的圖像預處理操作，命名本文預處理方法為RLH（Retinex-Laplace-Histogram Equalization），可以發現處理后的圖像增強了人眼觀察的視覺效果，圖片更清晰。將經過RLH 處理的數據集命名為RLH數據集。

本文中，對訓練集和測試集的圖片都進行預處理操作，以保證訓練和測試的準確率。當新圖片放入訓練好的網絡中識別是否為裂縫時，雖然需要先經過預處理操作，但也提高了分類的準確率，所以對測試集圖片進行預處理操作非常必要。

3 橋梁裂縫圖像分類識別方法

3.1 GoogLeNet卷積神經網絡

卷積神經網絡［17］是人工神經網絡的一種，已成為當前語音分析和圖像識別領域的研究熱點。GoogLeNet［18］網絡模型是具有22 層的深度網絡，該模型說明了采用更多的卷積核和更深的網絡可以達到更好的預測結果，而且相對于AlexNet和同年提出的VGG（Visual Geometry Group），參數數量要小得多。模型如圖3所示。

圖3 GoogLeNet網絡結構Fig. 3 GoogLeNet network structure

3.2 原始數據與RLH處理數據對比

在caffe 框架下采用GoogLeNet 網絡模型分別訓練原始數據集和經過RLH 處理的數據集，訓練次數定為2 000 次，定義測試集準確率為被正確分類的裂縫和背景圖片與放入網絡的總裂縫和背景圖片的比值，測試集準確率對比如表2 所示。統計4次訓練結果平均值，相對于原始數據，采用RLH 處理的數據訓練集準確率提升了1.91 個百分點，測試集準確率提升了3.07個百分點。

表2 原始數據集和RLH數據集訓練對比 單位：%Tab. 2 Comparison of training between original data set and RLH data set unit:%

3.3 改進的GoogLeNet網絡結構

1）GoogLeNet 網絡各inception 層仍然使用了5× 5 的卷積核，大的卷積核不利于網絡提取裂縫特征，而且網絡的參數也會大大增加，因此對網絡的inception 層的卷積核進行歸一化處理，將inception 層中全部使用1× 1 的卷積核和3× 3 的卷積核，如圖4 所示，將原始的5× 5 的卷積核變成兩個3× 3 的卷積核，這樣處理原本的25（5× 5）個參數能減少到18（2 ×3× 3）個，原始的GoogLeNet網絡中存在9個inception 層，這樣采用歸一化的卷積核不僅可以增加網絡的深度，也可以減少訓練參數，提高訓練速度。

圖4 改進inception層前后對比Fig. 4 Comparison before and after improving the inception layer

2）由圖3 可知，原始的GoogLeNet 網絡開頭用的也是7×7 的卷積核，因此對網絡開頭作3 種嘗試，具體結構如圖5 所示。3 種結構全部采用3× 3 卷積核，準確率和時間復雜度對比如表3 所示，數據顯示，結構三網絡模型的識別裂縫的準確率比GoogLeNet 模型提升了2.06 個百分點且時間復雜度更低，表明結構三模型識別裂縫更合適。

圖5 GoogLeNet網絡開頭三種方案Fig. 5 First three schemes for GoogLeNet networks

表3 三種修改方案性能對比Tab. 3 Performance comparison of three modified schemes

3）針對橋梁裂縫，在利用經過RLH 處理數據集對改進的GoogLeNet 網絡進行訓練的過程中，發現GoogLeNet 網絡中的Accuracy2、Accuracy3（具體位置見圖3）隨時間變化的數值基本一樣，Loss2、Loss3（具體位置見圖3）的數值也相差不多。對比如表4所示，考慮到在第6個inception后裂縫識別的準確率和損失值已經達到完整網絡的訓練效果，那么可以去掉七層及以后的inception 層以縮減訓練時間。經后期分析，出現上述情況的原因是GoogLeNet 模型是ILSVRC（ImageNet large Scale Recognition Challenge）競賽中針對1 000 種標簽的分類模型，其中個別類別特征細節比較難提取，所以需要更多的inception 層提取它的微小特征。裂縫紋理相對簡單，所以到第6個inception層已經能夠提取出它的特征。

圖6 改進GoogLeNet網絡結構Fig. 6 Improved GoogLeNet network structure

表4 GoogLeNet網絡各層測試準確率和損失值對比Tab. 4 Comparison of test accuracy and test loss value of each layer of GoogLeNet network

3.4 實驗結果分析

本實驗采用隨機梯度下降法（Stochastic Gradient Descent，SGD）［19］訓練網絡，分類結果采用Softmax 函數進行計算。

其中:Pi為網絡輸出結果為類別i 的概率；xi為網絡最后一層第一個節點的輸出值；n為劃分類別總數。

其中:gt為t時刻的梯度；c為衰減因子，用于控制在t時刻之前要累計多少之前的梯度信息；θt-1、θt代表更新前后參數；η 為學習率；RMS[g]t為均方根；ε是為了防止分母為0。上述更新方法解決了對歷史梯度一直累加而導致學習率一直下降的問題，但還需要自己選擇初始的學習率，因此采用下面公式確定學習率的自適應變化:

將η 換成一個能夠根據梯度信息自動變化的量，從而做到學習率的自適應變化。假設需要學習的函數映射在局部是光滑的，那么可以用前一次更新的參數Δθt-1近似Δθt，參數更新如式（7）所示。

通過將大卷積核變成小卷積核的操作分別修改GoogLeNet 的inception 層和網絡開頭，再加上裁去第7 個及以后 的inception 層，對 比 本 文 網 絡 與AlaxNet、GoogLeNet、improved_CNN 的測試集準確率、訓練時間和測試集損失值，結果如表5 所示。可以發現相對于原始GoogLeNet 網絡訓練本文網絡準確率提升了3.13 個百分點，訓練時長縮短為原來的64.6%。相對于AlaxNet、improved_CNN 本文網絡訓練時間稍長，但準確率明顯更高，通過對比數據可以發現，本文網絡訓練裂縫圖片具有更好的識別效果和訓練速度。

在caffe 框架下，采用上述4 種網絡模型分別訓練原始數據集和經過RLH 處理的數據集各3 次，測試集準確率對比如表5 所示，統計3 次訓練結果平均值可以發現，相對于原始數據，采用RLH 處理的數據訓練網絡四種網絡的測試集準確率都有所提升，本文網絡測試集準確率更是提升了2%，說明采用RLH數據集訓練效果更好。

表5 本文網絡與其他網絡訓練效果對比Tab. 5 Comparison of training effects between the proposed network and other networks

4 裂縫的定位和測量

4.1 裂縫定位

在第3 章中，將RLH 數據集放入改進的GoogLeNet 網絡進行訓練，得到訓練好的分類識別裂縫模型，即后綴名為caffemodel 的文件。接下來，準備100 張新采集并歸一化為2 048× 1024 分辨率的圖片，同樣采用滑動窗口大小為256 ×256對裂縫進行裁剪，并利用RLH 數據集訓練好的caffe model文件預測新裁剪的大小為256 × 256的圖片，如果預測為裂縫圖片，把裁剪下來的圖片用方框標注，并進行標號。按照從左到右、從上到下的順序，從大圖片上裁剪小圖片放入分類網絡識別裂縫，如果是裂縫用方框標記，直到把整張大圖片裁剪完，即實現裂縫的定位。這樣通過滑動窗口，對于小圖片相當于識別，對于大圖片相當于定位，也就是說裂縫的識別和定位其實是同步的。定位圖如圖7（a）所示，可以看出，相比整張裂縫圖片定位，分塊處理定位裂縫更加準確。

圖7 定位和骨架提取Fig.7 Positioning and skeleton extraction

4.2 裂縫的提取

本文采用滑動窗口定位橋梁裂縫，與此同時，也把整張圖片分為32 張256 × 256 的小方塊，分別對每個小方塊采用最大類間方差法分割圖像，得到橋梁裂縫的二值圖像，并將連通區域像素點的個數定義為Mi，二值圖如圖7（b）所示。

本文對橋梁裂縫采用滑動窗口分塊處理，優點如下:

1）對每個小圖片進行預處理的操作，處理更具細節，能更清楚地反映圖片的紋理信息。

2）將小圖片放進網絡中訓練，網絡更容易提取裂縫特征。

3）相比整張裂縫圖片定位，分塊處理定位裂縫更加準確。

4）把每張小圖片分開進行閾值分割，這樣能更準確地提取出裂縫邊緣信息，以便后續對裂縫長度和寬度的計算。

4.3 骨架提取算法計算裂縫長度和寬度

4.3.1 裂縫的長度

得到裂縫圖像的二值圖，再采用骨架提取算法計算裂縫的長度和寬度。遍歷整個圖像，找出所有像素值為1 且滿足周圍8 連通區域至少有一個像素為0 的點，如果這些點為Pi，其鄰域的8個點順時針分別為P2、P3、…、P9，如圖8（a）所示。

標記同時滿足式（8）～（9）條件的邊點:

其中:N(P1)為非零鄰點的個數；S(P1)為以P2、P3、…、P9為序時，這些點的值從0到1變化的次數。當對所有邊界點標記完后，將所有標記點像素值變為0。反復進行上述操作，直至沒有滿足標記條件的像素點出現，此時剩下的點構成本圖像區域的骨架，并將連通區域像素點的個數定義為Ni。由于本文圖片全由相機從高度為1 m 的位置拍攝，所以本文設定用0.04Ni代表裂縫的長度，單位為厘米，骨架圖如圖7（c）所示。

4.3.2 裂縫的寬度

在4.3.1 節中得到裂縫骨架圖的基礎上，本文提出一種基于骨架方向上的裂縫寬度計算方法。

1）由于骨架圖上的裂縫圖像是單像素圖像，即骨架線圖像，求骨架線上每一點的切線方向。設M 為骨架線上的任意一點，則其八鄰域內有兩個點。圖8（b）為點M 的八鄰域切線示意圖，N1、N2分別為點M的八鄰域中的兩個點，則點M的切線方向等于線段MN1的切線方向與MN2切線方向的均值，即

2）在計算出裂縫各點的切線后，再計算骨架線上各點的法線，法線與裂縫左右邊界點的距離（歐氏距離）即為裂縫的寬度。裂縫的左右邊界由二值圖確定。

圖8 細化算法和切線示意圖Fig.8 Schematic diagrams of refinement algorithm and tangent

4.4 計算結果分析

近幾年研究者提出多種檢測裂縫長寬度的方法，具有代表性的為以下兩類:1）王睿等［20］通過計算裂縫的面積和周長計算裂縫寬度，這種方法也是目前用得最多的一種方法。2）元大鵬［21］采用縱向切割裂縫取上下邊界中點，再連接中點計算長度，接著采用鄰域擴張的思想來計算裂縫的寬度，即:選取裂縫的一個內部點，向兩側擴張直至到裂縫邊界。計算4 個寬度方向上擴張的像素點個數，取所有內部點寬度的最小值作為裂縫區域的寬度。

如圖9 所示:裂縫1 為縱向裂縫，人工測量長度為49.90 cm，寬度為1.05 cm；裂縫2 為橫向裂縫，人工測量長度為109.86 cm，寬度為0.36 cm。

圖9 裂縫圖示例Fig.9 Crack diagram examples

將本文計算裂縫1 和裂縫2 長寬度的方法與以上兩種方法對比，測量結果對比如表6～7 所示。從表6～7 可看出，文獻［20］方法由于是通過面積和周長計算裂縫寬度，只能處理紋理簡單的裂縫，對復雜的裂縫效果不好。文獻［21］中計算長度的方法準確率與本文算法相差不多，但由于文獻［21］方法是在灰度圖上計算裂縫寬度的，沒有有效地定位裂縫的邊界，這個誤差不可避免，因此本文算法精度更高；而且本文算法采用骨架線求法線的方法，考慮了裂縫走勢的情況，也是寬度計算準確的一大原因。

表6 裂縫1測量結果對比Tab. 6 Comparison of crack1 measurement results

表7 裂縫2測量結果對比Tab. 7 Comparison of crack2 measurement results

為了進一步驗證利用骨架提取算法對裂縫長度和寬度計算的精度，在100 張原圖上利用本文算法統計檢測結果與實際測量結果進行對比。實驗結果表明，100 張裂縫圖片長度提取平均誤差為2.87%，寬度提取平均誤差為4.29%，這表明本文算法具有理想的計算能力。

5 結語

針對橋梁裂縫檢測問題，提出基于深度卷積神經網絡的檢測方法對裂縫進行訓練，最終實現裂縫的分類、定位和特征提取。

1）深度學習對樣本要求比較高，需要大量帶標簽的數據集，才能保證模型的識別率，還可以防止過擬合現象的發生，面對橋梁裂縫數據集缺失的問題，實地拍攝并制作了橋梁裂縫數據集，但目前數據還遠遠不夠，開展樣本收集整理工作將是未來主要任務之一。

2）為了保證其檢測方法能應對各種復雜的情況，如光照的不勻、霧天等特殊天氣、橋梁上建筑物遮擋導致的光線不足等，本文提出了針對橋梁裂縫的一系列預處理方法，經GoogLeNet 網絡驗證，訓練集準確率提升了1.91%，測試集準確率提升了3.07%，表明橋梁裂縫預處理的必要性。

3）通過將大卷積核變成小卷積核的操作分別修改GoogLeNet的inception 層和網絡開頭，再加上裁去第七個及以后的inception 層，放入到原始數據集進行訓練，網絡測試集準確率提升3.13 個百分點，訓練時長縮短為原來的64.6%，表明改進GoogLeNet 訓練裂縫圖片具有更高的準確率和更快的訓練速度。

4）采用滑動窗口將圖片放入訓練好模型文件，并用方框框出預測是裂縫的圖片，相對于整張圖片送入網絡，裂縫定位更加精確。

5）采用骨架提取算法，提取裂縫骨架圖，將定位好的裂縫二值圖處理為骨架圖，并利用裂縫二值圖和骨架圖像素點的個數計算裂縫的長度和寬度。統計100 張圖片的計算結果，長度提取平均誤差為2.87%，寬度提取平均誤差為4.29%，這表明本文算法具有理想的計算能力。