基于深度學習的橋梁裂縫識別方法研究

應俊杰，夏 峰，盧國慶，王 炎

(1.浙江理工大學建筑工程學院，浙江 杭州 310018；2.中鐵四局集團第二工程有限公司，江蘇 蘇州 236000)

隨著我國經濟迅猛發展，為了滿足鐵路運輸、公路發展等方面的需求，建設了大量的橋梁，其中，大部分橋梁建設以混凝土梁橋為主，在長時間使用過程中，會受到車輛擠壓作用，同時所采用的材料性能也會發生退化，從而在橋梁底板出現裂縫，甚至露筋，有重大安全隱患[1]。因此，定期對裂縫檢測對橋梁的維護和運行有著關鍵作用[2]。根據裂縫的形態特征和表觀特征，可以推斷出結構劣化的潛在原因，為橋梁結構健康診斷提供合理的依據[3]。傳統的橋梁裂縫檢測主要依據人工測量，效率低、漏檢率高、耗時耗力、成本高。因此，自動、高效的裂縫檢測對橋梁結構健康評估至關重要。

目前，基于計算機視覺的裂縫自動檢測方法得到了廣泛關注。大多采用數字圖像處理技術和機器學習算法，可以檢測出一些簡單類型的結構損傷[4-5]。Tong等[6]通過采用灰度閾值方法進行裂縫提取裂縫，王植等[7]根據邊緣梯度信息特征自動化設置閾值來提取裂縫，但是穩定性較差。隨著計算機技術的發展，近些年來，卷積神經網絡(CNN)在圖像分類和識別方面取得了巨大突破[8]。相比于傳統的圖像處理技術，基于CNN的裂縫檢測方法更加出色[9]。Zhang等[10]中首次提出將裂縫圖像切割成多個小圖片，再利用CNN網絡把圖像分為裂縫和非裂縫，完成裂縫提取。但是這種方法檢測速度慢、效率低、效果差。Chen等[11]結合卷積神經網絡和樸素貝葉斯數據融合方案的NB-CNN網絡識別裂縫圖像，但是此方法僅能識別裂縫位置，不能提取裂縫形狀。Ronneberger等[12]首次提出了UNet模型，是一種全卷積神經網絡模型實現圖像分割，最初用于醫學領域如心臟CT圖像[13]、肺結節圖像分割[14]。由于UNet網絡有小樣本、檢測快、識別精準等優點，近年來也應用在其他領域中，如道路檢測[15]、遙感影像語義分割[16]。

對此本文將加入了殘差模塊的UNet網絡應用于橋梁裂縫檢測中，提出一種應用于橋梁裂縫識別的新方法，并結合數字圖像提出一種裂縫長度、寬度的測量辦法，為實現橋梁自動化識別提供一定的幫助。

1 網絡結構

語義分割是目標檢測領域的重要研究方向之一，它可以實現像素級的目標檢測。語義分割由編碼器和解碼器組成。編碼器利用卷積層來輸入圖像的特征，采用池化層的方法減小了特征讀取的規模和速度，減輕了網絡計算的負擔。解碼器則利用反卷積方法將特征圖像恢復到輸入圖像大小，并預測結果。本文將Residual模塊(殘差模塊)加入到UNet網絡中、并加入對橋梁裂縫進行識別檢測。從輸入圖像中分割出裂縫像素和背景像素。

ResNet由He[17]等提出，殘差網絡是基于卷積神經網絡的構造。與傳統的神經網絡相比，ResNet最大的區別是將輸入加到輸出中，這和最下層的功能信息融合到上層效果是一樣的。當網絡訓練層數越深時，也意味著能提取到的特征越多，更能表達圖像語義，但同時也會面臨嚴重的梯度消失和網絡退化問題。殘差塊的加入完美解決了這個問題網絡難以優化的問題。如圖1所示，相比于傳統模塊，殘差模塊加入了一個恒等的快捷鏈接。其中H(x)為最優映射，F(x)為殘差映射，H(x)=F(x)+x。這使得對H(x)的學習轉為對F(x)的學習，而學習F(x)更加容易。

圖1 傳統模塊與殘差塊

Res UNet網絡是基于ResNet(Rsidual Nural Ntwork)和UNet的語義分割網絡模型，其結構類型與UNet大體相似。Res UNet網絡由編碼器、連接器和解碼器三個部分組成。解碼器是由3個殘差模塊( residual block)組成，主要作用是對輸入圖像進行解碼，讀取特征，也就是下采樣過程。連接器是應用于連接編碼器和解碼器之間的信息傳播路徑。解碼器是應用于圖像恢復過程，原理是對圖像中每個像素進行分類，主要由3個解碼模塊(decoder block)組成，每個解碼模塊包括批歸一化(Batch Normalization，簡稱BN)、ReLu層和反卷積層。

將殘差網絡加入到UNet模型中有效克服了因網絡層數過多而導致過擬合、參數冗雜以及深度模型退化等問題。并且由于殘差塊加入，訓練速度大大提高，也使得網絡在以保存較少參數的情況下確保損失精度較高。網絡結構如圖2所示。

圖2 Res UNet網絡結構

2 實驗

2.1 圖像來源

實驗對象為浙江省某市約200余座橋梁，進行為時30d的調研。拍攝天氣均為晴天，拍攝時間為8點至17點，主要對橋梁梁板裂縫照片信息采集。圖像格式為.jpg，像素為5184DPI×3888DPI。

若直接進行分割耗時較長，且效果較差，因此本文將照片裁剪成256DPI×256DPI的圖像。每張圖像包含了65536DPI樣本，經整理，有1702張裂縫圖像，共計111542272DPI樣本。采集到的圖像裂縫實際情況使用國產軟件精靈標注助手進行像素級手動標注。按照規定，將裂縫標記為淡藍色，其余背景均自動標記為其他類別數據庫中的所有圖像和標簽都是RGB三通道PNG格式。在標簽圖像中，黑色代表背景，白色代表裂縫，即(0，0，0)代表背景像素，(255，0，0)代表裂縫像素。如圖3所示。

圖3 裂縫圖像與標注結果

2.2 實驗設置

模型由開源的深度學習框架TensorFlow和Keras進行搭建，利用Anaconda建立了Res UNet網絡的虛擬Python環境，利用CUDA和CUDNN來加速GPU計算，從而提高網絡的訓練速度。軟件的版本和硬件設施見表1—2。

表1 訓練網絡所使用的硬件環境

表2 訓練網絡所使用的軟件環境

2.3 參數設置

由于語義分割的原理是對每個像素進行分類，而不是整個圖像，以實現圖像像素級檢測。網絡參數設置為：學習率(learning rate)為2×10-4；批量大小(batch size)為4；動量(momentum)為0.99；權重延遲為0.000001；一階矩估計的指數衰減率(beta1)為0.7；二階矩估計的指數衰減率(beta2)為0.999，模糊因子(epsilon)為10-8，共200個周期。激活函數選擇Sigmoid，解決網絡深度帶來的過擬合問題。

(1)

式中，S(x)—線性激活函數，由于它的梯度總是在0和1之間，不存在梯度消失的問題。

選擇Adam作為優化工具，采用自適應時刻估計方法計算每個參數的自適應學習率，加快收斂速度。

選擇Focal Tversky作為損失函數，使網絡集中在裂縫樣本上。該損失函數是基于Dice函數進行改進的版本，既解決了正負樣本不平衡而難以分類學習的問題，又幫助模型提升到感興趣的小區域，增強分類的速度和準確率。公式如下：

(2)

(3)

式中，TIc—Focal損失函數；FTIc—Focal Tversky函數；gic—真實標簽的概率，代表著像素i屬于c類的概率；pic—預測標簽的概率，代表著像素i屬于c類的概率；∈—提供代表一個防止被除零的數值；α、β—超參數，可以調整正負樣本不平衡的回歸能力。

2.4 網絡評估指標

本文使用客觀的評判標準來評估裂縫識別效果：準確率(precision)，召回率(recall)作為圖像分割結果的評價指標，并以綜合評價指標(F1)作為準確率和召回率的評估值。用交并比(IoU)作為檢測裂縫準確度的標準。

(4)

(5)

(6)

(7)

式中，TP—正確分割裂縫像素數；FP—錯誤分割裂縫像素數；FN—漏分割裂縫像素數；TN—正確預測背景像素數。

3 結果分析

3.1 訓練結果

設置好超參數后，開始對網絡參數進行訓練，其中訓練集1069張，驗證集633張。為了防止過度擬合，使模型更具魯棒性。在訓練的同時采用了數據擴充方法，包括：隨機裁剪、水平翻轉、平移、隨機亮度對比等將數據集擴充至6倍。為了節約時間，設置了早停程序，一共設置了240個迭代次數。每次迭代時，計算當前的網絡訓練損失，并保存權重。

3.2 不同模型對比分析

為了驗證該方法的像素級分割性能，本文采用3種模型進行了研究比較：UNet、VNet在保證其他參數都相同的情況下，訓練網絡模型，并通過精確率、綜合評價指標、交并比、召回率來驗證訓練效果。UNet是在醫學領域中較為經典的分割網絡，其結構類似于U型，其原理是對FCN加入了跳躍結構，保留了一些特征信息。VNet是基于UNet基礎上，引入了ResBlock模塊，用卷積模塊代替池化層。而Res UNet并未對卷積模塊進行池化，因此這三個模型對比具有較大的參考價值。

loss變化情況如圖4所示，可以看出UNet下降幅度最大，收斂需要的迭代周期最久，其次為VNet和Res UNet，這可能與模型結構有關，UNet模型結構相對簡單，迭代過程中容易丟失細節，下降需要更多迭代周期，約40個周期才趨于穩定。VNet和Res UNet由于ResBlock模塊加入，需要迭代周期少，分別需要約20個周期和15個周期，從最后表現結果來看Res UNet效果更佳。

圖4 不同模型的訓練損失

各模型準確率、綜合評價指標、交并比、召回率的變化如圖5所示。可以看出UNet與VNet表現效果差不多，都略遜于Res UNet。精確率方面，Res UNet比VNet高出4.613%，比UNet高出6.471%，達到72.337%；交并比方面，Res UNet比VNet高出4.966%，比UNet高出4.024%，達到66.245%；召回率方面，Res UNet比VNet高出5.059%，比UNet高出5.651%，達到90.478%；綜合評價指標方面，Res UNet比VNet高出4.844%，比UNet高出6.472%，達到80.242%。參考評價指標以及迭代周期，Res UNet模型表現最佳。

圖5 評價指標：(a)準確率，(b)召回率，(c)交并比，(d)綜合評價指標

3.3 識別結果對比

部分識別結果見表3，表3分別對比了原圖、標簽圖以及各模型輸出圖片。樣本1中UNet模型未識別出細裂縫(左上角)，而其他兩個模型識別效果較好可能由于UNet模型對細節把控不佳。樣本2中UNet、VNet模型均將左上角誤識別為裂縫，而標簽圖未標記為裂縫，觀察實際原圖也不是裂縫，僅是類似為裂縫。樣本3中3個模型表現都與標簽圖類似。樣本4中VNet模型誤識別了細裂縫。通過分析之后，發現對于大多數情況所有模型都能識別出來，但是對于細節方面僅Res UNet表現較好。綜合對比之后，Res UNet模型輸出圖片最接近標簽圖，識別效果最好。

表3 不同模型識別結果對比

4 結語

本文闡述了全卷積神經網絡技術識別裂縫信息的原理，針對橋梁裂縫識別問題，提出采用python語言編寫裂縫識別程序，并進行了驗證，得出如下結論：

(1)采用消費級相機人工采集橋梁裂縫病害數據集，并對圖像數據進行歸一化處理并標注，構建訓練庫以供網絡模型訓練，但目前數據數量遠遠不足，未來主要任務還需要整理收集更多樣本。

(2)針對現有橋梁自動化識別研究中存在的問題，提出了加入殘差塊的改進UNet模型，對比了UNet、 VNet模型，結果表明：本文所提供方法能較為精確地檢測出橋梁裂縫。

本文所提出的一整套橋梁裂縫自動檢測方法，對橋梁的養護和運營具有重要意義。