基于卷積神經網絡的橋梁裂縫識別研究

一、引言

本文針對橋梁裂縫圖像的特點，提出了一種融合卷積神經網絡和傳統圖像處理的新型裂縫檢測與測量方法，實現裂縫高準確度檢測及其參數的像素級測量。本文的主要貢獻：1.將語義分割用于圖像預處理，精確地去除外部環境干擾;2.調整了CNN網絡架構和數據集構成，可對圖像進行準確度更高的裂縫分類;3.用提取的特征圖進行圖像重構，用于像素級精度的裂縫長度測量。

二、基于CNN的橋梁裂縫檢測

基于卷積神經網絡的圖像分類和參數檢測流程如圖1所示。所處理的目標圖像是由無人機拍攝的橋梁裂縫，由于橋梁所處的復雜環境和拍攝條件的限制，圖像中有許多冗余信息，所以首先將原始圖像通過全卷積網絡（FCN）進行語義分割，獲得橋梁主體部分;將FCN處理得到的圖像切割成256×256的小圖像塊，用CNN進行分類;最后對用特征圖擬合出的圖像進行圖像處理，獲得裂縫參數（長度）的預測數值。

（一）FCN語義分割

語義信息分割處理是用于計算機數字視覺的一個基礎處理任務，是一個像素數量級的信息分類處理任務，FCN作為經典語義分割網絡之一，可以很好地完成語義分割的任務[1]。

本文使用的橋梁裂縫的原始圖像由無人機拍攝而得，在無人機的拍攝過程中，由于無人機的搖晃、陽光照射和其他不確定性因素的干擾，原始圖像往往會包含行人、水面等冗余圖像，這些圖像有不同的顏色和紋理，會對以灰白色為主的裂縫圖像檢測造成干擾。因此對原始圖像進行分類前，先將拍攝到的原始圖像應用FCN進行語義分割，提取出橋梁裂縫的完整圖像為感興趣區域，其他為背景區域。本文用感興趣區域的平均顏色填充至背景區域，在去除冗余圖像的同時，保證了圖像的完整性，不影響后期分類任務，如圖2所示。圖2（a）為原始圖像，有橋梁裂縫和鞋兩個對象，橋梁表面粗糙，而鞋的表面光滑且反光;圖2（b）為FCN分割后的結果，用藍色代表橋梁，綠色代表鞋;圖2（c）為填充后的圖像，用橋梁的平均顏色代替鞋的顏色，去掉了鞋的顏色和紋理。

（二）CNN裂縫圖像分類

應用卷積cnn可以完成整個圖像數據分類處理任務，本文最終需要設計的應用cnn卷積網絡層層結構如表中圖3所示。在圖中，L1、L2、L3為卷積網絡層，包括卷積、池化和激活操作，其中，L3-1做卷積，L3-2做池化和激活;L4和L5為全連接層;L6為分類層;L7為線性回歸層，連接L3-1;L8為測量層。

使用適當的圖像樣本作為訓練樣本是提高分類準確率的關鍵因素。考慮到過小的圖像不能準確反映裂縫的總體特征，而過大的圖像給計算機帶來太大的運算負擔，選取適當的圖像樣本大小十分重要。在相關文獻提出的裂縫檢測方法中，高正確率伴隨著高虛警率，即將非裂縫圖像分類為裂縫圖像的比例比較高，高虛警率不但降低了分類的準確率，而且增加了測量的誤差。

為解決這個問題，本文采用了以下幾個措施：1.在收集圖像的過程中，有意收集了有各種干擾的圖像，在進行分類前，不對這些干擾圖像進行額外的預處理;2.對于一些過于細小的裂縫，手動標注為無裂縫標簽;3.在小圖像分類完成、重新拼接成大圖像前，對裂縫圖像的比例和位置進行統計，若分類為裂縫的小圖像占圖像總數比例過小或位置分布比較分散，則判定原始圖像為無裂縫圖像。

通過多次實驗，得到以下結論：1.裂縫特征主要表現為線狀，高級特征和組合特征不明顯，不需要堆積過多卷積層;2. 增加特征圖數目顯著地加快了模型訓練時的收斂速度;3.256×256像素的樣本圖像可以保證在準確識別裂縫的基礎上，捕捉到裂縫的整體布局。因此，本文的分類任務最終采用了圖3分類分支所示結構，并將預處理后的原始圖像切割成256×256像素的小圖像作為輸入樣本。

（三）裂縫長度測量分析

CNN分類能夠對原始圖像進行較高準確率的分類，但不能直接得出具體的裂縫長度值。一方面，裂縫長度通過各種測量和計算得出，無法直觀地由CNN提取到的圖像特征進行轉化;另一方面，原始圖像由于圖像多，每張圖像的質量不同，數字圖像處理的預處理步驟和參數不適用于所有圖像，難以得到去除全部干擾的理想圖像，測量的準確度不夠。針對以上問題，本文應用線性回歸模型將CNN提取到的圖像特征圖擬合出理想圖像，取代傳統的圖像預處理過程，然后再對這些理想圖像進行相應的處理，可以測算出準確高的裂縫長度值。

線性回歸模型是一種形式簡單且可解釋性強的模型，它通過屬性的線性組合進行回歸分析，其基本的形式為：

（1）

式中，輸入的xi為裂縫特征圖（i=1，2，3...n），其中，n是卷積層輸出特征圖的數量;wi為特征圖權值矩陣，b為偏移值。

式（1）的輸出結果是一張用許多特征圖擬合出來的理想圖像，記為A。為了不損失精度，A應該與xi的大小相同。顯然，A的每個像素點的值只與輸入特征圖xi對應位置像素點的值有關，與xi的其他位置像素點的值無關。于是A可以表示為：

（2）

權值矩陣和偏移值訓練前，要確定擬合的理想圖像是否足夠“好”。首先計算拍攝位置的單位像素代表的實際距離長度，然后假設得到了理想的圖像A，對A進行圖像細化并統計像素點個數，像素點個數與單位像素代表的實際距離相乘得到測量長度，對A進行圖像處理的過程記為函數F。測量得到裂縫的實際長度，據此人為估計分割后小圖像的裂縫長度并記為標注長度y，使用最小二乘法反饋學習權值矩陣和偏移值，損失函數表示為：

（3）

測量任務中，提取到第三層特征圖后，使用上述步驟代替后面的網絡結構對裂縫進行測量。

三、實驗結果及分析

（一） CNN網絡訓練及結果分析

首先，收集訓練圖像樣本。采集完成后，將原始圖像裁剪成256×256像素分辨率的樣本圖像，手動標注為有裂縫（正樣本）和無裂縫（負樣本），打亂并分成訓練集和驗證集[2]，兩個集合的圖像沒有交集，訓練集和驗證集比例為4：1，且由同一批次的原始圖像產生。

其次，訓練CNN網絡模型。設置訓練集和驗證集中的正負樣本比例為1：1，訓練的超參數選擇如下：迭代數為10000次;學習率初始值設置為0.001，并隨著迭代次數進行更新;為防止過擬合現象，丟失率（dropout）設為0.5[3]。實驗運行結果如圖4所示，圖4（a）為隨訓練次數增加的訓練集準確度變化圖，準確度總體趨勢穩步上升，在9000次以后，CNN網絡收斂且穩定;圖4（b）為損失函數值變化，損失函數值總體呈持續下降趨勢，最后接近0;圖4（c）為CNN網絡的驗證集準確度變化圖，總體趨勢與訓練集準確度相似，在7000次后收斂。通過多次實驗驗證，CNN網絡對裂縫分類的準確率在95%以上，錯誤率在3%以下。

（二） 參數測量結果

本文選用長度參數來驗證參數檢測算法的有效性。

第一步，標定并計算拍攝位置的單位像素與實際距離的比例。標定圖像使用無人機搭載的上置云臺進行圖像樣本的拍攝，樣本的分辨率為5000×3000像素。從無人機控制界面可以取得無人機距測量面高度、云臺俯仰角度、云臺偏移角度等參數。

手動測量獲得無人機到攝像頭的誤差為長度為12cm、寬度為8cm、高度為17cm。實驗過程中，分別操縱無人機距橋面1米、1.3米、1.5米、2米，攝像頭垂直向下，并測量拍攝范圍的實際長度，得到數據如表1所示：

從表1可以得出，攝像頭到目標距離和圖像實際長度成比例，而拍攝圖像橫向分辨率固定為5000像素，由此可得，攝像頭到目標距離和單位像素與實際長度的比例，如表2所示。

圖像采集時，保持攝像頭與目標平行，利用比例尺原理，通過無人機高度、云臺俯仰角度、云臺偏移角度等參數可計算得出攝像頭到目標的距離，從而得到當前位置下單位像素代表的實際長度，下文簡稱當前位置長度。

第二步，由線性回歸模型得出圖像中像素點個數。線性回歸完成后，驗證長度精度并計算誤差。選取待測量裂縫圖像切割后的其中一張小圖像如圖5（a）所示， 圖5（b）為對應圖5（a）的假設理想圖像，使用特征圖擬合的理想圖像可視化顯示為圖5（c）。顯然，圖5 （c）完整了提取了圖5（a）的裂縫整體形態，同時去除了干擾，細化后可以得到和圖5（b）接近的像素個數。

圖5? ? 理想圖像擬合

對原始圖像切割出來的所有小圖像裂縫長度進行累加，可以得到原始圖像的測量總長度，經多次實驗統計后，測算的圖像裂縫長度誤差均在5%以下，表3給出了部分測試圖像的人工實際測量裂縫長度和本文方法測算裂縫長度。由于橋面破損比較復雜，人工只測量了主要裂縫的長度，測算長度均比人工測量長度長，但誤差保持在5%以下。

四、結束語

本文設計CNN網絡對橋梁裂縫圖像進行高精度識別，在此基礎上，用CNN網絡訓練得到的特征圖擬合成理想圖，實現像素級的裂縫長度測量。實驗結果表明，CNN網絡分類準確率在96%以上，錯誤率在3%以下;CNN網絡對裂縫長度測量誤差在5%以內，在長度測量可接受的誤差范圍之內。

作者單位：賈瀟宇? ? 廣東農工商職業技術學院

參考文獻

[1] 田萱，王亮，丁琪.基于深度學習的圖像語義分割方法綜述[J].軟件學報，2019，30（02）：440-468.

[2] 趙志宏，楊紹普，馬增強.基于卷積神經網絡LeNet-5的車牌字符識別研究[J].系統仿真學報，2010，22（03）：638-641.

[3] 陳超逸. 基于深度強化學習的提質增效多目標模型建模及優化方法研究[D].廣西大學，2021.

[4] 賈瀟宇. 基于卷積神經網絡的橋梁裂縫識別與測量方法研究[D]. 廣西科技大學， 2019.