基于卷積神經(jīng)網(wǎng)絡的路橋設施缺陷檢測研究

張徐杏

（重慶市城投路橋管理有限公司，重慶 400000）

1 數(shù)據(jù)收集和圖像預處理

1.1 數(shù)據(jù)收集

本研究選擇了路橋坑凼、修復后的路橋坑凼、橋梁欄桿銹蝕和高強螺栓脫落四類路橋設施缺陷作為研究對象。其中修復后的坑凼嚴格意義上講并非是設施缺陷，主要作為提高坑凼的識別率存在。拍攝工具為華為P30pro，由于數(shù)據(jù)需求較大，設施缺陷尋找較困難，采用對同一缺陷不同角度、不同距離拍攝的方式補充數(shù)量。共計收集橋梁欄桿銹蝕圖像718張、路橋坑凼780張、修補后坑凼800張、高強螺栓脫落圖像393張，最后對每張圖像進行了分類和編號，如圖1所示。

圖1 路橋設施缺陷及病害圖像數(shù)據(jù)收集

1.2 圖像增強

在對路橋設施缺陷進行圖像采集過程中，由于拍攝天氣、光線等因素限制，常常會出現(xiàn)圖像呈現(xiàn)不完全、不清楚的情況，將對后續(xù)缺陷識別工作帶來嚴重的不良影響[1]。為使圖像使用功能更強，本研究使用了直方圖平滑處理原始圖像，然后使用圖像銳化算法改進缺陷特征[2]。同時進一步凸顯目標信息，縮減對應地方像素值較少處的灰度級。設g（i，j）為原始圖像像素分布，f（i，j）為圖像像素在被增強處理后的分布情況，其中i=1，2，…，m；j=1，2，…，n，具體的計算如下。

（1）針對原圖，用向量s體現(xiàn)出其灰度直方圖分布的情況。

（2）針對原圖，用P（i）表示灰度分布概率，通過上一步得出的向量s計算出來，公式如下所示：

式中，Nt為總體的像素量，其總像素為Nt=m×n。

（3）計算圖像灰度值的分布概率累加和Pa（i），其中令Pa（0）=0：

（4）進行直方圖均衡化后的像素值為f（i，j）：

1.3 圖像去噪

在圖像收集過程中一定會存在一些因外部干擾導致的噪聲，在一定程度上對從圖像中提取有效信息造成障礙。傳統(tǒng)的中值濾波、雙邊濾波和小波變換等去噪方式的可行性都得到了一些實驗的肯定，但是傳統(tǒng)濾波法在使用中面臨著算法和工作量大且復雜的問題，同時存在各類性能缺陷，導致結果往往也不具備非常好的穩(wěn)定性[3]。基于以上情況，本研究在進行圖像處理時采用了卷積神經(jīng)網(wǎng)絡算法（CNN），以深度殘差網(wǎng)絡為基礎建立圖像去噪模型，間接地獲得直接映射，旨在大大縮短去噪用時，保證濾波的有效性。

同時，研究在VGG16網(wǎng)絡模型的基礎上進行優(yōu)化修改，最終得到現(xiàn)有的卷積神經(jīng)網(wǎng)絡結構，共包含4個殘差結構，由20層具有殘差結構的、卷積核體量是3*3*64的級聯(lián)卷積層組成。將ReLU函數(shù)作為各卷積層后的激活函數(shù)，在第2到第19卷積層后，每次都對前向傳播過程中的數(shù)據(jù)進行正態(tài)分布歸一化，將網(wǎng)絡訓練存在的梯度消失現(xiàn)象進行有效消除。

2 缺陷檢測網(wǎng)絡模型研究與設計

2.1 算法設計思路

在路橋設施缺陷圖像識別實驗過程中，獲取的數(shù)據(jù)樣本量和網(wǎng)絡訓練會對實驗結果造成直接影響[4-5]。本研究中高強螺栓脫落類圖像數(shù)量遠低于其余三類數(shù)量，為解決獲取樣本數(shù)量小帶來的影響，筆者建立了一個二階段缺陷檢測模型，該模型使用了深度卷積神經(jīng)網(wǎng)絡方法，分為分割網(wǎng)絡、二值圖像決策網(wǎng)絡兩個階段。其中，分割網(wǎng)絡指的是獲取路橋設施缺陷圖后，對圖片中表達設施表面缺陷的像素進行定位，并將這部分缺陷進行分割；二值圖像決策網(wǎng)絡階段將分割網(wǎng)絡的部分卷積層和輸出當成是本階段的輸入數(shù)據(jù)。在該網(wǎng)絡模型中，每個樣本所包含的缺陷占比都用一個百分數(shù)來表示，可以較為直觀地看出設施是否存在缺陷以及缺陷程度。

2.2 二階段網(wǎng)絡結構

第一階段分割網(wǎng)絡結構完成缺陷的識別。分割網(wǎng)絡的輸入圖片像素要求為480*480，輸出的分割圖片像素要求為60*60。這個部分作為全卷積網(wǎng)絡，包含了11個卷積層。為了縮短收斂時間和避免梯度消失，使用ReLU函數(shù)在每個卷積層后都進行非線性激活和歸一化處理。分割網(wǎng)絡結構中前10層卷積層的卷積核規(guī)模都是3*3，可以有效地加強分割小尺寸特征的效果。最后一個卷積層的卷積核規(guī)模為1*1，卷積輸出后使用sigmoid函數(shù)進行激活并生成二值圖像。

第二階段決策網(wǎng)絡結構完成對二值圖像進行分類，方法是將分割層和附加網(wǎng)絡的最大和平均全局組合起來。分割網(wǎng)絡的第10層卷積層（512個信道）的輸出，和單個信道分割輸出映射的結果輸入決策網(wǎng)絡中。接著進行2層卷積和3層最大池化操作，目的是讓網(wǎng)絡可以覆蓋圖像中全局信息。卷積操作后對分割網(wǎng)絡輸出和附加網(wǎng)絡輸出進行全局平均和最大池化，產(chǎn)生66個輸出神經(jīng)元，使得分割網(wǎng)絡、附加網(wǎng)絡的輸出能夠有效地匹配。最后由全連接層生成最終分類的輸出，自動對圖像中的缺陷部分進行判斷。

2.3 路橋設施缺陷檢測評價指標

本次研究使用的卷積神經(jīng)網(wǎng)絡缺陷檢測算法屬于分類算法的范疇，為了評價路橋設施缺陷圖像檢測方法的性能，對準確率（accuracy），召回率（recall），交并比（IOU）等表現(xiàn)時間復雜度和精度的因素進行考慮。

令測試數(shù)據(jù)集包含n+1類（L1到Ln）測試數(shù)據(jù)，其預測結果包含正樣本像素（缺陷像素）和負樣本像素（非缺陷像素），可以分為：正類預測為正類（True Positives，TP）；負類預測為正類（False Positives，F(xiàn)P）；正類預測為負類（False Negatives，F(xiàn)N）；負類預測為負類（True Negatives，TN）。將像素根據(jù)混淆矩陣，計算所使用到的3個公式如下所示：

（1）像素準確率（accuracy）。體現(xiàn)正確分類像素和總像素的比值：

（2）召回率（recall）。展現(xiàn)的是實際預測正確的部分和期望預測正確的部分的比值：

（3）交并比（IOU）。IOU是圖像分割的常用準確性標準評價指標，它是預測正確的正樣本像素除以期望預測正確像素、被預測為正確像素的負類像素之和：

3 缺陷檢測實驗

3.1 網(wǎng)絡模型訓練

本次實驗選取了2 091張圖像作為訓練集，600張圖像作為測試集。第一步訓練單獨針對分割網(wǎng)絡進行，在這一步需要將取得的權值數(shù)據(jù)進行凍結；第二步將參數(shù)進行優(yōu)化，進行針對決策層的訓練，在這一過程中要注意控制決策層權重大小。在本次實驗中選擇4個樣本一組進行批處理，訓練所使用的樣本是隨機的，訓練分割網(wǎng)絡的算法迭代中，平均損失的記錄頻率是以100次迭代為周期，驗證及保存模型的記錄頻率是以1 000次迭代為周期。

分割和決策網(wǎng)絡都是在無動量隨機梯度增量的幫助下來進行訓練的。如公式（7）分割網(wǎng)絡使用交叉熵損失函數(shù)進行分割。

式中，N是批處理的大小；b為標簽的數(shù)量；ya和是第a個像素的真實值概率和預測概率。

3.2 結果分析

使用交叉熵損失函數(shù)進行實驗的效果分析，結果統(tǒng)計見表1。

表1 交叉熵損失函數(shù)下的四類路橋設施缺陷識別accuracy、recall和IOU值

綜合對比來看，網(wǎng)絡模型對路橋坑凼和橋梁欄桿銹蝕等缺陷判斷精確度較好，能比較直觀地展示結果，具有較優(yōu)良的準確性和魯棒性。將原圖、實際缺陷圖像、預測缺陷圖像進行對比觀察，可以非常直觀地對橋路設施上的各類缺陷概況進行了解。如圖2所示，（a）表示的是存在欄桿銹蝕的設施圖片，（b）表示的是欄桿銹蝕實際存在的區(qū)域，（c）表示的是預測的結果。

圖2 路橋設施原始缺陷與系統(tǒng)檢測缺陷對比

但模型在識別高強螺栓脫落方面準確率較低，主要原因在于部分欄桿銹蝕與螺栓脫落孔洞相似，且欄桿銹蝕有效圖像數(shù)量遠高于高強螺栓脫落圖像，導致在識別過程中被錯誤判定，如能保證更大的數(shù)據(jù)量和更優(yōu)質(zhì)的圖像，預計將大幅提升識別準確率。

4 結論

本次研究運用卷積神經(jīng)網(wǎng)絡和二階段網(wǎng)絡對路橋設施缺陷檢測進行了實驗，實驗得出模型在處理路橋坑凼、欄桿銹蝕識別上有著較為理想的精確度，可以有效地檢測出圖中的缺陷部分，對缺陷發(fā)現(xiàn)及解決有較好的輔助效果。但模型對高強螺栓脫落類的圖像識別效果不佳，除該類圖像數(shù)量較少外，主要原因是各類缺陷之間存在相似對識別結果造成了干擾。如何優(yōu)化算法，通過較少的網(wǎng)絡模型識別復雜多樣的路橋設施缺陷是未來的主要研究方向之一。