基于改進U-Net網絡的細小裂紋檢測

封曉晨 李 寧,2 顧玉宛 符心宇 王雨生 徐守坤*

1(常州大學信息科學與工程學院 江蘇 常州 213164)2(河海大學計算機與信息學院 江蘇 南京 210098)

0 引 言

細小裂紋檢測一直是裂紋檢測領域的熱點問題，由于其目標小且容易受噪聲干擾，所以檢測難度大。建筑物上出現細小裂紋極易造成安全隱患，因此對細小裂紋進行檢測具有重大的安全以及經濟意義。傳統的檢測方法依靠人工視覺檢測或者選用無損的傳感器進行輔助檢測，但是這種檢測方法效率低、開支大，并且主觀性較強，無法對裂紋的類別以及尺寸進行客觀的分析評判。目前,常使用形態學法[1-3]、邊緣檢測法[4-5]、基于統計學[6-7]等方法進行裂紋檢測，但這些方法對噪聲干擾圖像的裂紋檢測精度小。Malarvel等[8]提出基于Otsu算法的用于焊接缺陷分割的機器視覺方法，即使用最小概率加權背景組(LPWBG)，通過調整威布爾分布自動選擇用于分割焊接缺陷的期望閾值，該方法不能有效地去除噪聲對裂紋分割的干擾。朱力強等[9]針對裂紋圖像在光照不均以及裂紋方位不相同等問題，采用了裂紋圖像的角點作為特征點集，通過點集配準算法將點集擴充后做歸一化處理，提高了匹配的準確率，有效解決光照干擾問題。Shen[10]針對路面裂紋問題，通過灰度變換和圖像平滑等形態學方法處理道路裂紋圖像和投影來識別裂紋類別，能夠分割出完整裂紋，但是存在噪聲干擾問題。陳昊等[11]提出基于光流計算的軸承滾子缺陷檢測方法，依靠金字塔分層策略細化，能夠增強裂紋的細節信息。袁小翠等[12]提出對鋼軌缺陷圖像進行最大熵閾值分割方法，采取增強局部對比度，使用最大目標熵、較小的目標概率來得到更小閾值的方法，有效減少了圖像噪聲的干擾，但是忽略了對細節部分的分割。采用區域生長法[13]、水平集法[14]、主動輪廓模型[15]法等對細小裂紋的特征提取均不敏感。Withayachumnankul等[16]采用方向濾波器核進行圖像濾波，能夠從粗糙表面提取細小裂紋區域，提高檢測精度及靈敏度。Prasanna等[17]用張量投票算法增強裂紋特征，提取簡單裂紋特征效果較好，難以提取復雜裂紋特征，寬度信息不敏感。任子暉等[18]通過Curvelet變換增強血管特征，提高了神經網絡對特征提取能力。傳統的圖像處理的方法可利用計算機將圖像信號轉換成數字信號并進行各種處理，同樣卷積神經網絡也可以通過訓練后的網絡模型對圖像進行分類、分割、目標檢測，景軍鋒等[19]應用深度卷積神經網絡對色織物缺陷檢測，對圖像先進行高斯去噪，然后利用神經網絡反向傳播算法對圖像進行訓練，最后使用Meanshift算法對圖像特征進行分割。

目前，大部分基于U-Net改進的方法都是通過增大感受野來獲取全局特征信息，如DUNet[20]通過添加空洞卷積擴大感受野，但是增大感受野會造成局部細節信息丟失，對細小裂紋的檢測造成阻礙。本文算法不局限于感受野的擴大，提出一種基于U-Net[21]的設計方法，該方法將最大池化層、上采樣層和卷積核為小尺寸的深度可分離卷積進行相加融合，構建一種全新的模塊擴大分辨率，擴展網絡深度來增大感受野，通過多尺度連接維持感受野與分辨率平衡的狀態。在最大感受野的前提下，保持最大分辨率，從而實現對細小裂紋的檢測，最后引入新的學習機制完成對有用的特征信息的捕捉，排除噪聲干擾。

1 U-Net網絡

U-Net網絡是一種醫學分割網絡，具有良好的分割效果。本文算法采用U-Net網絡作為分割裂紋圖像的主干網絡，該網絡的框架結構與“U”型相似，并且進行端到端的訓練，可以減少計算量?！癠”型的左右兩邊對稱，左邊進行下采樣操作用于擴大感受野來獲取上下文信息，右邊上采樣操作能夠精確地定位分割位置，U-Net的上采樣有大量的通道，因此網絡的上下文信息可以向高層傳遞，并且在傳遞過程中擴大裂紋圖像的多尺度信息。上采樣操作只能恢復網絡在池化的過程中丟失的部分特征信息，右邊高層抽象的特征信息與左邊的低層高分辨的特征信息融合，擴大了感受野，恢復在池化操作過程中損失的特征信息。

2 基于U-Net網絡的改進方法

2.1 改進殘差塊

網絡深度低，U-Net對裂紋特征表達的精度不高，同時編碼與解碼的通道數相同，造成網絡內存占用大、計算參數冗雜。Resnet[22]一直都作為優化網絡性能的有效手段之一，將輸入加入到輸出中構造一個殘差結構，可以使神經網絡在不增加參數復雜度的同時提高計算能力，并且降低了超參數的數量。使用殘差網絡的目的是解決U-Net網絡不斷加深的過程中出現的網絡退化問題。

如圖1所示，圖1(a)是最原始的殘差塊結構，圖1(b)是改進后的殘差塊結構。本文算法的殘差結構由深度可分離卷積(Depthwise Separable Convolutions)和高尺度轉置卷積(Transposed Convolution)構成一個“weight layer”，深度可分離卷積可以分成深度卷積(depthwise convolution)和逐點卷積(pointwise convolution)，深度卷積在每一個通道獨立進行空間卷積，最后利用逐點卷積將深度卷積后的通道進行混合輸出，可以提高網絡訓練速度，轉置卷積是一種上采樣操作可以減少由深度可分離卷積擴展的通道數，增大分辨率。“skip connection”使得輸入X在經過兩層“weight layer”后的輸出可以與輸入X直接相加，得到目標函數F(X)+X=H(X)將它轉化為殘差函數表示，如式(1)所示。

(a) 原始的殘差

F(X)=H(X)-X

(1)

此時只需要對F(X)=0時的殘差函數進行學習，不是真的為0而是將其逼近于0，比學習H(X)=X的恒等映射容易，網絡性能不會退化。

2.2 注意力機制

使在噪聲干擾較多的情況下，容易丟失對細節信息的分辨能力，造成裂紋圖像的偽分割。注意力機制(attention mechanism)[23]對特征信息具有顯著的聚焦能力，解決信息負載過重的問題，選擇正確的特征信息輸入到之后的神經網絡中計算，應用在語義分割中可以有效提高圖像分割的精度。引入注意力機制模塊，在注意力機制中融合殘差結構和卷積核大小為3×3的深度可分離卷積，提高網絡速度，并在其后添加轉置卷積捕捉局部特征，捕捉全局的信息，并對整個網絡進行BN(Batch Normalization)處理，提升網絡泛化能力，減少偽分割現象。

該機制學習完特征后直接通過網絡訓練而生成。訓練的模型選擇性學習裂紋的特征信息，排除背景的干擾信息，通過注意力機制捕捉全局的信息來獲得更大的感受野以及上下文信息，聚焦于裂紋信息的選擇，并且對裂紋的檢測邊緣進行精細化處理，通過注意力機制優化網絡。注意力機制的編碼公式如式(2)所示。

(2)

式中：hm表示編碼階段的轉換函數；anm為權重；n′表示特征信息的長度。

權重公式如下：

(3)

2.3 卷積池化層的融合

下采樣會降低像素被正確標記的概率，U-Net網絡的上采樣對恢復特征信息的能力有限，使得裂紋的寬度信息不明顯，無法檢測到細小裂紋的現象因此延伸U-Net框架,在U型底部添加卷積池化層的融合層，目的是減少計算量，提高網絡速度，同時擴大特征圖捕捉局部信息和細節信息。

如圖2所示，圖中的卷積池化層由步長為2的最大池化層、1×1的深度可分離卷積與2×2的上采樣層構建。最大池化層可以減少后面卷積層中的參數量，降低過擬合，同時該操作會降低圖像分辨率，池化后進行上采樣操作可以復原損失的特征信息，將來自上一層的輸出獨立地輸入到每一個卷積池化層中，將4個卷積池化層和1個深度可分離卷積輸出的特征圖進行層融合，通過層融合來拼接通道維度，減少網絡模型的訓練時間，擴大特征圖，增大分辨率。深度可分離卷積有效減少參數計算量，同時設置該卷積的卷積核大小為1×1，縮小通道數目，并引入非線性激活函數ReLU，提高網絡的非線性表達，減少卷積過程中的梯度消失現象。卷積池化層將較大范圍的感受野和高清晰的分辨率達到相對平衡，有效表達更加復雜的特征。

圖2 層融合模塊

最大池化層的公式如下：

(4)

式中：L為當前層；L-1為上一層；i、j為當前像素位置；m、n為對應的pool核覆蓋的區域。

2.4 U-Net改進后的網絡結構

如圖3所示，改進U-Net的模型結構。模型中U-Net的特征向量的深度為2 048，U型的左側與右側使用相同的卷積層，左側進行下采樣操作即max pooling層，壓縮圖像特征，同時在右側對稱位置使用上采樣操作即UpSampling層，恢復圖像的特征信息。其中，每個卷積層包含殘差塊、注意力機制和2個轉置卷積層，并且在每一個網絡層后面都標注了輸出的特征圖的尺寸和深度。輸入大小為256×256×1的原圖和它對應的標簽大小為256×256×1的人工分割的GT圖，經過神經網絡訓練，輸出大小為256×256×1的測試結果圖。輸入的圖像通過卷積層、最大池化層、ReLU函數的訓練過程如式(5)所示。

圖3 改進U-Net模型結構

Fij(X)=fm,s{(Xsi+αi,sj+αj),0≤αi,αj≤m}

(5)

式中：X為(i,j)位置的數據向量；Fij(X)為相對應的輸出；m為卷積核的大??；s為步長；fm,s為對應層類型的操作。

Concatenate層通過融合多種尺度特征圖的語義信息來增加通道數，以此降低算法的復雜度。在激活函數之前添加BN層，緩解上一層的輸入分布向非線性函數的兩端緩慢靠近，BN層做一個N(0,1)的正態分布的歸一化處理，最后輸入到激活函數ReLU的值，在反向傳播中可以產生更明顯的梯度，有效幫助網絡進行收斂以此改善梯度彌散的現象。

如圖4所示，表示網絡中每個結構的流程。如圖4(a)所示，改進后的殘差塊就是由深度可分離卷積、轉置卷積層和BN層組成，輸入通過skip connection與卷積過后的輸出在相加層融合。如圖4(b)所示，注意力機制由“編碼-解碼”結構組成，編碼器由最大池化層、卷積層組成，解碼器由上采樣層、卷積層組成。將殘差塊輸出的特征信息輸入到注意力機制中，軟注意力機制在訓練時會過度參數化，通過一個skip connection與Sigmoid函數分類后的輸出共同構建殘差結構，解決軟注意力機制中冗余的參數計算問題，對卷積神經網絡進行優化。如圖4(c)所示，Conv-pooling網絡層由最大池化層、深度可分離卷積、ReLU激活函數、BN處理層、上采樣層組成，在U-Net底部構建的融合模塊由4個相同的Conv-pooling和1個深度可分離卷積組成的網絡結構。每個Conv-pooling層獨立接收來自于上一層的相同的輸入，最后將4個Conv-pooling和1個深度可分離卷積的輸出進行融合。圖中已標注出每一個卷積層輸出維度。

(a) Accuracy

(a) 殘差塊流程

3 實 驗

本文實驗環境配置參數：CUDA8.0，12 GB內存，GeForce GTX 1080 GPU，64 bit Ubuntu。實驗使用的仿真軟件為PyCharm,在TensorFlow以及Keras框架下運行。

3.1 數據集

從網絡搜集混凝土裂紋圖像以及自己采集的裂紋圖像共2 000幅進行數據增強到38 000幅，其中圖片旋轉、平移、扭曲的概率都設置成0.5。將38 000幅圖像統一處理成大小為256×256×1的灰度圖像，選擇20 000幅圖像作為訓練集，8 000幅圖像作為交叉驗證集，10 000幅圖像作為測試集，實驗的目的是驗證本文網絡模型能否檢測出更多細小裂紋。

3.2 性能評價指標

針對裂紋檢測的研究利用準確率函數(Accuracy)，指像素被正確分類的樣本數占總分類樣本數的比值，如式(6)所示。

(6)

式中：TP表示正確像素被正確分類；FN表示正確像素被錯誤分類；FP表示錯誤像素被分類為正確像素；TN表示錯誤像素被分類為錯誤像素。

二進制交叉熵損失函數(BCELoss)如式(7)所示。

(7)

式中：yi∈{0,1}；fi(x)∈(0,1)。

重疊度(Intersection-Over-Union，IoU)指預測的像素和真實像素的交集與并集的比值，重疊度的值反映了分割目標與真值的重疊度，隨著重疊度提高，像素被正確標記的概率也隨著提高，該值大小與表示定位的準確度成正比，如式(8)所示。

(8)

式中：target代表被標記的像素；prediction代表預測的像素。

ROC曲線下面積(Area Under Curve，AUC)的值是一種衡量模型優劣的評價指標，如式(9)所示。

(9)

召回率R(Recall)，召回率是被預測為正例樣本占真實正例樣本的比值，如式(10)所示。

(10)

精度P(Precision)，精度是正確預測的正樣本數占所有被預測為正樣本的數量的比值，如式(11)所示。

(11)

F-score測量是Precision和Recall加權調和平均。本文算法選取α=1時，F1-score的測量方法如式(12)所示。

(12)

均絕對誤差(Mean Absolute Error,MAE)，它表示模型分割的圖像和人工分割的圖像之間的像素的絕對誤差的平均值，如式(13)所示。

(13)

式中：x表示輸入；y表示輸出；m表示被標記的數量；H(x)表示被分割的圖像；F(x)表示人工分割的標準結果GT圖像。

3.3 網絡模型的訓練與分析

本節首先選取5種網絡模型分別是本文算法、U-Net、Resnet U-Net、Attention resunet、DUNet進行訓練。Resnet U-Net是在U-Net框架下使用Resnet級聯；Attention resunet是在Resnet U-Net的框架下添加注意力機制，優化裂縫寬度；本文算法增加殘差塊、注意力機制、融合模塊；DUNet在U型底部添加空洞卷積(Dilated Convolution)，在標準卷積里注入空洞，使網絡模型具有更大的感受野。選用20 000幅圖像進行網絡訓練，同時選用8 000幅圖像進行交叉驗證。用來訓練的5種卷積神經網絡的訓練參數設置：優化方法(optimizer)：Adam；損失函數(loss)：BCELoss；學習率(learning-rate)：0.004；批量大小(batch size)：2；迭代次數(Epoch)：100；訓練迭代期(iteration)：20 000。

表1為本文算法與其他四組算法在epoch=100時，準確率(Accuracy)、損失(Loss)、重疊度(IoU)、ROC曲線下面積(AUC)的比較。可以看出本文算法的AUC值與其他四組算法比較，提升幅度基本持平，與U-Net的差值最大為0.0073；本文算法加入殘差塊和轉置卷積后，IoU值比其他四種算法提升最大，因此定位準確度最高，Resnet U-Net的IoU值居第二，表示IoU的提升與網絡深度與關；本文算法在Accuracy值比較其他三組算法大，Loss值的最小，并且Accuracy提升值與loss下降值成反比，表示該網絡的泛化性能比較好。

表1 5種網絡模型訓練的定量比較

圖5展示了評價指標Accuracy、Loss、IoU、AUC與迭代次數的曲線圖。圖5直觀地表現本文算法與其他4種深度網絡在訓練階段變化過程，并且在訓練到epoch=15后，各項指標一直優于其他三種網絡。本文算法的Accuracy初始值為0.956，幅度緩慢而穩定提升至0.990 8； Loss降低幅度最大,隨著迭代次數的增加從0.117 0逐漸下降到0.021 0；本文算法的IoU初始值位0.314 3提升至0.797 3，在迭代次數的中后期提升幅度較大；AUC的初始值為0.931 6提升至0.998 6，升幅緩慢。

3.4 檢測結果比較及分析

本節為進一步驗證本文算法對裂紋檢測的有效性，將形態學的低帽變換、Otsu分割算法、canny邊緣檢測算法這三組傳統算法與上述5種網絡模型的測試結果進行定量均值比較與分析。

如表2所示，在8種算法的評價結果中，本文算法在召回率、精度、F1分數和絕度誤差均表現最優。采用小卷積核的深度可分離卷積使速度得到提升，因此消耗時間最少為0.139 5 s，Resnet U-Net加深網絡所消耗的時間最長為1.345 0 s，表示深度可分離卷積可以提高網絡速。Attention resunet在引入注意力機制后，精度提升0.135 9，網絡消耗的時間有減少到1.085 1 s。本文算法的MAE值約為傳統算法的十分之一，約為其他深度網絡的二分之一。從表2的評價指標來看，本文算法對裂紋的像素被標記的正確率得到了提升，像素得到正確分類和定位。

表2 8種分割算法的定量均值比較

續表2

圖6為8種算法的部分實驗仿真圖。對算法進行定性比較，每組圖像的前兩幅分別是原圖和人工分割的GT圖像。從圖6(a)到圖6(f)的圖像分割的結果來看，雖然Resnet U-Net的網絡層數深，使得噪聲干擾比其他三組都小，但是分割出的裂紋出現斷裂現象。Attention resunet通過注意力機制來提升像素的定位能力，有效辨別特征信息的正確性。DUNet檢測裂紋圖像清晰，但是表達出的特征同樣出現斷裂情況。本文算法通過添加融合層，擴大分辨率，獲得更多的局部裂紋特征，因此從圖6(a)來看，圖像中分割出更多細小的裂紋，引入注意力機制獲取真實的裂紋寬度信息。從圖6(b)的U-Net測試結果來看，端到端訓練容易丟失全局特征，在相同訓練條件下，比其他三組網絡分割出的裂紋噪聲干擾大。圖6(a)的Resnet U-Net不能有效分割出細小裂紋，但抗干擾性好，分割出的圖像平滑。圖6(e)的Attention resunet比起Resnet U-Net的裂紋分割更加完整和清晰，表明在網絡引入注意力機制，使得特征捕捉能力持續的提升。圖6(c)的DUNet增加空洞卷積用來處理細節特征，有輕微噪聲干擾，但是全局信息處理不好，不能完整地分割裂紋圖像。圖6(d)的低帽變換通過處理亮背景下的暗物體，突出裂紋，但是分割出的裂紋界限不明顯。圖6(e)的Otsu分割算法噪聲干擾嚴重產生了偽分割現象，不能有效對裂紋的像素點進行分割。圖6(f)的canny算法檢測出的裂紋的輪廓虛化，裂紋不明顯。

(a)

綜上所述，本文算法對細小裂紋具有良好的分割性能，減少噪聲干擾，對像素精確定位。在復雜的背景下依然可以排除干擾，識別真正的裂紋信息，對裂紋進行完整分割，在裂紋監測中具有一定的應用價值。

4 結 語

針對裂紋檢測中出現的細小裂紋圖像不容易檢測、噪聲干擾、部分信息丟失的問題，本文算法從U-Net和殘差結構設計、注意力機制、層融合模塊三方面對U-Net進行改進，構建一種新的網絡模型。實驗結果表明，本文方法可減少噪聲的干擾，提升訓練速度，縮短訓練時間，檢測到細小裂紋，獲取裂紋真實的寬度信息。同時，由于光線遮擋裂紋而出現圖像灰度不均的問題，導致檢測出的裂紋特征被遮擋，圖像裂紋產生斷裂現象。目前，提出的網絡模型尚未解決這一問題，下一步將著重研究如何通過卷積神經網絡解決裂紋在訓練過程中出現的斷裂現象。