基于改進殘差網絡的鐵路隧道裂縫檢測算法研究

常 惠，饒志強，李益晨，趙玉林

(1.北京聯合大學北京市信息服務工程重點實驗室，北京 100101；2.北京聯合大學城市軌道交通與物流學院，北京 100101)

0 引言

我國鐵路隧道在運營期間因為各種原因產生不同程度的病害，襯砌裂縫是最常見的一種，裂縫會影響隧道的穩定性，對于鐵路隧道安全運行是個極大的隱患，久而久之會對列車的運行造成負面影響，因此對隧道裂縫進行及時有效的識別與處理是一項非常重要的工作.目前，我國鐵路隧道裂縫的檢測大多使用人工檢查的方法，該方法難以滿足鐵路安全檢測快速發展的要求.目前利用計算機視覺和數字圖像處理來檢測裂縫已引起越來越多學者的關注，常用的方法如Gabor濾波[1]、隨機森林[2]、稀疏表示方法[3]、支持向量機(SVM)[4-5]和Hough變換與SVM相結合[6]等方法.雖然這些方法取得了較好的檢測效果，但是它們對輸入圖像的質量要求較高，而鐵路隧道圖像包含復雜的自然特征，例如油漆、水漬和結構縫等，加之隧道內光線不均勻和噪聲的干擾，使得裂縫檢測受到極大的影響.

近年來，深度學習取得了飛速的發展，并且在結構健康監測領域也得到了很大的應用，越來越多的研究者使用深度學習的方法對裂縫進行檢測.文獻[7]提出了一種8層CNN來掃描小塊的高分辨率裂縫圖像，并引入基于相位的視覺流模型來考慮時間因素進行裂縫的分類；文獻[8]將基于CNN的裂縫檢測方法與6個常見邊緣檢測器的性能進行了比較，結果表明CNN架構優于其他方法；文獻[9]提出一種基于卷積神經網絡分類的方法，該方法對橋梁背景面元和裂縫面元進行檢測識別，并且取得了很好的效果；文獻[10]通過將裂縫圖像切分成若干圖像塊后，利用卷積神經網絡得到圖像塊的裂縫概率圖實現裂縫的檢測，上述基于CNN的方法計算量較大，速度有待進一步提高；文獻[11]以像素為單位將裂縫圖像切分成若干圖像塊，利用圖像塊對卷積神經網絡訓練和檢測，但該方法樣本相似度高，且需要考慮訓練樣本中裂縫和非裂縫樣本的比例，實現起來較為困難；文獻[12]基于GoogleNet模型，通過改進Inception模塊和優化卷積核，提升網絡對隧道襯砌圖像病害分類識別的能力，但該方法未考慮圖像中病害的位置特征，檢測效率有待進一步提升；文獻[13]使用遷移學習的方法對裂縫進行分類，對較小的數據集采用預訓練的VGG16模型進行微調來完成分類任務，但模型精度有待提高.

經過許多研究實驗發現，ResNet網絡中使用的殘差算法使圖像分類更加準確，因為殘差算法大大提高了神經網絡提取特征的能力[14]，因此可以被用來進行鐵路隧道裂縫檢測.但是，ResNet在改善感受野方面不是很有效，不能更好地提取圖像的某些特征.針對鐵路隧道裂縫圖像的特點，可對基礎的網絡結構進行改進，主要改進幾個方面：將具有不同擴張率的空洞卷積塊與傳統的卷積塊相結合，形成金字塔空洞卷積模塊；添加金字塔空洞卷積模塊改善ResNet網絡的底層感受野并提高分類的準確率；采用基于度量學習的組合損失函數來區分不同類之間的相似差異，減少裂縫的漏檢率和誤檢率，從而更好地實現復雜背景下細小裂縫的檢測.

1 理論基礎

1.1 卷積神經網絡

作為一種有監督的學習算法，與深度人工神經網絡相比，卷積神經網絡(Convolutional Neural Networks，CNN)具有更少的參數和更快的訓練速度的優勢，并且在圖像分類、分割和檢測等方面具有顯著優勢.CNN是一個多層結構的學習算法，它使用局部特征的各層相關關系來減少參數的數量以提高模型的性能.卷積神經網絡結構如圖1所示.

圖1 卷積神經網絡結構

由圖1可以看出，卷積神經網絡結構由輸入的原始圖像、卷積層、池化層、全連接層、分類器和輸出這幾部分組成，卷積層對圖像特征提取之后，將提取的特征發送到最后一層的全連接層以進行裂縫圖像的分類，本文基于PyTorch框架搭建卷積神經網絡，用于鐵路隧道裂縫的檢測.

1.2 殘差網絡

圖2 殘差模塊結構

殘差網絡是一種深度神經網絡模型，隨著網絡的深化，梯度在反向傳播過程中很容易消失，導致無法更新參數并影響網絡收斂.另外，神經網絡的加深會導致網絡退化，而殘差網絡中的殘差模塊使用跳躍連接很好地解決了這些問題，使得在設計神經網絡模型時可以達到數十層甚至數百層的深度，近年來由于其卓越的性能，該網絡模型已在許多領域中得到了廣泛應用.殘差模塊結構如圖2所示，可以看到x作為輸入值，經過線性變換和激活函數得到殘差F(x)，在激活前將F(x)與x用shortcut連接相加即為殘差模塊的主要思想，這樣可以保證恒等變換和反向傳播時的梯度傳遞.殘差模塊可以定義為

y=F(x)+x.

(1)

式中：x為輸入值；y為輸出值；F(x)是待學習的殘差映射函數.

2 算法總體設計

2.1 改進的殘差網絡

2.1.1 ResNet網絡

裂縫圖像是基于紋理特征進行區分的，而且細小裂縫和有其他噪聲的無裂縫之間的紋理特征相似程度較高，體現在微小特征上的差別，為保證裂縫檢測的效率，使用ResNet網絡進行分類識別，由于鐵路隧道裂縫圖像識別屬于二分類，所以為了提取微小的特征以及減小網絡模型的參數量，選擇結構相對簡單的ResNet18作為裂縫分類的網絡，ResNet18的基本結構如圖3所示.

圖3 ResNet18的基本結構

2.1.2 空洞卷積

傳統卷積神經網絡的池化層有利于降低圖像尺寸、增加特征圖步長，但存在裂縫圖像細節信息丟失，從而導致復雜背景下裂縫誤檢和漏檢等問題.空洞卷積(Dilated Convolutions，DC)是一種特殊的卷積方式，可以在不降低特征圖分辨率的情況下增加卷積核的接收范圍，并且可用于多尺度特征圖像的提取.空洞卷積與普通卷積相比，除了卷積核的大小以外，還有一個擴張率(Dilation Rate)參數，主要用來表示擴張的大小.空洞卷積在卷積的時候，會在卷積核元素之間加入空格，若原來的卷積核大小為k，空洞卷積的一個新的超參數為d，那么加入(d-1)個空格后的卷積核大小n的計算公式為

n=k+(k-1)(d-1).

(2)

進而，假定輸入空洞卷積的大小為i，步長為s，填充的像素數為p，空洞卷積后特征圖大小o的計算公式為

o=i+2p-k-(k-1)(d-1)s+1.

(3)

假設一個3×3的卷積核，圖4給出了具有不同擴張率下的感受野.當擴張率為1時，擴張的卷積核與原始的普通卷積核相同；當擴張率為2時，原始的3×3卷積核將擴張為類似于5×5的卷積核，感受野為7*7；當擴張率為3時，原始的3×3卷積核將擴張為類似于9×9的卷積核，感受野為15*15，零是擴張期間的填充值，只有點上的值不為零，其余為零.針對裂縫分類時出現特征圖卷積或池化降低分辨率造成的精度損失問題，可采用加入空洞卷積的方法，將散布的卷積增加感受野，同時確保在參數數量保持不變的情況下輸出的特征圖大小保持不變，保留裂縫的細節信息，提升算法的泛化能力.

(a)擴張率=1

(b)擴張率=2

(c)擴張率=3

2.1.3 金字塔空洞卷積模塊

圖5 金字塔空洞卷積模塊

由于隧道內環境的問題，除了圖片采光較差，還極易與背景環境(如水漬、油漆等噪聲)存在低對比度現象，且可能具有相似強度的陰影，通過聚集小的區域來區分圖像中類別是很困難的，在空間金字塔池化下進行空洞卷積，構建金字塔空洞卷積(Pyramid Dilated Convolution，PDC)模塊，如圖5所示.它繼承了空間金字塔池化和空洞卷積的優點，不同擴張率的PDC模塊可以有效捕捉圖像的多尺度信息，可以獲取到對圖像的上下文信息和空間層級信息，使得隧道裂縫圖像的細節信息得到有效的提取，提高尺度不變并且降低過擬合現象.

在該模型中，假設輸入為X，輸出為Y，Dilate1-Dilate3用來表示擴張的卷積核；Conv1-Conv4用來表示普通的卷積核；F1，F2，F3表示以不同的速率進行卷積后產生的輸出；?表示卷積；{}表示級聯算法，則Y可以表示為

Y={F1，F2，F3}?Conv4+X.

(4)

其中

F1=X?Conv1?Dilate1，
F2=X?Conv2?Dilate2，
F3=X?Conv3?Dilate3.

PDC模塊并行采用不同擴張率的空洞卷積層以多個比例來獲取裂縫像素特征以及隧道裂縫圖像的上下文信息，利用并聯的空洞卷積進行提取圖像裂縫特征，然后對提取到的特征進行融合，這樣可以將不同尺度的信息融合到一起，同時利用空洞卷積可以有效地擴大卷積層的感受野.與輸入大小相比，空洞卷積具有恒定的輸出大小的特性，這種改善感受野的方法非常適合ResNet網絡的底層.

2.1.4 基于金字塔空洞卷積的ResNet網絡

基于卷積神經網絡的模型中存在一些不足.例如，網絡無法訓練為增強感受野而添加的池化層的參數，導致有關小物體的信息無法重建.這些對于常見的卷積神經網絡中的ResNet也是不可避免的.為了使ResNet在隧道裂縫圖像分類中更好，在其底部添加金字塔空洞卷積模塊，設計出一種改進殘差網絡PDC-ResNet(Pyramid Dilated Convolution Residual Network，PDC-ResNet)模型，其結構如圖6所示.

圖6 基于金字塔空洞卷積的ResNet網絡結構

由圖6可以看出，金字塔空洞卷積模塊被集成到ResNet的底部，以增加原始網絡的感受野并提高分類精度，在修改ResNet時，由于隧道裂縫圖像識別屬于二分類，而原始的ResNet基本結構適合進行多分類.因此，我們將每個卷積塊的卷積內核數量減少了一半，并且進行了一些實驗來選擇模塊的擴張率.最后針對數據集選擇1，3和5作為擴張率，并以不同的擴張率將不同的擴張卷積的輸出串聯起來.

2.2 Softmax分類

在圖像分類中，卷積神經網絡通常使用Softmax分類器，并且Softmax層在網絡的全連接層之后，它將許多神經元隨時間的輸出映射到區間(0，1)內，每個神經元的輸出值之和為1，這可以解釋為概率，然后將概率最大的類別表示輸出結果，預測并執行分類任務.該方法分類高，并行分布處理能力強，能充分逼近復雜的非線性關系，計算量較小，訓練速度較快，所以本文的鐵路隧道裂縫檢測網絡輸出層采用Softmax分類器.其中，輸出概率的計算公式為

(5)

因鐵路隧道裂縫檢測算法是二分類問題，故式中k的值為2.

2.3 基于度量學習的組合損失函數

實際采集的鐵路隧道裂縫數據集兩類之間的差異并不總是特別明顯，例如有裂縫的圖片和有水漬等復雜背景的圖片，細小裂縫圖片和無裂縫的圖片.有些圖片背景存在一定相似性，如僅從局部性的圖像上難以區分是何種類別，所以要提升分類的精度還要更好地解決正確區分相似類別之間差異的問題.考慮到實際應用的需求，應設計參數更少的網絡.因此，本文從損失函數角度進一步提高識別精度，設計基于度量學習(Metric Learning)的損失函數衡量圖像的特征之間的差異性，其計算公式為

Lossr=max(‖f(A)-f(P)‖2-‖f(A)-f(N)‖2+C，0).

(6)

其中：Lossr代表度量學習的損失函數；A代表目標樣本的特征；P代表提取的圖像特征；N代表與A不同類別的特征；C代表大于0的數；max(x，0)代表當其輸入x小于0時，max(x，0)的輸出為0，x大于0時，輸出x.所以，從度量學習的損失函數可知，部分x小于0時表示相同類別之間的距離已經足夠小，且小于不同類別特征之間的距離.

由于裂縫識別任務是一個分類問題，因此，對最終的預測結果采用交叉熵損失函數，其計算公式為

Lossc=-[ylogy′+(1-y)log(1-y′)].

(7)

式中y′和y分別表示預測的標簽概率值以及真實標簽，當損失函數的值不斷減小時，表示預測的概率分布接近真實標簽y的數據.

所以總的損失函數為

Loss總=α*Lossr+β*Lossc.

(8)

其中：α，β分別代表每個損失函數的權重，均為大于0的數.實驗中超參數α，β均設置為1.

3 實驗結果與分析

3.1 實驗設置

本文在Ubuntu 16.04操作系統使用Python編程語言上進行相關實驗，實驗基于PyTorch的深度學習框架，硬件研究平臺：Intel I7-9750H、Nvidia GTX1660Ti、16 GB內存.

利用公共數據集和實際采集的數據進行實驗驗證，訓練集和測試集按8∶2的比例進行劃分，實驗通過控制單一變量，在同一運行環境分別使用不同改進算法的殘差網絡模型，然后進行對比分析.研究實驗圖片統一輸入尺寸為512像素×512像素，并在輸入過程中加入水平翻轉、小角度旋轉來擴充數據集，模型使用Adam優化器，初始學習率設定為0.001，批量大小設定為32，迭代次數為100次.

3.2 SDNET2018數據集實驗

SDNET2018[15]是帶注釋的圖像數據集，用于訓練、驗證和測試基于人工智能的混凝土裂縫檢測算法，該數據集包含超過56 000張有裂縫和無裂縫的路面、墻壁和橋梁的圖像，里面包含的裂痕窄至0.06 mm，寬至25 mm，并且數據集還包括帶有各種障礙物的圖像，包括陰影、表面粗糙度、縮放、邊緣、孔洞和背景碎片.其中，SDNET2018數據集的信息如表1所示.

表1 SDNET2018數據集 張

利用文獻[15]的方法AlexNet和ResNet、PDC-ResNet、ResNet-改進Loss以及本文方法(PDC-ResNet與改進Loss相結合)對SDNET2018數據集進行裂縫識別，不同模型的準確率如表2所示.

表2 不同模型在裂縫檢測上的準確率對比 %

通過表2不同實驗在裂縫檢測上的準確率對比可以看出，本文方法在路面、墻壁和橋梁這3種數據集上的準確率分別達到了97.32%，91.73%，92.84%，與文獻[15]的方法相比模型性能都有較大的提升，相比基礎的ResNet網絡來說具有一定的先進性，并且添加金字塔空洞卷積模塊和基于度量學習的組合損失函數都能有效提升裂縫分類的準確率，上述結果也證明了使用改進的ResNet網絡對裂縫圖像進行分類的優勢，這為鐵路隧道裂縫檢測提供了新思路.

3.3 CRACK數據集實驗

本文通過實際采集和網絡爬蟲的方式來獲取鐵路隧道裂縫圖像樣本數據，然后對數據進行預處理，構建鐵路隧道裂縫圖像數據集(CRACK數據集)，數據集中分為兩類：有裂縫(1 000張)和無裂縫(1 000張)，圖像大多數背景較為復雜，并且裂縫種類多樣.CRACK數據集部分圖像數據如圖7所示.

(a)有裂縫

(b)無裂縫

此外，針對自制訓練集圖像格式不一致且樣本量小的問題，對圖像進行預處理，其中包含灰度處理、高斯濾波和圖像歸一化等.由于測試集不參與網絡的訓練，所以我們僅對訓練集進行旋轉、縮放、對比度調整、鏡面對稱和添加噪聲等操作來擴充數據，防止網絡過度擬合并提高網絡的泛化能力.為體現模型及算法先進性，設立4組消融試驗對比改進模型的性能，其中，不同模型的準確率曲線和損失函數曲線如圖8和9所示.

圖8 準確率曲線

圖9 損失函數曲線

由圖8和9可知，本文的方法精度增長穩定，且增長速度快于其他網絡，PDC-ResNet網絡和改進的Loss函數的收斂速度和識別準確率也都高于基礎的ResNet網絡，且在網絡訓練層數加深多次迭代下，殘差網絡模型未出現明顯的網絡退化現象.為進一步驗證網絡的性能，使用精準率(P)、召回率(R)、F1分數(F1)3個指標來評價鐵路隧道裂縫分類模型的優劣.3種指標計算方式分別為：

(1)P突出顯示誤檢的比例

(9)

式中：TP代表真陽性(True Positive)，FP(False Positive)代表假陽性.P表示預測為真的數據里預測正確的數據個數的比例.該值越接近1代表性能越好.

(2)R突出顯示漏檢的比例

(10)

式中：FN(False Negative)代表假陰性.R表示實際為真的數據里預測正確的數據個數的比例.該值越接近1代表性能越好.

(3)F1綜合考慮了P與R：

(11)

同樣，該值越大代表模型性能越好.

表3列出了4種不同模型在鐵路隧道裂縫檢測上性能對比，從表3中可以看出PDC-ResNet網絡的P相比未改進的基礎網絡提高了2.62%，R和F1也得到了很大的提升，說明在ResNet底部添加金字塔空洞卷積模塊之后可以獲取到對圖像的上下文信息和空間層級信息，使得隧道裂縫圖像的細節信息得到有效的提取，捕捉隧道數據的多尺度特征，提高分類的性能.采用改進損失函數的ResNet與ResNet兩模型的P相比提高了1.17%，R提高了1.35%，改進損失函數的F1也有所提升，并且本文方法的P提高了4.73%，R提高了7.82%，F1提高了6.29%，說明加入度量學習的組合損失函數區分隧道圖像的差異后，將相同類別的圖像特征之間的距離拉近，將不同類別特征之間的距離拉遠，可以在模型參數不變的情況下對分類精度有明顯的提升，結果也證明了本文提出的方法在區分不同類之間相似差異上的有效性.

表3 不同模型在鐵路隧道裂縫檢測上性能對比 %

4 結論

本文針對傳統殘差網絡和損失函數在鐵路隧道裂縫檢測問題上的不足，提出一種改進殘差網絡PDC-ResNet及基于度量學習的組合損失函數的裂縫分類方法.該方法首先在ResNet底部添加不同擴張率的金字塔空洞卷積模塊，確保既不降低特征圖分辨率，又能擴大卷積核感受野，這能很好地用于隧道裂縫圖像多尺度特征的提取，增加分類的準確率；其次通過設計基于度量學習的組合損失函數使得模型能在訓練中盡可能增大不同類之間距離來對復雜背景下細小的裂縫進行更好地分類.實驗表明，本文方法相比較ResNet基礎網絡可以提高鐵路隧道裂縫識別準確率，并且在3種不同的評價指標上證明了該方法的有效性.但實驗對圖像數據樣本的質量要求較高，并且數據集的樣本相對來說比較少，后續可采集更多類型的高質量鐵路隧道裂縫圖片，訓練性能更好的分類網絡模型，對裂縫進行有效及時的識別，以滿足結構健康監測的鐵路隧道裂縫檢測和檢查的要求.