基于計算機視覺的公路邊坡裂縫檢測方法

傅宇浩， 郭 沛， 劉鵬宇， 李瑤瑤， 陳善繼， 王聰聰

(1.中咨數據有限公司，北京 100089; 2.空間信息應用與防災減災技術交通運輸行業研發中心，北京 100089; 3.北京工業大學 信息學部，北京 100124; 4.先進信息網絡北京實驗室，北京 100124;5.計算智能與智能系統北京市重點實驗室，北京 100124; 6.青海民族大學 物理與電子信息工程學院，青海 西寧 810007)

近年來，隨著國家基礎建設投資、重視程度的增加，我國山區公路里程呈平穩增長。我國山區公路邊坡具有數量多、邊坡角度陡峭、坡體表面裸露和穩定性差等特征，且坡體內部地質復雜，縫隙發育、穩定性等問題較為突出。在公路網絡大規模建設的同時，山區公路在施工和運營中面臨著滑坡、泥石流、崩塌等地質災害的威脅，山區公路邊坡穩定性問題將是一個不可忽視的問題。

滑坡的形成需要經歷災害孕育期、災害成長期和災害發生期3個階段,隨著災害的不斷累積疊加,最后產生明顯的宏觀變形,引起山體滑坡。裂縫是山體滑坡等大部分病害的早期癥狀，故安全監測集中在此階段進行。當前邊坡裂縫檢測仍以人工檢測為主，個別路段采用現場埋傳感器[1]、GIS[2]等方法，但耗費大量人力物力，且檢測精度和效率也不突出。

檢測圖像中的物體是計算機視覺的基本任務之一。近年來，隨著深度學習的不斷發展，基于深度學習的計算機視覺在目標檢測與圖像分割領域取得了令人矚目的進展，計算機視覺方法逐漸應用到裂縫檢測領域。本文提出了基于計算機視覺的邊坡裂縫檢測方法，通過專業攝像頭實時拍攝公路邊坡裂縫圖片，并將圖片作為基于卷積神經網絡的邊坡裂縫識別模型的輸入，識別并標注裂縫區域輪廓，計算裂縫面積，統計裂縫發展方向，時刻監測邊坡災害發生的周期規律,彌補了傳統檢測方式的不足，具有效率高、成本低等優勢，對于邊坡滑坡監測預警可以起到很好的幫助作用。

1 相關研究

邊坡穩定性的研究至今已有百年，在這百年中，邊坡穩定性問題一直困擾著學者。馬惠民等[3]研究了5種不同結構的順層巖質邊坡的破壞規律，并總結了5種破壞模式間的相關性，分析了順層巖質邊坡的內在破壞規律；吳振君等[4]利用敏感性因子和隨機場變量對邊坡滑動面上的不同位置進行了工程加固處理后，發現邊坡的安全性明顯有所改善；薛錦春等[5]利用數理統計的動態聚類分析法對邊坡穩定性的計算參數進行了研究，并利用動態聚類分析法對研究邊坡的穩定性進行了分析。

近年來，基于深度學習的方法在計算機視覺方面取得了令人鼓舞的成績，基于深度學習的像素級圖像分割算法開始逐漸用于邊坡裂縫中。魏文龍等[6]提出基于輕量化網絡MobileNet的橋梁裂縫識別模型，識別準確率可達97.14%。李子豪等[7]提出一種基于ResNet18的四分類神經網絡，實現了鐵氧體零件裂縫檢測。瞿中等[8]提出一種新的模型全U網絡實現了混凝土路面裂縫檢測，所提算法平均準確率為83.48%。任秋兵等[9]提出了一種基于深度卷積神經網絡的水工混凝土裂縫像素級形態分割與特征量化方法，該方法通過改進的U-net深度網絡架構，提出適用于水工混凝土裂縫檢測的形態分割模型和特征量化方法。Cha等[10]和Gibb等[11]分別采用卷積神經網絡對混凝土表面的裂縫進行檢測，但是該方法只能完成裂縫檢測的定位，并不能完成裂縫長度、寬度的測量；Nishiyama等[12]在裂縫的兩側分別放置靶點，通過判斷靶點位置的變化可以計算裂縫的寬度。但是，上述方法在使用中存在一定的局限性，裂縫檢測效果對光照不均勻性十分敏感，對于細裂縫的測量準確性差，僅完成了裂縫區域的檢測，但并沒有完全實現對裂縫寬度的測量以及誤差分析。

綜上所述，研究設計一種能對邊坡裂縫進行精準識別的模型對于公路邊坡安全具有極大的市場價值。鑒于卷積神經網絡在圖像識別領域的突出表現，本文首先利用專業攝像頭拍攝并篩選了大量邊坡裂縫圖片，在巖土專家的指導下，構建了大規模的邊坡裂縫數據集。基于此數據集，本文提出了一種基于卷積神經網絡的邊坡裂縫識別網絡，對邊坡裂縫進行有針對性的特征提取，結果表明，該模型對應邊坡裂縫識別具有較好的效果。

2 裂縫識別模型整體架構

根據以上研究內容，本文自主構建了邊坡裂縫數據集，并基于此數據集，提出了一種基于深度卷積神經網絡的邊坡裂縫分割模型，實現了邊坡裂縫的識別。本文的整體框架如圖1所示。

圖1 裂縫識別算法整體框架

3 裂縫識別網絡模型

3.1 卷積神經網絡

卷積神經網絡(Convolution Neural Networks,CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡。卷積神經網絡具有強大的表征學習能力，無需手動選取特征，訓練好權重即可得到效果較好的特征分類。卷積神經網絡的結構包括輸入層、隱含層和輸出層。

(1) 輸入層。

卷積神經網絡的輸入層可以處理多維數據。輸入層主要是對原始圖像進行去均值、歸一化和PCA降維等預處理操作。

(2) 隱含層。

一個基本的卷積神經網絡的隱含層包含卷積層、池化層和全連接層三類常見結構。卷積層由若干個卷積神經單元組成，通過圖像與卷積核的卷積運算，可以實現對輸入圖像的降維和特征提取；池化層又稱為下采樣層，池化層夾在連續的卷積層之間，用于壓縮數據和參數的量，避免過擬合；全連接層是指將之前卷積層提取的局部特征經過池化層降維后，通過權值矩陣重新組合成完整的圖。全連接層將卷積輸出的二維特征圖轉化為一維的向量，在整個卷積神經網絡中起到分類的作用。

(3) 輸出層。

輸出層主要是準備做好最后目標結果的輸出。在圖像語義分割中，輸出層直接輸出每個像素的分類結果。

3.2 語義分割

語義分割是指機器自動從圖像中分割出對象區域，并識別其中的內容，語義分割是在像素級別上的分割，即將圖像中每個像素分配到對應的某個對象類別。圖2為裂縫分割輸入圖像，圖3是經過語義分割后的裂縫輸出圖像。該模型不僅需要識別出裂縫和背景，還要標出每個裂縫對象的邊界。因此，分割模型不僅需要實現目標分類，還需要具有像素級的目標預測能力。裂縫分割需要區分裂縫和背景兩類像素。

圖2 裂縫分割輸入圖像

圖3 語義分割后的輸出圖像

常用的語義分割性能評價指標有精確度(Precision)、召回率(Recall)、F1-Score和交并比IoU(Intersection over Union)[13-16],其中Precision表示預測為正類的樣本中真正的正類所占的比例;Recall表示樣本中正類被正確預測的比例;F1-Score在數值上表示二者的調和均值;IoU指的是分割結果與真正標簽兩個集合的交集和并集之比。

(1)

(2)

(3)

(4)

3.3 基于卷積神經網絡的邊坡裂縫分割模型FSNet

3.3.1 FSNet網絡模型

目前，基于圖像的邊坡裂縫識別研究并不多，且沒有公開的邊坡裂縫數據集。為此本文構建了邊坡裂縫數據集。基于此數據集，本文提出了一種邊坡裂縫識別模型FsNet，可以對邊坡裂縫進行更有針對性的特征提取，所設計的邊坡裂縫識別網絡FSNet結構如圖4所示。首先經過一個卷積層。卷積層和池化層提取邊坡裂縫淺層信息，然后通過4個重復的stage模塊來構建網絡。每個stage模塊包含不同數量的特征提取單元和一個降采樣單元。其中，特征提取單元主要通過將輸入通道拆分并與卷積核逐通道進行卷積從而降低了卷積運算的復雜度；降采樣單元首先通過逐點卷積實現信息間的整合，然后，通過平均池化和最大池化，實現空間尺度的降采樣。最后通過上采樣后實現特征分類。這種設計思想使得網絡簡單易實現，且具有強擴展性。

圖4 邊坡裂縫識別網絡模型

4 實驗結果及分析

4.1 數據集

在邊坡領域，目前沒有公開的邊坡裂縫圖像數據集，本研究采用北京市房山區現場實拍的邊坡裂縫影像數據。原始數據為邊坡裂縫圖，共有圖片11130張，圖片分辨率為4624像素×3472像素和1920像素×1080像素，但是部分圖像存在拍攝畫面模糊、植物遮擋嚴重、圖片視角重復等問題，需對圖片進行清洗。

由于采集的圖片尺寸很大，用LabelMe標注時會損失很多的紋理細節信息，需要將圖片分割為512像素×512像素。在專業巖土專家的指導下，利用LabelMe軟件進行了人工標注，形成了初始的裂縫數據集。在標注后，部分圖片仍存在植物遮擋嚴重、圖片視角重復等問題，再次對圖片進行清洗，最后形成裂縫數據集，共有圖片312張。

4.2 實驗配置

本文數據集按照8∶1∶1的比例將全部數據劃分為訓練集、驗證集和測試集3部分進行交叉驗證，前兩者用于構建優化模型，而后者則用于模型性能檢驗。本文訓練時使用MXNet框架，編程語言為Python3.6，損失函數使用的是交叉熵函數，所用的優化器為SGD(Saccharomyces Genome Database)，進行批訓練的大小為10，迭代次數為1000，初始學習率為3×10-4。

4.3 實驗結果與分析

本文選取未經訓練的裂縫圖像用于驗證模型的分割性能，部分裂縫結果展示如圖5所示。從圖中可以看出，圖5(a)為水平縫，裂縫寬度較小，同時在縫的右下角有間斷的不連續的沒有規律的小縫，在識別結果中完整地分割顯示出來了；圖5(b)為水平斜向下縫，縫兩邊寬度較縫中間寬度大，識別結果較好；圖5(c)為水平斜向上縫，該縫光線較強，且成波浪型，在識別結果中并沒有很好的識別出來，但基本走勢可以顯示出來；圖5(d)為豎直縫，該縫光線較暗，且寬度不一，在縫的開始階段有一個很短的水平縫且光線較暗，在識別結果中沒有識別出來，但縫整體識別較好。由以上結果可以看出，本文所設計的FSNet模型對于裂縫的該分割效果與裂縫形態較為接近，橫縱向裂縫均可以準確定位與識別。從而驗證了采用基于計算機視覺的方法對邊坡裂縫識別的方法是可行的。表1為量化樣本圖像的裂縫分割結果，總體精度達到94.21%，綜合性能指標F1-Score、IoU均值分別為82.725%和73.48%，表明該模型的識別效果較好，對實際應用場景具有一定的適應性。

表1 樣本圖1～圖4裂縫分割性能量化評估結果

圖5 部分裂縫結果展示

5 結束語

邊坡裂縫的自動檢測及預警可以在很大程度上減小主觀因素影響帶來的識別誤差，節約了人力成本，對公路邊坡安全具有指示性的意義。

根據邊坡裂縫的特性，本文基于卷積神經網絡的深層網絡結構，結合自制的邊坡裂縫數據集，提出適用于邊坡裂縫的形態分割模型，構建模擬場景并設置多方法性能對比仿真實驗，結果表明深度學習在邊坡檢測方面具有無可比擬的優勢。

盡管深度學習在計算機視覺方面取得了革命性進步，但在邊坡災害中的應用研究仍處于起步和探索階段，仍然面臨著諸多的難題和挑戰。一方面，與傳統識別方法[17]相比，深度語義分割模型[18-20]的特征需要從大數據中學習得到的，模型性能會高度依賴訓練數據的數量和多樣性。而本文的數據集在經過清洗和分割后，在數量和多樣性上仍然不具有優勢，需要進一步增加數據集的樣本量，同時可以看出，本文部分數據集存在過亮或過暗的情況，這對識別算法造成了一定的難度，需針對圖像光線過強或過弱的情況對數據集進行有針對性的圖像增強。另一方面，雖然本文的分割效果相對較好，但是檢測精度仍需進一步提升。