基于LeNet卷積神經網絡的路面病害自動檢測方法

楊依霖，黃 浩，胡永明，王德志，李岳彬

（湖北大學 物理與電子科學學院，湖北 武漢 430062）

0 引 言

隨著車輛數量和公路運輸量的迅猛增長，車輛大型化趨勢明顯，超限、超載車輛不斷增多，大多數路面暴露出承載能力不足的問題，嚴重影響了現有公路的使用壽命周期和結構安全，公路養護管理難度和成本逐年加大[1]。截至2019年，中國公路總里程已達484.65萬千米，高速公路達14.26萬千米；《中國公路運輸大數據報告》顯示中國公路運輸的市場規模超過6萬億，隨著公路事業和運輸業的發展，路面承受的壓力也越來越大，對公路路面的質量和維護要求也越來越高[2]。目前大部分地區的道路養護檢測仍然以人工現場調查為主，由巡查人員駕駛車輛對路面進行觀察和記錄。這種方式工作效率低下，投入時間和人力物力成本過大，且結果受主觀因素影響較大[2]。人工巡檢方式已無法滿足日趨常態化的道路檢測工作，智能化監測迫在眉睫。

目前，許多國家陸續建立的道路養護管理系統大多依賴于豐富的硬件設備，大量設備在使用時費時、費力，且對交通影響較大，有些甚至破壞了路面結構的完整性[3-4]。

路面病害識別問題屬于圖像識別技術的典型應用[5]。隨著圖像識別技術的發展和計算機視覺技術的興起，卷積神經網絡在圖像識別領域有著不俗的表現[3,5]。本文將計算機視覺技術以及卷積神經網絡引入路面病害識別領域，提出一種基于LeNet卷積神經網絡的路面病害自動檢測方法，可有效監測路面缺陷，更加貼近實際。此舉可有效替代人工進行高速可靠的檢測工作，減輕人力、物力、財力壓力，使檢測工作更加智能化、自動化。

1 方法介紹

1.1 功能介紹

傳統的路面檢測方法為隨機選點及人工檢測等。常規方法存在很大的局限性：隨機選擇被測點往往會使得檢測結果缺乏代表性[6-7]；人工檢測需要投入大量的人力和時間。

本文提出一種基于LeNet卷積神經網絡的路面病害自動檢測方法，可自動識別路面圖像的損害程度，相比當前人工檢測方法，其具備安全性高、效率高、成本低等優點。本方法可用于檢測路面破損信息，極大地提升公路日常養護巡檢的工作效率和安全性。計算機識別可以取代類似人工路面巡查等低效、低安全性的工作方式，大幅降低檢測成本。

1.2 檢測流程

本文提出的路面病害檢測方法包括病害數據采集、病害的檢測分析和識別等。基于圖像分析的路面病害檢測流程：首先獲取路面圖像，然后進行圖像預處理，最后進行病害檢測。檢測流程如圖1所示。

圖1 檢測流程

在實際生活中，路面圖像數據通過攝像機拍攝獲得，但由于光線、路面狀況的復雜性，以及路面雜物等環境因素的影響，這些不利因素會給后續模型檢測帶來困難[8]。因此，本文提出的方法首先需要做一些預處理工作，通過采用一些圖像預處理方法從一定程度上提高圖像質量，減少不利因素的影響，使得路面圖像光照均勻，并增強病害目標，以便進一步處理。

2 方法設計及原理

2.1 路面圖像獲取

路面圖像數據采集于合徐高速北上行路段，由已校準的高精度攝像頭獲取，圖片分辨率統一為1 920×1 080像素。

2.2 路面圖像預處理

有效的圖像預處理可以大大提升后續檢測的準確率。本文提出的圖像預處理方法主要包括圖像去噪、圖像銳化及圖像分割。圖像預處理流程如圖2所示。

圖2 圖像預處理流程

在進行圖像去噪處理時，可以對路面圖像進行濾波處理。本文利用中值濾波法對路面圖像進行濾波處理，選取一定尺寸的濾波窗口后，將其在濾波初始位置處的灰度值由所設濾波窗口鄰域的中值替代，使得濾波窗口周圍的像素值更加接近真實值，以消除孤立的噪聲點。

中值濾波的本質是將一個圖像矩陣中的像素進行排序后，將矩陣的中心點賦值為矩陣中所有像素的中值，以達到平滑圖像的目的。

在一個3×3矩陣中，中值濾波的公式如下：

在進行圖像銳化處理時，通過調整濾波后的路面圖像的對比度，來擴大壞損區域和路面特征之間的差異，以便后續處理和壞損判斷[8]。將原始RGB路面圖像分別轉換到HSV顏色空間，相對于RGB顏色空間，HSV空間能夠非常直觀地表達色彩的明暗、色調以及鮮艷程度，便于對比。

將圖像從RGB空間轉換到HSV空間的方法：（r，g，b）分別是顏色的紅、綠、藍坐標，值為0到1之間的實數，max和min分別為r，g，b三者中的最大值和最小值。

利用直方圖均衡化對濾波后路面圖像中像素個數多的灰度級進行展寬，對像素個數少的灰度級進行縮減，像素集中后，灰度范圍變大，對比度變大，清晰度變高，可有效增強圖像[9]。

直方圖均衡化處理流程如圖3所示。

圖3 直方圖均衡化處理流程

直方圖均衡化映射方法的函數如下：

式中：n表示所有像素點的個數；nj表示灰度值為j的像素的個數；Sk為得到的新的灰度級。

將優化后的路面圖像進行網絡模型檢測之前，在圖像預處理時將優化后的路面圖像再次進行圖像分割處理，生成多個路面像素塊。其中，路面像素塊標記有位置標識，位置標識為路面像素塊在優化后的路面圖像中的位置。

2.3 網絡模型及檢測

本文使用基于卷積神經網絡的技術對公路路面病害進行分類檢測。

卷積神經網絡是一種前饋神經網絡。卷積神經網絡的三個重要特點是局部感受野、權值共享和下采樣。局部感受野可以發現圖像的局部特征，例如一個角或者是一個弧，將局部信息綜合到全局信息；權值共享可以有效減少參數；下采樣保證了局部不變性。這些特點使得在進行大型圖像識別時，卷積神經網絡可以有非常出色的表現[10]。

本文提出的方法基于LeNet網絡架構，其采用一個相對較小的CNN網絡，由4個具有交替卷積和最大池層的塊和2個完全連接層構成。LeNet網絡結構如圖4所示。

本文采用的卷積神經網絡共16層：

（1）第1層為卷積核大小為5×5的卷積層，卷積核個數為32；

（2）第2層為池化區域為2×2的池化層；

西洋哲學-講師為肥羅諾薩。使用華萊士(譯者注：William Wallace)的英譯本，講授自康德哲學至黑格爾哲學的展開，以及黑格爾的論理學。

（3）第3層為系數為0.3的dropout層；

（4）第4層為卷積核大小為5×5的卷積層，卷積核個數為64；

（5）第5層為池化區域為2×2的池化層；

（6）第6層為系數為0.3的dropout層；

（7）第7層為卷積核大小為5×5的卷積層，卷積核個數為128；

（8）第8層為池化區域為2×2的池化層；

（9）第9層為系數為0.5的dropout層；

（10）第10層為卷積核大小為5×5的卷積層，卷積核個數為256；

（11）第11層為池化區域為2×2的池化層；

（13）第13層為Flatten層，將多維數據一維化，用在卷積層到全連接層的過渡中；

（14）第14層為全連接層；

（15）第15層為系數為0.5的dropout層；

（16）第16層為全連接層。

圖4 LeNet網絡結構

通過卷積和池化，得到了模型的眾多特征，全連接層的每一個節點都與這些特征節點相連構成一個性能良好的檢測網絡。

LeNet模型中，每個卷積層和最大池化層的疊加通過卷積運算使原信號特征增強，并降低噪音，通過池化操作降低網絡訓練參數以及模型的過擬合參數。

為降低過擬合，加入dropout正則化，dropout會遍歷網絡的每一層，并設置消除神經網絡中節點的概率。本文提出的方法中，dropout概率為0.3和0.5。每個節點得以保留和消除的概率均為0.3或0.5，隨機消除一些節點后，得到一個節點更少、規模更小的網絡，可有效提高模型的泛化能力[11]。

本文提出的方法模型可以對路面像素塊中是否存在損壞區域進行判斷，如果有，則標記出損壞對應的區域。模型輸出的是一系列跟病害有關的點的坐標，將點存在一個數組中。創建一個與原圖同尺寸的黑色背景圖，將病害點標注在背景圖中，再將背景圖與原圖混合，即可在原圖中顯示出損壞部分的對應區域。

3 結果驗證

3.1 檢測線狀裂縫

當測試樣張中有明顯線狀裂縫時，本方法可完全檢測出測試圖像中的線狀裂縫。檢測線狀裂縫效果如圖5所示。

圖5 檢測線狀裂縫效果

3.2 檢測網狀裂縫

針對有明顯網狀裂縫病害的圖片，本方法能夠準確識別。檢測網狀裂縫效果如圖6所示。

圖6 檢測網狀裂縫效果

3.3 檢測網狀裂縫及沉降

針對不止有一種病害的測試圖片，如同時存在網狀裂縫與沉降斑點時，本方法可以準確識別。檢測網狀裂縫及沉降效果如圖7所示。

圖7 檢測網狀裂縫及沉降效果

3.4 檢測網狀裂縫及坑洞

針對具有坑洞和網狀裂縫的路面，本方法可以完全檢測出測試圖像中的坑洞以及周圍出現的網狀裂縫。檢測網狀裂縫及坑洞效果如圖8所示。

圖8 檢測網狀裂縫及坑洞效果

3.5 檢測補丁及裂縫

當測試圖像中有路面補丁與裂縫時，本方法可以完全檢測出測試圖像中的補丁與裂縫。檢測補丁及裂縫效果如圖9所示。

圖9 檢測補丁及裂縫效果

本文提出的方法基于Python語言實現，為了方便測試，利用PyQt編寫了一個用戶友好的檢測界面，如圖10所示。

圖10 檢測界面

將本文提出的人工智能檢測方法與現有的幾種路面檢測技術進行比較，發現傳統方式在評價路面破損狀況時，技術人員常用人工方式對路面圖像進行評價，產生定量或者定性指標[12-14]。傳統方式得到的結果受主觀因素影響較大，且效率低下。

本文提出的方法與現有技術的對比見表1所列。

表1 技術對比

4 結 語

隨著人工智能技術的基礎理論及應用日益成熟，本文將人工智能技術方法應用到傳統的路面檢測中。通過預訓練模型的自動檢測，可以快速準確地識別路面病害。基于LeNet卷積神經網絡的路面病害自動檢測方法可以大大降低路面病害識別成本。同時該方法能夠方便道路路面養護管理部門及時了解路面狀態，并對其進行有效養護，提高路面的質量，確保道路的使用壽命和良好的使用性，減少交通事故的發生，為群眾出行安全提供有效保障。