基于深度學習的瀝青路面病害圖像智能識別方法研究*

李 巖 徐信芯,2 李世豪,2 葉 敏

(1.長安大學公路養護裝備國家工程實驗室 西安 710064； 2.河南省高遠公路養護技術有限公司 新鄉 453000)

在經濟的發展和公路里程的增加給人們的出行和生活提供便捷的同時，隨著公路交通量急劇增加、使用時間不斷增長、車輛重載等多種因素的影響，公路的破壞和修復已經成為城市交通的主要問題。瀝青路面病害的存在會縮短路面的使用壽命，影響路面的使用性能，需要及時對其進行修復作業。在當今公路里程數及公路交通量極大的情況下，應用傳統的人工檢測手段來判定瀝青路面病害破損情況執行起來費時費力，并且人工檢測方法較智能方法精度差、效率低，同時也會影響交通的正常運行[1-2]。

深度學習指的是學習輸入對象的表示層次和內在規律，其在許多行業已經得到了迅速的發展，也取得了許多優異的成果，且在圖像分類領域中使用的效果優異[3]。深度學習的最終目的是為了得到具有學習能力的機器，它能夠完成數據識別等任務。但是由于發展時間的限制，在一些具體的領域還沒有被廣泛地應用[4-5]。模糊神經網絡綜合評價引入了模糊邏輯推理規則，賦予計算機相關運算邏輯，避免人為干預，有評價結果客觀、步驟簡單、效率高等特點[6]。國內外不少學者對瀝青路面病害識別方向進行研究，但大多是單一的利用深度學習進行病害識別或單一的利用模糊神經網絡等進行評判，本研究擬將其結合起來，對輸入圖像進行處理，利用Alexnet網絡識別出病害類型，再利用模糊神經網絡進一步評判。

1 瀝青路面病害數據集構建

該方法根據不同瀝青路面病害圖像創建了一個含有3類瀝青路面病害的樣本數據集，包括裂縫、水損壞、車轍，共300張圖像，每一類瀝青路面病害共搜集到100張照片，基本涵蓋了目前瀝青路面的主要病害。為了確保識別精度，每個圖像中僅包含單一瀝青路面病害，并且其中瀝青路面病害特征未堆疊或損壞，圖像示例見圖1。

圖1 瀝青路面病害數據集中的圖像示例

對收集的病害圖片進行整理，歸納出瀝青路面病害類型見圖2，該病害類型構成評價指標，主要評價指標包括裂縫、車轍和水損害3大類，共計11個小類。例如對于裂縫來說，可細分為橫向裂縫、縱向裂縫、網狀裂縫及不規則裂縫。

圖2 瀝青路面病害評價指標

為實現瀝青路面病害的自動化和智能化識別，建立了圖像處理和病害智能識別2個子評估系統，其流程圖見圖3、圖4。

圖3 圖像處理子系統流程圖

圖4 病害智能識別子系統流程圖

對于圖像處理子系統，首先選擇所處理對象合適的網絡模型，根據現有瀝青路面病害圖像構建病害數據集，再對瀝青路面病害圖像的特征進行提取，通過標簽化處理、歸一化處理、數據集擴充后建立瀝青路面病害圖像典型特征數據集。瀝青路面病害圖像經圖像處理子系統后進入病害智能識別子系統，該系統對輸入的圖像進行預處理使其達到該子系統可識別的狀態，隨即與上述所建立的典型數據集中的圖像進行對比，找到與該輸入圖像特征一致的數據集圖像，最后輸出該瀝青路面病害圖像的類型及其危險度等級。

2 瀝青路面病害圖像處理子系統

2.1 圖像識別網絡模型的選用

至今為止，眾多圖像識別相關研究都應用了深度學習方法，在深度學習中可用于目標識別任務的網絡種類龐雜，且性能不一，針對該瀝青路面病害圖譜智能識別方法的研究，所需深度學習網絡性能應滿足下述要求。

1) 該系統用以識別瀝青路面病害圖像所需識別目標面積大，因此相對應識別網絡應可處理中、大型目標。

2) 考慮到實際應用價值，學習網絡不僅需要較高的模型識別率，而且需要較短的模型訓練時間。

3) 本研究所創建的瀝青路面病害圖像數據集與ImageNet等大型數據集相比小得多，這就要求所選網絡模型應當具備優秀的的特征學習能力和良好的的抗過擬合性能。

4) 由于實驗電腦的CPU與GPU的限制，且需要不斷調試網絡參數，故在維持模型識別率的前提下，應盡可能地要求網絡結構簡單，層數較少，保持較快的識別速度。

結合上述要求，與主流的幾大圖像分類方法比較，其中AlexNet和Vgg16等網絡在訓練速度和精度方面性能較優。因實驗設備條件原因，最終選擇AlexNet網絡作為本研究的網絡模型。

2.2 圖像樣本數據集建立

根據樣本數據集的建立過程繪制其流程圖見圖5。

圖5 數據集建立流程圖

根據樣本數據集標定的過程繪制其流程圖見圖6。

圖6 數據集標定流程圖

采用監督式的深度學習算法，所輸入訓練數據即瀝青路面病害圖像數據集中的樣本圖像需進行標簽化處理。標簽的實際意義在于將照片中有用的，需要被學習的信息框選出來，剔除掉無用的干擾信息，使用MATLAB內置軟件Image Labeler對瀝青路面病害圖像進行標定[7]。將標定后含有標簽信息的mat文件統一保存在對應文件夾，隨后使用MATLAB循環程序可以批量將所保存文件導出為jpg標簽圖片，保存訓練樣本圖片用于瀝青路面病害識別網絡的訓練。

因識別的目標為瀝青路面病害圖像，理論上打標簽的對象為瀝青路面病害上特殊的樣貌特征，但是在實際的應用中需要識別的是含病害瀝青路面的整體目標區域，因此若只應用特殊樣貌特征則會出現不識別整體目標區域的情況，若只應用整體目標區域的圖像，由于瀝青路面病害特殊樣貌特征不夠明確會使得識別效果較差。為確保識別精度及較優的識別效果，創建了3類數據集即特殊樣貌特征數據集，整體目標區域數據集和特殊樣貌特征與整體目標區域數據集，通過比較3類數據集的訓練結果，確定最優數據集方案。

使用Image Labeler對數據集中的圖像進行剪裁，提取其中有用信息，此時，經其處理后的圖像規格不完全統一，需對數據集中的的圖像進行歸一化處理，確保其尺寸統一。使用imread函數將照片循環讀取后，再使用imresize調整圖像的尺寸為227×227。

2.3 圖像數據集擴充

根據樣本數據集擴充的過程繪制其流程圖見圖7。

圖7 數據集擴充流程圖

為獲得更好的訓練效果，提高識別精度，應擴大數據集的規模，使網絡模型能學習到更多特征。若數據集的規模過小，會使得訓練結果不夠理想，產生欠擬合等問題。但是通過人工采集的方式來獲得大量的樣本圖像會耗費大量的時間和精力，因此對已有數據進行增強處理可以高效地擴充數據集。該子系統采取圖像旋轉、圖像鏡像，以及添加噪聲進行數據增強處理。

1) 圖像旋轉。輸入imrotate指令能夠使圖像以其中心點為旋轉點進行旋轉，將原圖像旋轉90°得到新圖像，采用雙三次插值的默認算法，使用剪切指令對旋轉后圖像剪裁，使得輸入輸出圖像尺寸一致。

2) 圖像鏡像。圖像鏡像處理包括水平鏡像與豎直鏡像2種變換，將圖像分別以其豎直中軸線為軸的左右兩部分調換位置，和以其水平中軸線為軸的上下兩部分調換位置。

3) 圖像添加噪聲。為了增大數據樣本量并且增強模型的抗噪能力，給輸入的樣本圖像分別添加高斯噪聲與椒鹽噪聲，將輸入樣本圖像添加噪聲系數為0.1的高斯噪聲和椒鹽噪聲，高斯噪聲在理論研究中十分常用，給人視覺感受最清晰的是椒鹽噪聲。對輸入的圖像添加噪聲，使模型能學習帶有噪聲干擾的新特征，從而提高網絡的抗噪能力，因此增加噪聲到輸入的數據樣本中是必要的。通過向一部分輸入圖像樣本中添加噪聲密度為0.1的高斯噪聲和椒鹽噪聲，使得所有的數據集中有部分圖像有噪聲干擾，既能夠達到擴充樣本數據量的目的，又能夠模擬現實使用中的噪聲干擾，提高網絡在噪聲下的識別能力。

經過上述數據預處理之后，生成了涵蓋三大類瀝青路面病害的1 500幅圖像，每類瀝青路面病害有500張圖像。在訓練開始前，將樣本數據集進行劃分為訓練集和測試集兩部分，因樣本數據集所含樣本相對較少，為達到較優的訓練效果，應適當擴大訓練集比例并減小測試集比例，規定每類瀝青路面病害的樣本圖像中4/5為訓練集，1/5為測試集。通過訓練集進行網絡模型的訓練，通過測試集來檢測模型的識別精度，以及對網絡模型進行自我評估。

3 瀝青路面病害智能識別子系統

3.1 網絡模型訓練

網絡模型訓練流程圖見圖8。

圖8 網絡訓練流程圖

因使用遷移學習訓練得到的網絡模型具有識別精度高、訓練效果好等特點，本文采取該方法并選用ImageNet數據集上進行過預訓練的AlexNet網絡模型，將先前自建的樣本數據集輸入網絡結構的后3層中，經預訓練后的新模型，其收斂速度得到了提升。在數據集訓練結束后，通過對AlexNet網絡模型參數進行調整，使選擇的網絡模型與創立的數據集達到最優匹配狀態，提高訓練精度，縮短訓練時長，得到了網絡性能和實用性能最佳的模型，其具體數據如下。

學習率：0.000 1；測驗頻率：10；權重：5；偏差：5；Minibatchsize：10；MaxEpochs：6；準確率：89.97%。

3.2 建立因素集

因素集是指以各致災因子為元素所組成的集合，致災因子是指與瀝青路面病害出現及發育相關聯的因素，即

U={U1，U2，…，Ui}

Ui={Ui1,Ui2,Ui3,…,Uin}

(1)

式中：Ui為因素集U中某類致災因子；Uij為致災因子Ui中的分因子。

3.3 確定致災因子權重

通過賦予不同致災因子權重ai來表征致災因子對瀝青路面病害的影響程度，不同的權重ai構成權向量A。結合層次分析法，比較評價體系中同層因子，得到判斷矩陣N。計算出上述矩陣的最大特征值λmax，再結合平均隨機一致性指標RI，根據式(2)計算其隨機一致性比率CR，由此對判斷矩陣N做一致性檢驗，當隨機一致性比率CR<0.10表示一致性檢驗通過，否則需重新確定判斷矩陣N。

(2)

(3)

利用AHP處理評價體系各層，計算出各層權向量Ai，獲得致災因子最終權向量A。

對瀝青路面病害評價時將可能得出的評價結果組成評價集V，即

V=(V1,V2,V3)

(4)

評價集中元素分別代表重度、中度、輕度。

以致災因子Ui單獨對瀝青路面病害進行評價，確定其對評價集V中各元素的權重Ri=(ri1,ri2,ri3)，得到單因素評價向量，所有單因素評價向量按行組成評判矩陣P。

4 模糊綜合評價

結合上述評判矩陣P和權向量A，得模糊綜合評價式如式(5)所示。

B=A·P=(bij)

(5)

令bij=∨(aik∧rkj)，aik、rkj分別為權向量A和評判矩陣P中的元素，A·P的計算方式類似于矩陣乘法，將其中原本對應行、列向量乘法運算換為取最小值(∧)，將其中原本在乘法運算后的加法運算換為取最大值(∨)，再對得到的B進行歸一化處理。

將進行歸一化處理后的B帶入式(6)

M=B·Z

(6)

其中，列向量Z是根據危險度等級所劃分數量確定的，Z=(1.0,0.666 7,0.333 3)T，將計算得到的值M與所確立的危險度指數進行比對，最終確定所評判瀝青路面病害的危險度等級，危險度等級劃分見表1。

表1 危險度等級劃分

在神經網絡訓練過程中，通過反復調試與比較分析，才能獲得兼顧識別效率和識別精度的網格模型。每一個在隱含層和輸出層中的神經元都有獨自的權重值及傳遞函數?？偟膩碚f，神經網絡的體系結構和其參數的設置決定了它處理信息的能力。在獲取最優神經網絡的過程中最關鍵的問題在于確保隱含層處于最優化狀態[8]。其各輸入值權重與人工神經網絡的算法由各層使用函數類型決定。在Back Propagation(BP)神經網絡結構中，以輸入輸出為基礎，將訓練所用實例輸至網絡，得到其輸出，分析輸出值與其相對應的實測值，記錄其偏差，再借助反向傳播，基于網絡輸出調整輸入的權重，通過這種方法能夠減少神經網絡的錯誤[9]。訓練過程在實際值與其對應的網絡收斂完成后結束，通過均方差(MSE)尋找最優神經網絡，誤差越小代表其性能越好。神經網絡的訓練過程見圖9。

圖9 神經網絡的訓練過程

由圖9可知，訓練應在神經網絡達到其效果最優點(13個周期)時結束，在該神經網絡中，用于驗證的數據集相關系數為0.976 69，用于測試的數據集相關系數為0.990 06。

4 路面病害危險度評價分析案例

以滇藏公路青海段為例，采用模糊神經網絡綜合評價法分析該段樁號K170處路基橫向裂縫的危險度。該段路面由于排水設施不足而導致積水進入路面結構，致使半剛性基層水毀，形成了間隔5～6 m分布的路面開裂病害，見圖10。

圖10 樁號K170處橫縫

從相關研究[10-12]中總結出誘發該處橫向裂縫裂縫的相關致災因子，通過劃分得到外部環境因素、凍土因素和設計因素3大類致災因子，同時對每一大類致災因子進行細分，例如外部環境因素又可具體細分為地表溫度、行車載荷、日照強度、降水量。經過上述步驟得到11個致災因子，具體見圖11。

圖11 致災因子類型圖

根據對滇藏公路K170路段現場實際環境以及鋪筑時相關路基參數的研判，結合神經網絡的訓練得出所述3大類致災因子的權重a1、a2、a3，有：(a1,a2,a3)=(0.5,0.2,0.3)。通過AHP建立外部環境因素下4類致災因子(地表溫度、交通流量、日照強度、降水量)的判斷矩陣N1。

(7)

計算得最大特征值λmax=4.013 0，在4階矩陣中，RI=0.9 ，根據式(2)有

RI=0.011<0.10

(8)

故一致性檢驗通過，計算得到行向量的幾何平均數Wi；W1=0.451 8,W2=1.189 2,W3=0.804 9,W4=2.213 4，再根據式(3)經歸一化處理后求出在該因素下各致災因子權向量：A1=(0.096 2,0.253 3,0.179 1,0.471 4)；按照上述步驟,依次可求得在設計因素以及凍土因素下致災因子的權向量A2和A3，并結合3大類致災因子的權重得到該評價體系權向量A。

(9)

根據現場環境條件及其致災因子類型，確定11小類致災因子對評價集元素的權重，11個單因素評價橫向量構成評判矩陣P如下。

(10)

將評判矩陣P和權向量A帶入式(5)并做歸一化處理，得：B=(0.412 5,0.412 5,0.175 0)，帶入式(6)，得：M=0.745 8。由表1危險度等級與指數的對應關系可知，該路段橫向裂縫的危險度為重度。根據現場的實際勘察結果可知，該路段橫向裂縫寬度、深度大，貫穿長度長，裂縫分布集中，有劣化跡象，對路基造成了惡劣影響，同時也危及行車安全，故所得評價結果為重度，符合該段橫向裂縫實際狀況。

5 結語

本文針對具有工程實際應用意義和研究價值的瀝青路面病害智能識別系統這一方向展開研究與探討，介紹了該系統的建立全過程。通過數據庫建立、標簽處理，以及圖像預處理和深度學習網絡的構建等步驟，使得網絡建立邏輯明晰。在圖像處理的基礎上引入模糊邏輯推理與神經網絡相關知識，評價所識別出的瀝青路面病害危險度等級，借助模糊神經網絡來完成對瀝青路面病害危險度等級評價的邏輯推理，較傳統評價方法有評價結果精確、評價過程客觀、評價速度快等優點。以滇藏公路K170路段的橫向裂縫病害為例進行評價，得出該路段橫向裂縫等級為重度，與專家現場評判結果一致，表明此方法能夠準確、高效、客觀地識別瀝青路面病害類型并分析其危險度等級。