基于語義分割模型的路面類型識別技術研究

王志紅，王少博，顏莉蓉，袁 雨

(武漢理工大學 汽車工程學院，湖北 武漢 430070)

0 引言

根據統計數據顯示，自2007年以來中國16.12%的交通事故都與低附著率的道路狀況有關[1]。通過對事故特點的分析，可以得出在水、雪、冰、凍結路面條件下，交通事故率增加，路面條件對公路交通安全和運輸效率影響較大。試驗表明，駕駛員及時了解當前行駛的路面狀況，能夠有效地降低交通事故的發生，因此關于路面狀況識別技術的研究已經很迫切[2]。

在汽車制動性能的研究中，常將路面狀況分表1所示的8種情況，這幾種情況基本已經涵蓋了所有汽車可能行駛的路面狀態，冰雪路面附著系數明顯低于普通路面附著系數，也是交通事故頻發的重要原因。

表1 路面狀況分類及附著系數[3]Tab.1 Road condition classification and adhesion coefficient[3]

目前路面識別技術主要包括：(1)通過光學傳感器測量路面粗糙度和干濕狀態預測路面附著系數[4]。(2)通過輪胎中安裝壓電傳感器測量局部應變應力識別路面[5]。(3)通過附著系數隨滑移率的變化識別路面[6]。(4)通過麥克風獲取車輛和輪胎噪聲，進行路面狀態識別[7]。(5)基于機器視覺的方法識別路面。但是方法1由于光學傳感器受工作環境和外部因素影響較大，所以近些年研究較少；方法2因傳感器安裝在車輪中，所以需要無線傳輸和能量自給，導致價格較高，不夠穩定；方法3對外界的抗干擾性比較差，并且對滑移率的估計精度要求較高；方法4因行車中噪音較多并且噪音產生機理比較復雜，因此難以準確預測[8]；方法5因硬件成本低、識別效果好，成為了當今研究的熱點。

目前有以下幾種效果較好的路面識別技術，提出了一種通過車載攝像頭，使用多分類器的路面狀態識別系統。該系統首先通過攝像頭獲取路面信息，通過預處理模塊獲得感興趣區域，然后通過預訓練的多分類器進行路面識別獲取分類結果，試驗結果表明干濕路面的分類精度為86%。文獻[9]提出一種基于BP神經網絡的路面狀態識別方法，BP網絡的輸入參數通過多傳感器獲得，試驗表明在特定車輛模型和速度恒定的情況下，路面附著系數預測誤差為0.05左右，但是神經網絡參數需要針對特定車輛模型，因此難以普及使用。文獻[10]提出一種基于SVM(支持向量機)對攝像頭獲取的路面圖片進行分類的算法，試驗結果表明分類精度可達90%。文獻[11]提出一種使用加速度傳感器和相機特征數據融合對路面類型進行分類的方法，試驗結果表明分類精度可達90%。文獻[12]提出了一種深度學習模型，通過處理攝像頭獲取的路面信息進行路面附著系數的識別，算法分為兩步，第1步進行路面種類的識別，第2步進行路面附著系數高低的評估。試驗結果表明第1步精度可達97%，第2步精度可達89%。以上效果較好的識別算法中大部分是基于機器視覺的，也說明了機器視覺是當今路面識別算法的主流。雖然以上方法取得了一定的成果，但是識別算法的魯棒性和識別精度仍然有較大的提升空間。

本研究基于深度學習語義分割模型[13-14]提出了一種新的識別算法。首先通過Label(一種數據集標注工具)對收集的路面數據集進行像素點和類別的標注，使用深度學習語義分割模型對制作好的數據集進行800 epoch(批次)的訓練，保存訓練權重。根據訓練權重預測通過攝像頭采集到的路面圖片，結果會得到圖片中每一個像素點的分類標簽，除去背景標簽，將數目最多的類型標簽作為最終道路類型的預測結果。

1 制作數據集和搭建網絡模型

1.1 制作數據集

根據中國常見道路類型，從百度、360、搜狗搜索引擎中下載大量路面圖片，這樣可以保證數據集樣本的多樣性。將篩選出的路面圖片分為以下9類：瀝青(干)、瀝青(濕)、混凝土(干)、混凝土(濕)、土路(干)、土路(濕)、礫石、雪地(壓實)和冰面。共挑選出2 700張路面圖片，每1類別包含300張。訓練、驗證和測試的圖片數量如表2所示。

表2 數據集結構及數目Tab.2 Data set structure and numbers

使用Ubuntu系統的Labelme[15]工具對收集的數據集進行標注，不同類別的道路使用不同的標簽。標注完成后，每張圖片會得到一個Json類型的文件。通過Python編程實現Json文件批量轉化為圖片格式，轉化時每種類別的標簽采用不同的顏色。表3是從每一類道路數據集中選取的樣本。數據集的結構分為test，test_labe，train，train_label，val，val_label和class_dict, 前6個文件夾分別存放測試、訓練和驗證數據集的圖片和標簽，class_dict用來說明每一個標簽對應的RGB值。

表3 數據集樣本Tab.3 Data set samples

1.2 搭建FC-DensenNet56模型

本研究使用的語義分割網絡模型是FC-DensenNet56[16-17]。此網絡模型結構如圖1所示，主要包括5個下采樣模塊TD和5個上采樣模塊TU。實線代表模塊之間的連接，箭頭代表數據的流向，中間的虛線代表跳變連接，它將下采樣路徑中的特征圖直接與上采樣路徑中對應的特征圖連接起來。

圖1 FC-DensenNet56網絡結構Fig.1 Fc-DensenNet56 network structure

模型中包含10個DB模塊[18]，每個DB模塊主要包括4個卷積層。第1層產生k個特征圖，這k個特征圖直接與輸出相連，同時傳入第2層。第2層也產生k個特征圖，同時輸入到第3層。這樣的操作進行4 次，最終會輸出4×k個特征圖。DB網絡模型用于語義分割主要有以下3個優點：(1)緩解了特征圖數量的激增。(2)DB 模塊采用的上采樣結構比普通的上采樣效果要好。(3)該模型無需預訓練模型和后處理。

模型中包含5個TU模塊 ，TU模塊為上采樣模塊。它由1層反卷積層組成，采用3×3的卷積核對DB模塊輸出的特征圖進行反卷積操作，步長為2。卷積核的最優參數可以通過學習得到，因此上采樣效果優于插值方法的上采樣操作效果。

數據集中的圖片來源于互聯網，因此圖片尺寸不同。為了減少網絡參數和資源的占用，在圖片輸入到網絡之前，將圖片尺寸統一裁剪成128×96。

2 訓練模型和預測圖片

2.1 訓練語義分割模型

使用前面制作的路面分類數據集，對FC-DensenNet56語義分割網絡模型進行訓練，訓練時的基本參數設置如表4所示。其中深度學習模型的梯度下降學習率值一般根據經驗值獲取，即一般不存在普遍性規律，本研究參數采用經驗值0.000 1。

表4 模型基本參數設置Tab.4 Setting basic parameters of model

經過大約7 h的訓練，完成800 epoch。訓練過程中平均Loss隨epoch的變化如圖2所示，平均驗證精度隨epoch的變化如圖3所示，平均Iou值隨epoch的變化如圖4所示。

圖2 平均損失函數圖Fig.2 Graph of average loss function

圖3 訓練驗證精度圖Fig.3 Graph of training verification accuracy

圖4 平均占空比精度圖Fig.4 Graph of average IOU accuracy

由圖2可知經過800 epoch的訓練，損失值已經明顯下降到比較低的水平，到訓練結束平均損失值大約為0.6左右，并且逐漸收斂。由圖3可知，單個像素點的平均驗證精度已達95%左右。由圖4可知平均Iou值也隨著訓練的進行逐漸上升，最終平均Iou值為0.9左右。

2.2 預測圖片

使用訓練好的權重和搭建的模型對200張圖片進行預測，訓練和預測使用的平臺硬件配置如表5所示，針對像素點的預測正確率如表6所示，預測效果指標如表7所示。由表6可知，9種路面所對應像素點的正確率平均為98%，背景所對應像素點的正確率為93.9%。單張圖片中的背景像素點占總像素點的比例較大，背景像素點的預測精度較低。同時可以發現結構化路面的識別精度較高，例如瀝青、混泥土路面；非結構化路面識別精度較低，例如冰面、雪地和礫石路面。由表7可知，所有像素點的平均精度為94%左右；每張圖片的平均預測時間為0.028 6 s，視頻輸出達到25幀以上時可滿足實時性要求，處理時間理論上滿足實時預測的要求。

表5 試驗平臺硬件配置參數Tab.5 Hardware configuration parameters of experimental platform

表6 圖片像素點的識別結果Tab.6 Image pixel recognition result

表7 預測效果指標Tab.7 Prediction effect indicators

3 理論分析預測結果

語義分割模型是對圖片中的每一個像素點進行預測，輸入模型中的每一張圖片的每一個像素點都會得到一個預測標簽值，每一種標簽對應一種道路類別。輸入模型中的圖片統一裁剪成128×96，每張圖片共計122 88個標簽值。語義分割模型無法直接得到整張圖片的道路類型識別結果。統計圖片中每一個像素點的預測標簽數目，將數目最多的預測標簽作為整張圖片的道路類型預測結果，預測整體流程如圖5所示。

圖5 道路類型預測流程圖Fig.5 Flowchart of pavement type prediction

統計每張圖片含有道路類型的數目，統計結果如下：含有一種路面類型的圖片數目占總數據集圖片數目的比例如式(1)所示，含有多種路面類型的圖片數目占總數據集圖片數目的比例如式(2)所示。

統計每張圖片含有道路類型的數目。統計結果如下：含有一種路面類型的圖片數目占總數據集圖片數目的比例如式(1)所示，含有多種路面類型的圖片數目占總數據集圖片數目的比例如式(2)所示。

Proad=1=95.132%，

(1)

Proad=n=4.868%。

(2)

根據圖片中包含以上9種道路類型的數目，對整張圖片的道路類型預測精度進行以下理論推導，理論推導過程分為以下2種情況：

(1)圖片中只包含一種路面，圖片中只包含1種路面的概率見式(3)。

Proad=1=95.132%。

(3)

此路面為當前行駛路面。圖片中含有背景和真實路面2類標簽，只有當兩者的誤判像素點數目大于真實路面的像素點數目時才會出現誤判。假設兩者都以最大概率出現誤判，并且誤判為同一種錯誤道路類型。以上假設為只有1種路面情況時出現誤判的最大概率。

假設真實路面所占比例為A，背景所占比例為B，總像素點的個數為Z。通過以上圖片驗證結果可知，平均預測精度為94%，誤判率為6%。當滿足式(4)時會出現誤判，根據式(4)和式(5)解得式(6)。

Z×(A+B)×6%>A×(1-6%)，

(4)

A+B=1，

(5)

A<6.38%。

(6)

通過對數據集的統計分析，滿足式(6)時的概率為式(7)。

P(A<6.38%)=0.27%

(7)

圖片中只包含一種路面情況的誤判概率為式(8)。

P1=Proad=1×P(A<6.38%)=0.257%。

(8)

(2)圖片中含有兩種及以上路面，圖片中含有兩種及以上路面的概率見式(9)，由于此情況比較復雜不易計算出誤判概率。因此采用最大誤判概率P(all)=1時進行計算，如式(10)所示。

Proad=n=4.868%，

(9)

P2=Proad=n×P(all)=4.868%。

(10)

兩種情況誤判概率為Pfalse如式(11)所示，預測正確的概率Pright如式(12)所示。

Pfalse=P1+P2=0.257%+4.868%=5.125%，

(11)

Pright=1-Pfalse=94.875%。

(12)

4 算法驗證及結果對比

為了驗證以上理論推導，更全面地分析模型的實際效果，采集實際路面圖片對Acc(accuracy)、PR(precision)和RE(recall)進行分析[15]。Acc指的是所有預測正確圖片的數量占總預測圖片的比例，它是模型效果對比最常用的指標；PR指的是預測標簽為某一類別中預測正確的比例；RE指的是真實標簽為某一類圖片中預測正確的比例。算法驗證結果如表8所示。

表8 算法驗證結果Tab.8 Algorithm verification result

將算法驗證測得的路面識別結果和當前主流的路面識別效果做以下對比，如表9所示，對比結果表明，本研究識別的道路種類比原來識別系統的識別種類要多，精度要高，在一定程度上說明了本方法具有較好的魯棒性和較高的精度，對未來道路類型識別研究具有一定的幫助。

表9 識別效果對比Tab.9 Comparison of recognition effects

5 結論

本研究提出基于語義分割模型識別路面類型的新方法，并通過試驗驗證得出結論如下：

(1)通過試驗驗證本研究提出的方法具有較好的識別效果，平均精度可達94%左右。

(2)試驗結果表明本方法具有一定的魯棒性，對于復雜環境下的路面都能有較好的識別效果。

(3)試驗結果表明采用本研究提出的方法每張圖片的平均測試時間為0.028 6 s，滿足實時性的要求。

該方法具有較好的應用前景，能夠較容易的嵌入到車輛系統中。將道路類型的預測結果應用到ADAS中可以有效提高行車安全性。在未來的工作中，將會對語義分割模型進行優化，直接輸出路面識別類型，減少模型計算參數。同時提高數據集質量，將路面類型所對應的附著系數區間進一步細化，達到路面附著系數更加精確的估計。