面向路面附著估計的路面圖像識別

摘要：為提升智能輔助駕駛系統(tǒng)對路面附著系數估計的準確性與實時性，研究了一種基于視覺信息的路面識別深度學習算法，實現路面附著系數的預估計。設計壓縮卷積機制以降低網絡運算參數，采用特征圖全局平均替換全連接層以提升網絡的擬合性能，并構建路面識別深度卷積神經網絡DW-VGG。利用自建路面圖像數據集對網絡進行訓練，測試結果表明，基于提出的多層知識蒸餾技術的DW-VGG網絡識別精度較高，分類性能評估指標F1得分為96.57%，并有效降低了網絡的運算和內存成本，識別單張圖像只需32.06 ms，預測模型只有5.63 M。

關鍵詞：深度學習；知識蒸餾；路面識別；VGG

中圖分類號：TP391.4" " " " " 文獻標志碼：A" " " 文章編號：1000-582X（2023）07-097-10

Road image recognition for road adhesion estimation

HUANG Kaiqi， HUANG Maoyun， LIU Xiaorong

（School of Electrical Engineering and Automation， Jiangxi University of Science and Technology， Ganzhou， Jiangxi 341000， P. R. China）

Abstract： To enhance the accuracy and real-time performance of the intelligent assisted driving system in estimating the road adhesion coefficient， a deep learning algorithm based on visual information was developed for road recognition. The algorithm aims to achieve a pre-estimation of the road adhesion coefficient. A compression convolution mechanism was designed to reduce the network’s operation parameters. Additionally， the fully connection layer was replaced by the global average of the feature map to enhance the network’s fitting performance. Furthermore， a pavement recognition depth convolutional neural network called DW-VGG was constructed. The network was trained using a self-built pavement image dataset. The test results demonstrate that the DW-VGG network， utilizing the proposed multi-layer knowledge distillation algorithm， achieves a high recognition accuracy， with a classification performance evaluation index （F1 score） of 96.57%. Moreover， it effectively reduces the network’s time and space costs， as it only takes 32.06 ms to identify a single image， and the prediction model size is merely 5.63 M.

Keywords： deep learning; knowledge distillation; road type identification; VGG

近年來，汽車智能輔助駕駛技術正在蓬勃發(fā)展，借助主動全控制技術，先進智能輔助駕駛系統(tǒng)（advanced intelligent driving assistance system，ADAS）不僅提高了駕駛員乘坐的舒適性，還大大提升了行車的安全性能。輪胎力調節(jié)是目前最直接和有效的車輛主動安全控制技術，受天氣的影響，輪胎力受路面附著條件的影響較大，準確并實時獲取路面附著系數是進行車輛穩(wěn)定性控制系統(tǒng)設計的關鍵環(huán)節(jié)[1?2]，也是車輛動力學領域研究的焦點。

根據測量手段與原理，路面附著估計方法有Experiment-based和Model-based[3]兩大類方法。第一類方法是利用特殊傳感器的測量信息直接分析接觸面的物理特性來獲取路面附著狀態(tài)，可通過車載傳感器收集輪胎噪聲、車身狀態(tài)參數[4?5]等信息進行聚類實現附著系數的估計，此類方法的估計結果依賴于傳感器的精度及算法的性能，由于高性能的加速度計與激光雷達等傳感器價格昂貴，難以廣泛工程應用。第二類方法是通過研究輪胎與路面間的摩擦力引起的車輛及輪胎動力學和運動狀態(tài)的變化，反推出路面附著系數的估計值[6?8]。相比第一類算法，此類算法精度更高也具有較強的普適性，但估計的準確性依賴于輪胎力精度，由于本質是一種后驗估計方法，難以滿足極限工況下車輛動力學主動控制的實時性要求。

目前，車載視覺系統(tǒng)廣泛用于車輛高級輔助駕駛系統(tǒng)進行環(huán)境感知，如車道保持、自動剎車輔助、目標檢測等[9?10]。并且有學者開始研究利用視覺信息進行車輛狀態(tài)觀測，Wang等[11]研究了一種基于視覺圖像的車身側偏角估計方法，由于沒有引入車輛模型的不確定參數，提高了估計精度，而且也增加了狀態(tài)參數估計的自由度。基于上述思想，為滿足車輛動力學控制對路面附著狀態(tài)獲取的實時性和準確性要求，文中提出了一種基于車載前攝像頭圖像的路面分類識別方法，構建深度學習算法的DW-VGG網絡，在分類結果的基礎上，利用路面類型和附著信息的映射關系，實現不受車輛模型精度和參數誤差影響的路面峰值附著系數準確預估計。不同路面峰值附著系數表如表1所示。

借助路面附著的先驗估計信息，車輛主動安全控制系統(tǒng)能預調整系統(tǒng)閾值，并對駕駛員的操縱進行提醒，在不增加硬件成本的基礎上能有效改善車輛行駛的安全性、平順性和舒適性。

1 路面圖像識別算法設計

車輛主動安全控制技術依賴于準確實時的路面附著信息，因此需要輕量化的路面圖像分類模型。為減少卷積神經網絡的參數量和運算量，文中對卷積層和全連接層進行優(yōu)化，設計輕量化卷積網絡DW-VGG。提出了基于學生網絡自學習與教師網絡知識蒸餾的多層級知識蒸餾算法以提升輕量化網絡分類性能。

1.1 輕量化全連接層

表2為VGG13網絡參數。從表2中可知，全連接層占用了網絡93%的參數量，因此對全連接層參數進行優(yōu)化是非常有必要的。全連接層將卷積層提取的特征圖展開，并映射成高維度語義信息，每個輸入特征向量都給定一個權重參數w，以及偏置參數b

。

參數眾多的全連接層在一定程度上能夠增加模型復雜度進而增強分類網絡的表達能力，但模型引入過多的參數容易使分類網絡過擬合，降低模型的分類精度。由于權重參數過多，使得全連接層內存成本高，并且全連接層直接將特征圖展開，這使得卷積層獲取的空間信息完全丟失。為解決上述問題，使全連接層更加輕量化，文中引入一種全局平均思想，將卷積操作輸出的特征圖在每個通道上求均值

。

對輸出特征圖進行全局平均操作能夠融合圖像空間信息，建立特征圖與類別之間的聯系。全局平均只是對特征圖通道求均值，沒有學習參數，這也是在網絡結構上進行正則化操作進而能夠有效防止過擬合現象，提升網絡的分類精度。輸出特征圖完成全局均值操作后，將輸出特征映射到K維特征向量，并連接Softmax分類層，以對路面圖像進行分類，Softmax分類器將輸入矢量從K維空間映射到類別，結果以概率的形式給出，定義為

，

式中，=為權值，是類別所對應的路面分類器參數。

1.2 輕量化卷積模塊

與全連接層相比，卷積層占用的參數量較少，但卷積運算步驟多，這極大地增加了運算成本。實時性在車輛控制領域是至關重要的，只有提升算法的快速性能，主動安全控制技術才能得到保證。為實現卷積操作的輕量化，根據VGG網絡架構設計了一種卷積壓縮機制。卷積壓縮模塊如圖1所示。

對于輸入特征圖與卷積后輸出特征圖，使用大小的卷積核對輸入特征圖進行通道擴張，擴張后的通道數為，為擴充系數，文中取值為1.5。

輸入特征圖完成擴充后，使用2組深度卷積對圖像進行特征提取（見圖2）。標準卷積在進行卷積操作時將同時對圖像空間和通道層進行特征提取，這將增加更多的內存和運算成本。深度卷積只對圖像通道層進行特征提取，因此能夠降低卷積操作運算量，提升網絡運行速度。設輸入的特征圖尺寸大小為224×224，通道數為128，輸出通道數為128。在經過卷積操作后，標準卷積參數量為147 584，FLOPs為7.40 G，深度卷積參數量為1 280，FLOPs為0.06 G。但是深度卷積也損失了網絡模型的分類精度，為保證分類模型精度，因此在深度卷積操作前進行通道擴充操作。最后，對深度卷積特征圖使用大小卷積核進行降維輸出，通道數量為。

1.3 路面識別卷積神經網絡設計

VGG-Net[12]是在2015年由Oxford的視覺幾何組提出的，其根據網絡層數的不同分為VGG-13、VGG-16、VGG-19 三種網絡。VGG-Net沒有直接使用大卷積核（11×11，7×7，5×5），而是使用連續(xù)堆疊的3×3小卷積核達到大卷積核相同的感受野的目的，該網絡在結構上采用5組3×3卷積塊與最大池化交替連接的方式，并使用3層全連接層進行特征輸出，最后連接softmax層進行分類。VGG-Net雖然能夠提取到較深層次的圖像特征信息，但由于其使用了較多的參數，加大了的計算資源的消耗，難以滿足路面分類識別的實時性要求。為此，本文在VGG-13網絡結構的基礎上進行改進，網絡卷積層使用上述壓縮模塊，并將全連接層替換為特征圖全局平均操作，設計了一種輕量級的VGG網絡模型，命名為DW-VGG，網絡結構如圖3所示。

1.4 多層級知識蒸餾

輕量化網絡需要的內存和運算成本都更小，但減少網絡參數的同時也降低了網絡提取圖像特征的能力。為提升輕量化網絡模型路面分類的性能，提出了一種多層級知識蒸餾算法，該算法包括學生網絡自學習和教師網絡監(jiān)督學習2個部分，圖4為多層級知識蒸餾框架。

在學生網絡自學習過程中，對原始交叉熵損失和軟化標簽交叉熵損失進行優(yōu)化，輸入的one-hot硬標簽使用均勻分布進行軟化，軟化標簽定義為

，

式中：為軟標簽；為one-hot硬標簽；為調節(jié)軟硬標簽的調節(jié)因子通常取0.1；為服從數值總和為的均勻分布。由于類別之間具有相關性，軟化標簽相比硬標簽具有更高的信息熵，使學生網絡提取到更多的特征數據，進而提升分類性能。

學生網絡自學習總損失為：

，

式中：為交叉熵損失；為超參數；用以調節(jié)硬標簽與軟化標簽的學習程度；為網絡分類層logits輸出。在硬標簽的交叉熵損失中，輸出只有正確標簽的損失值，卷積神經網絡也只會擬合正確標簽的信息，這將導致過擬合，并且類別標簽標記錯誤時，也會增加分類的錯誤率。軟化標簽的交叉熵損失對各個標簽類別的輸出都計算損失值，卷積神經網絡在學習正確類別的同時也能夠對其他類別進行特征提取，進而提升分類模型的泛化能力。但軟化標簽在訓練時模型收斂性能下降，因此使用硬標簽進行監(jiān)督訓練。

教師網絡參數量更多，圖像特征提取能力更強，可以通過教師網絡中間層的數據輸出監(jiān)督學生網絡進行特征提取。在卷積網絡中，網絡層次越深特征提取能力也越強，因此同一網絡的不同層輸出具有多樣性，為提升教師網絡與學生網絡知識蒸餾的性能，將教師網絡多層特征圖輸出與學生網絡特征圖輸出進行優(yōu)化。具體流程為取出網絡卷積塊中中間層卷積特征圖，將教師網絡與學生網絡相同層級特征圖設置到相同尺寸，使用L2損失函數求出教師與學生網絡特征圖輸出差值，使用優(yōu)化器進行最小優(yōu)化，讓學生網絡擬合教師網絡輸出

。

多層級知識蒸餾算法將融合學生網絡自學習和教師網絡知識轉移2個過程，并使用超參數進行調節(jié)，總損失為

。

2 實驗與分析

2.1 路面圖像數據集采集

路面圖像分類并沒有公開的數據集，為獲得各類型路面圖像數據，本文從KITTI、BDD100K、Oxford RobotCar[13?15]自動駕駛數據集中采集各類型路面清晰圖像，共采集五種路面圖像：干瀝青路面、濕瀝青路面、冰雪路面、泥濘濕滑路面、鵝卵石路面。由于上述數據集中的圖像大都在天氣條件較好條件下采集，而部分路面類型符合清晰度要求的數量較少，為平衡各類型路面圖像數量，提升分類效果，參考上述數據集的圖像采集方式，在光線充足條件下采集清晰的路面圖像對數據集進行補充，補充的數量為濕瀝青1 300張、冰雪路面1 915張、泥濘路面2 000張、鵝卵石路面1 917張。

最終生成的路面圖像數據集類型為5類，共10 000張，如圖5所示。其中每類路面圖像數量為2 000張，并在每種路面圖像中隨機選取1 600張為訓練集，400張為驗證集，400張為測試集。

2.2 實驗設置

路面分類實驗所用硬件配置為Intel Xeon Gold 6148@2.40GHz CPU，NVIDIA Tesla V100 32G顯存GPU，32G運行內存，使用百度公司開發(fā)的paddlepaddle1.8.0深度學習框架搭建神經網絡。本實驗對輸入路面圖像像素值歸一化到[-1，1]，以加速網絡收斂。實驗使用Adagrad優(yōu)化算法，初始學習率設置為0.001。由于batch_size的大小對分類精度有一定的影響，因此設置了16、32、64、128、256大小的batch_size進行比較分析，綜合訓練時間和分類精度，最終選取的batch_size為64、epoch為100。

2. 3 實驗分析

圖6是DW-VGG與卷積網絡VGG13、GoogleNet、ResNet50、MobileNet-V2、SqueezeNet、ShuffleNetV2（2x）、EfficientNetB0 [16?21]在路面圖像數據集中測試的混淆矩陣，混淆矩陣能夠清晰地表達出網絡對各類型路面的分類性能，并使用F1得分對各網絡的分類性能進行評估，得分越高分類性能越好。

，

式中：為分類精準度；為分類召回率。

從圖6可知，參數量更少的DW-VGG得分為94.1%，與輕量級網絡MobileNet-V2、SqueezeNet、ShuffleNetV2（2x）、EfficientNetB0相比精度都更高。與分類性能較強的VGG13、GoogleNet、ResNet50網絡分類性能較為相近，只比VGG13少0.9%。

表3為DW-VGG與經典網絡應用性能對比，DW-VGG運算時間與內存都是較優(yōu)的，識別單張圖像只需32.06 ms，預測模型只有5.63 M。而EfficientNetB0、ShuffleNetV2（2x）輕量化網絡數據讀取與寫入量較大，受制于GPU訪存帶寬，在單張圖像的預測中速度較低。

為驗證特征圖全局平均對網絡的有效性，圖7為VGG13與VGG13使用全局平均（GA）操作的訓練損失曲線，表4為訓練結果。從訓練Loss曲線可知特征圖全局平均能夠加速網絡收斂，使分類網絡更快找到最優(yōu)解。由于全局平均參數少并且起到正則化的作用，因此訓練后路面網絡模型參數只有33.51 M，而F1得分則提升了1.96%，上述數據表明全局平均能夠提升分類網絡性能。

圖8為DW-VGG學生網絡自學習過程與多層級知識蒸餾實驗超參數測試結果，從圖中可以看出算法對超參數的設置不太敏感，在參數α=2，β=2能達到較好的分類性能。

在知識蒸餾實驗中，教師網絡為VGG13+GA，并進行預訓練，學生網絡為DW-VGG。圖9為多層級知識蒸餾算法結果，學生網絡自學習（students network self learning，SSL）與教師網絡指導知識蒸餾（teachers network guidance knowledge kdistillation，TKD）算法都能夠提升分類性能。多層級知識蒸餾算法（multilevel knowledge distillation algorithm，MKD）提升結果最好F1得分為96.57%，與教師網絡F1得分相差僅為0.39%，圖像分類性能提升較為明顯。

3 結束語

文中提出了一種基于車載視覺圖像的深度學習路面分類方法，基于多層級知識蒸餾算法的DW-VGG深度學習網絡具有較高的識別精度，且有效降低了網絡的時間和空間成本，滿足了車輛動力學控制的實時性要求。

參考文獻

［1］" Rajendran S， Spurgeon S K， Tsampardoukas G， et al. Estimation of road frictional force and wheel slip for effective antilock braking system （ABS） control[J]. International Journal of Robust and Nonlinear Control， 2019， 29（3）： 736-765.

［2］" Han K， Lee B， Choi S B. Development of an antilock brake system for electric vehicles without wheel slip and road friction information[J]. IEEE Transactions on Vehicular Technology， 2019， 68（6）： 5506-5517.

［3］" Khaleghian S， Emami A， Taheri S. A technical survey on tire-road friction estimation[J]. Friction， 2017， 5（2）： 123-146.

［4］" 余卓平， 曾德全， 熊璐， 等. 基于激光雷達的無人車路面附著系數估計[J]. 華中科技大學學報（自然科學版）， 2019， 47（7）： 124-127.

Yu Z P， Zeng D Q， Xiong L， et al. Road adhesion coefficient estimation for unmanned vehicle based on lidar[J]. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2019， 47（7）： 124-127.（in Chinese）

［5］" Fényes D， Németh B， Gáspár P， et al. Road surface estimation based LPV control design for autonomous vehicles[J]. IFAC-PapersOnLine， 2019， 52（28）： 120-125.

［6］" Paul D， Velenis E， Cao D， et al. Optimal μ-estimation-based regenerative braking strategy for an AWD HEV[J]. IEEE Transactions on Transportation Electrification， 2017，3（1）： 249-258.

［7］" Ping X Y， Cheng S， Yue W， et al. Adaptive estimations of tyre-road friction coefficient and body’s sideslip angle based on strong tracking and interactive multiple model theories[J]. Proceedings of the Institution of Mechanical Engineers， Part D： Journal of Automobile Engineering， 2020， 234（14）： 3224-3238.

［8］" Senatore A， Sharifzadeh M. Estimation of tyre-road friction during ABS braking for snow and ice conditions [C]//6° Workshop dell’Associazione Italiana. di Tribologia AIT Torino， Italy， 2018.

［9］" Sentouh C， Nguyen A T， Benloucif M A， et al. Driver-automation cooperation oriented approach for shared control of lane keeping assist systems[J]. IEEE Transactions on Control Systems Technology， 2019， 27（5）： 1962-1978.

［10］" 馮加明， 儲茂祥， 楊永輝， 等. 改進YOLOv3算法的車輛信息檢測[J]. 重慶大學學報， 2021， 44（12）： 71-79.

Feng J M， Chu M X， Yang Y H， et al. Vehicle information detection based on improved YOLOv3 algorithm[J]. Journal of Chongqing University， 2021， 44（12）： 71-79.（in Chinese）

［11］" Wang Y F， Nguyen B M， Fujimoto H， et al. Multirate estimation and control of body slip angle for electric vehicles based on onboard vision system[J]. IEEE Transactions on Industrial Electronics， 2014， 61（2）： 1133-1143.

［12］" Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014： arXiv： 1409.1556. https：//arxiv.org/abs/1409.1556.

［13］" Geiger A， Lenz P， Stiller C， et al. Vision meets robotics： the KITTI dataset[J]. The International Journal of Robotics Research， 2013， 32（11）： 1231-1237.

［14］" Yu F， Chen H F， Wang X， et al. BDD100K： a diverse driving dataset for heterogeneous multitask learning[EB/OL]. 2018： arXiv： 1805.04687. https：//arxiv.org/abs/1805.04687.

［15］" Maddern W， Pascoe G， Linegar C， et al. 1 year， 1000 km： the Oxford RobotCar dataset[J]. The International Journal of Robotics Research， 2017， 36（1）： 3-15.

［16］" Szegedy C， Vanhoucke V， Ioffe S， et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2016： 2818-2826.

［17］" He K M， Zhang X Y， Ren S Q， et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2016： 770-778.

［18］" Sandler M， Howard A， Zhu M L， et al. MobileNetV2： inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. IEEE， 2018： 4510-4520.

［19］" Iandola F N， Han S， Moskewicz M W， et al. SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and lt;0.5MB model size[EB/OL]. 2016： arXiv： 1602.07360. https：//arxiv.org/abs/1602.07360.

［20］" Ma N N， Zhang X Y， Zheng H T， et al. ShuffleNet V2： practical guidelines for efficient CNN architecture design[C]//European Conference on Computer Vision. Cham： Springer， 2018： 122-138.

［21］" Tan M， Le Q V. EfficientNet： Rethinking model scaling for convolutional neural networks[C]//2019 International Conference on Machine Learning （ICML）. IEEE， 2019.

（編輯" 詹燕平）