基于多尺度特征融合的乘用車路面信息預警研究方法

【摘" 要】伴隨著用戶對于乘用車行駛過程中的安全性和駕駛舒適性要求越來越高，計算機視覺算法作為一種先進的智能汽車技術被廣泛應用。面對復雜多變的駕駛路面情況，實時準確的路面信息預警能夠極大程度地保障用戶出行。文章提出一種基于多尺度特征融合的乘用車路面信息預警方法。該方法在主流檢測框架YOLOv8s中加入BiFPN方法，能有效提升對小目標的檢測精度。此外，引入GIoU作為邊界框回歸損失函數的創新改進，更好地處理檢測框不相交或重疊較少的情況，進一步提升模型在復雜路面情況下的目標定位精度。由于現有相關數據集并不完備，需進行數據采集和特征提取工作，這些數據應涵蓋各種路面工況，以進一步滿足路面信息預警需求。通過試驗結果分析，本方法在乘用車路面信息檢測方面表現出較好性能，不僅能增強對小目標的檢測精度，也能提升邊界框定位的魯棒性，為后續的汽車路面信息預警研究提供有效的數據和技術支持。

【關鍵詞】乘用車;多尺度特征融合;路面信息

中圖分類號：U463.6" " 文獻標識碼：A" " 文章編號：1003-8639（ 2024 ）12-0040-04

Research Method of Passenger Vehicle Pavement Information Warning Based on Multi-scale Feature Fusion

【Abstract】With the increasing requirements for safety and driving comfort of passenger cars，computer vision algorithm has been widely used as an advanced intelligent vehicle technology. In the face of complex and changeable driving road conditions，real-time and accurate road information early warning can greatly protect users' travel. This paper presents a road information warning method for passenger vehicles based on multi-scale feature fusion. The BiFPN method is added into the mainstream detection framework YOLOv8s，which can effectively improve the detection accuracy of small targets. In addition，GIoU is introduced as an innovative improvement of the boundary box regression loss function，which can better deal with the cases where the detection boxes do not intersect or overlap less，and further improve the target location accuracy of the model in complex road conditions. Due to the incompleteness of existing relevant data sets，data collection and feature extraction should be carried out，and these data should cover various road conditions to further meet the demand for road information early warning. Through the analysis of experimental results，the proposed method shows good performance in the detection of passenger vehicle road surface information，which can not only enhance the detection accuracy of small targets，but also improve the robustness of boundary frame positioning，providing effective data and technical support for the subsequent research on vehicle road surface information early warning.

【Key words】passenger car;multi-scale feature fusion;pavement information

0" 引言

近年來，中國政府對智能汽車技術的重視程度與日俱增，智能駕駛技術逐步成為中國汽車產業戰略的關鍵一環。2020年，中國發布了《智能汽車創新發展戰略》這一重要政策，其中提出到2025年，中國要形成較為完善的智能汽車技術創新體系，關鍵技術與產品需達到國際先進水平。該戰略強調了推動智能駕駛技術應用的重要性，要求智能汽車應具備對復雜道路環境的實時感知和決策能力。在這樣的背景下，乘用車路面識別與預警系統作為智能汽車的一部分，成為提升車輛安全性與駕駛體驗的重要發展方向。

隨著智能化汽車的飛速發展，車載攝像頭等傳感設備得到廣泛應用，為實時監控和識別路況提供了可能。路面狀況直接影響車輛的行駛安全和乘坐舒適度，特別是在崎嶇不平或有坑洼的道路上，如果車輛未能及時采取避讓或減速措施，可能會引發事故、損壞車輛，甚至對乘客造成傷害。因此，針對乘用車的路面識別與預警系統具有重大的現實意義。

目標檢測作為計算機視覺中的重要分支，通過對圖像或視頻中的特定對象進行識別和定位，能為車輛的自動化駕駛和安全預警提供有力支持。YOLO（You Only Look Once）是目標檢測領域的一種高效算法，因其實時性和高精度備受矚目。YOLOv8s作為YOLO系列算法的最新版本，具有更高的檢測精度、更快的運行速度和更低的計算資源消耗。它的端到端結構能夠在一幀圖像中一次性完成目標定位和分類，極大地提升了路面識別的效率，尤其適合對實時性要求較高的車載環境。在實際道路駕駛中，路面的類型和狀態千變萬化，常見的有平整路面、碎石路面、坑洼路面、減速帶、積水路段、冰雪覆蓋路段等。這些復雜路面條件不僅影響車輛的行駛平穩性，還可能導致意外事故。因此，借助YOLOv8s等先進的目標檢測算法，可以對不同的路面類型進行自動識別。本文首先引入BiFPN（Bi-directional Feature Pyramid Network）模型，更好地提取不同分辨率下的路面特征，進一步提高檢測系統在多尺度下的特征提取能力。另外，采用GIOU（Generalized Intersection over Union）作為邊界框回歸損失函數的優化方式。相比傳統的IOU，GIOU通過考慮邊界框之間的空間關系，尤其是在重疊較少甚至無重疊的情況下，提供了更精準的定位信息。

在實際應用中，車載攝像頭通過實時拍攝車輛前方的路面圖像，將這些圖像輸入到YOLOv8s算法中進行處理，能夠迅速檢測出路面上的異常或障礙物，并通過報警系統提示駕駛員采取相應措施。例如，當車輛接近一個坑洼路面時，系統可以及時發出預警，提醒駕駛員減速或繞行，從而減少車輛損耗，避免事故發生。

1" YOLOv8s網絡介紹

YOLOv8系列包括不同大小的模型，有n、s、m、l和x 5個版本。本文所使用的YOLOv8s是YOLOv8家族中較輕量化的模型，適合對資源和速度有較高要求的場景。YOLOv8s的架構主要由Backbone、Neck和Head組成，如圖1所示。

YOLOv8s的Backbone采用了CSP（Cross Stage Partial）Net結構，能夠減少冗余計算，提升網絡的特征提取能力，同時降低計算開銷。通過這種設計，YOLOv8s在處理圖像時能夠提取出豐富的低層和中層特征，并通過深層卷積網絡進一步學習圖像的高層語義信息。此外，YOLOv8s結合了自注意力機制和輕量化卷積模塊，在不增加大量計算的情況下增強了特征提取的有效性。Neck部分采用了FPN（Feature Pyramid Network）和PAN（Path Aggregation Network）架構。FPN用于處理不同尺度的特征圖，將高層的語義信息與低層的空間細節相結合，從而提高對小目標的檢測能力。而PAN則通過自底向上的路徑聚合信息，使得不同層次的特征可以有效交互。這種設計提升了網絡對目標的定位能力和分類準確度。然而，在多尺度信息檢測上，YOLOv8s的FPN和PAN設計仍存在局限性，尤其在處理跨尺度大目標與小目標時的表現不夠理想。Head部分負責輸出目標的分類和邊界框預測。其采用了無錨框（Anchor-free）設計，直接預測目標的邊界框位置和類別。這種設計簡化了訓練過程，消除了復雜的錨框生成和匹配步驟，從而提升了檢測效率。然而，該設計的檢測精度在某些情況下可能受限，尤其是在復雜背景或目標密集的場景中，定位可能不夠準確。

盡管FPN和PAN架構為YOLOv8s提供了較好的多尺度特征融合能力，但由于模型體積較小，使得它在復雜場景中難以平衡不同尺寸目標的檢測效果，尤其是在目標尺寸差異極大的情況下，其表現會有所下降。另外，YOLOv8s的損失函數主要考慮目標分類誤差和邊界框回歸誤差，但在處理極端樣本（如密集目標或難區分目標）時，損失函數對分類和定位的權重分配可能不夠理想，導致模型在某些場景下的泛化能力不足。

盡管存在這些問題，在典型路面檢測場景下，YOLOv8s仍能夠提供可靠的檢測結果，特別是在高速行駛的車輛中，能夠實現對復雜路況的實時感知。因此，本文在YOLOv8s模型的基礎上進行優化，引入更好的多尺度特征融合模塊和更先進的損失函數，能夠有效解決其在路面檢測方面的不足，為智能駕駛提供更強有力的技術支持。

2" 多尺度特征融合的研究方法

2.1" 引入BiFPN方法

YOLOv8s采用的FPN和PAN設計存在一定局限性，雖然在速度和精度上有一定的平衡，但在多尺度信息處理方面有時會存在不足，特別是在面對大小差異較大的目標或復雜路面環境時。為解決這一問題，本文引入BiFPN，其網絡結構如圖2所示。BiFPN通過引入雙向特征流動，紅線箭頭和藍色箭頭表示各個尺寸特征圖自頂向下和自底向上同時進行特征融合，綠色箭頭表示不同尺度的輸入特征可以更充分地交互，從而提升對不同尺寸目標的檢測效果。對于乘用車路面檢測而言，這意味著模型可以更好地識別小型或大型路面缺陷，并提高檢測的精度。

另外，BiFPN采用了加權特征融合機制，能夠根據特征的重要性自適應地分配權重。模型能夠動態調整不同層次特征對最終檢測結果的影響，避免在路面識別中由于路面的材質、光線、陰影等因素導致部分區域的信息不可靠。BiFPN的加權機制可以有效過濾這些無關信息，增強模型的魯棒性。

通過引入BiFPN，YOLOv8s能夠更好地檢測大小不一的路面目標，有效克服了尺度信息檢測的局限性。在復雜的路況中，它可以實現更精確的檢測，為智能駕駛系統提供可靠的技術支持。BiFPN的加權特征融合機制和雙向特征流動，使得模型在面對多樣化的路面信息時，能夠快速、準確地做出判斷，這無疑為確保車輛行駛安全提供了有力的保障。

2.2" 引入GIOU損失函數

在乘用車路面信息識別任務中，檢測路面上的坑洼目標時，邊界框的精確性至關重要。在YOLOv8s中，使用的CIoU損失函數在邊界框重疊區域小或者邊界框完全不重疊時，難以有效優化定位精度。而GIoU通過引入最小包圍框的概念，即使兩個邊界框沒有重疊，仍然可以提供有效的梯度信息，幫助模型在復雜場景中收斂。對此，本文引入了GIoU損失函數，使得模型可以更準確地評估邊界框的相對位置，即使邊界框之間無重疊區域，GIoU也能提供有效的優化方向。這對路面信息檢測尤為重要，比如在車載攝像頭識別路面坑洼等小目標時，GIoU可以更快地將邊界框引導至目標區域。

另外，路面信息識別的目標形狀不規則，且目標可能較小，GIoU不對長寬比進行嚴格約束，使其在處理形狀不規則的目標時更加靈活，這在復雜路面信息識別任務中是一個顯著優勢。YOLOv8在邊界框損失中采用了DFL+CIoU Loss，其中CIoU是對IoU的改進，解決了預測框與真實框不相交時，無法衡量兩者之間距離的問題。不過，CIoU仍存在一些限制：①在長寬比的描述上存在一定模糊，并且忽視了樣本難易程度的平衡;②參數較多，導致計算復雜度上升。為此，引入GIoU，GIoU不僅關注非重疊區域，還補足了IoU在框不相交時無法衡量距離的缺陷，有助于提升模型的收斂速度。

IoU全稱為交并比，計算公式如下：

GIoU在CoU基礎上進行優化，計算公式如下：

C表示真實框和預測框的最小閉包區域，其計算的原理如圖3所示。

使用GIoU替換YOLOv8s中的CIoU損失函數，能夠增強模型在處理無重疊邊界框時的表現，簡化計算過程，加快初期收斂速度。同時，在形狀不規則的識別任務中具有更好的靈活性。因此，GIoU的引入可以使本模型更精確地檢測到路面上的細微變化，為智能駕駛提供更可靠的路況感知。這一改進對于提升智能駕駛系統的安全性和可靠性具有重要意義，使得車輛能夠更好地應對各種復雜的路面情況，為駕駛者提供更加安全、舒適的駕駛體驗。

2.3" 改進的模型架構

本文對YOLOv8s網絡模型進行改進后，提出了用于乘用車路面信息預警的模型。改進后的模型架構如圖4所示，在原始YOLOv8s模型的頸模塊中引入了對尺度信息更為敏感的BiFPN，從而能更好地適應復雜的路面場景。BiFPN結構通過重復利用不同層次的特征圖，實現了特征的自適應加權融合，增強了模型對細節信息的捕捉和處理能力。模型的骨干模塊以綠色框標示，頸模塊以藍色框展示，原有Concate結構被黃色的BiFPN結構所取代。頭模塊依然保留為橙色框部分，負責最終的目標檢測和分類任務。此外，本模型在損失函數設計上也進行了改進，采用了GIoU作為損失函數，更好地約束預測框，使其更貼合真實物體的邊界。通過將BiFPN和GIoU結合到YOLOv8網絡模型中，能夠準確識別路面上的突變、坑洼等復雜不規則特征，從而為車載攝像頭提供更加及時和精準的路況反饋，在乘用車行駛過程中復雜路面信息檢測方面展示出顯著優勢。

3" 試驗結果與分析

3.1" 數據集構建

為驗證算法的檢測效果，本次試驗選擇Kaggle公開的Annotated Potholes Image Dataset作為基準數據集。由于該數據集中，數據量較小，且目標背景過于單一，故通過網絡爬蟲和實地拍攝的方式對基準數據集進行補充。最終數據集中共包含970張數據，并將所有數據格式調整為與PASCOL VOC一致。最后將數據集中的訓練集、驗證集和測試集按8：1：1進行劃分。本試驗中所構建的數據集涵蓋了乘用車行駛過程中各種路面情況下的路面信息，拍攝角度與乘用車車載攝像頭角度一致。路面信息中的缺陷背景各異、大小不一且形狀多樣，數據集圖片中充分考慮到了由于環境因素導致的陰影、重疊和遮擋等復雜情況。

3.2" 試驗環境介紹

本文的試驗在Ubuntu20.04系統上進行，硬件配置為：Intel（R）Xeon（R）Platinum 8255C CPU@2.50GHz，NVIDIA RTX3080×2GPU，20GB顯存。編譯環境包括Python3.8、PyTorch1.10.0、CUDA 11.3。

3.3" 評價指標

試驗采用各類平均精度mAP和模型參數量Params作為試驗的評價指標。

1）mAP指所有類別的識別平均準確率，具體計算公式為：

式中：p——P-R曲線中的精確率;r——P-R曲線中的召回率;AP——每類的識別精度;k——待檢測類別數。試驗中使用目標置信度閾值IoU為0.5時的mAP。

2）Params指的是模型中需要學習的參數的數量，能反映模型參數的內存占用量，單位為MB。

3.4" 模型結果分析

為驗證本文所提出的研究方法在乘用車路面信息的檢測能力，將其與一些主流模型進行了對比試驗，這些模型包括Faster R-CNN、SSD-300、YOLOv8s及YOLOv8n，對比結果見表1。

試驗結果表明，改進模型較基線網絡YOLOv8s在檢測精度上高出1.8%，與其余幾個模型相比分別高出26.2%、23.5%、3.1%。為進一步探討各個組件對最終模型性能的影響，設計并實施了消融試驗。消融試驗對比結果見表2，不同組件的加入對模型在路面信息檢測任務中的表現有顯著影響，驗證了各個模塊在提升模型精度和魯棒性方面的必要性。

在消融試驗中，試驗結果顯示，移除BiFPN后，模型在不同尺度目標上的檢測精度顯著下降，尤其是在復雜路況下表現較差。而在移除GIoU的情況下，模型的邊界框定位精度有所降低，導致整體檢測效果不如原模型。這充分表明BiFPN和GIoU在提升模型檢測精度和定位能力方面起到了關鍵作用，驗證了它們對路面信息檢測任務的有效性。

為了更直觀地體現本文改進方法對于路面信息檢測的有效性，本文選取了特定圖片進行有效性測試。如圖5所示，其中由左到右依次為原圖、YOLOv8s檢測結果以及本文模型檢測結果。可以看出，YOLOv8s在小目標的坑洼區域存在漏檢現象，且部分目標的檢測框偏離真實位置。加入BiFPN后，多尺度特征融合能力得到了顯著增強，使模型能夠更好地感知小目標和不同尺度的物體。GIoU優化了目標定位的準確性，減少了檢測框的偏移。因此，本文的改進方法對小目標有更好的檢測能力，且檢測框更加精確，整體效果更加可靠。

4" 結束語

本文所提出的方法，在YOLOV8s模型的基礎上引入BiFPN算法，能夠更好地提取不同尺寸和復雜度的路面特征。同時，引入GIoU作為損失函數，更精確地調整預測框的位置和尺寸，提升了在復雜道路條件下的識別精度。該技術在復雜道路條件下將發揮關鍵作用，為車輛提供更全面、精確的路況感知與預警。這極大地提高了智能駕駛系統的安全性和適應性，助力智能駕駛技術的進一步發展。它為未來的智能交通系統提供了有力的技術支持，有望在保障道路安全、提升交通效率等方面發揮重要作用。

參考文獻：

[1] 陳筱，朱向冰. 人工智能技術在自動駕駛中的應用[J]. 汽車電器，2020（10）：4-5，10.

[2] 胡益謙，趙豐. 基于多傳感器信息融合的路面等級識別研究[J]. 車輛與動力技術，2017（3）：15-19.

[3] 楊磊，陳艷菲，李海鳴，等. 基于改進YOLOv8的自動駕駛場景目標檢測算法[J]. 計算機工程與應用，2024（7）：17.

[4] 李成袁. 基于BiFPN-YOLOv5的公路養護檢測算法[J].電腦知識與技術，2023，19（15）：11-14.