基于改進YOLOv8的高速公路服務區車輛違停檢測

陳偉,王曉龍,張晏瑋,安國成,江波

(1. 上海華訊網絡系統有限公司行業數智事業部,上海 200127;2. 中國電子科技集團公司第三十二研究所,上海 201808)

0 引言

高速公路服務區作為城市交通的重要基礎設施,在保障人們出行安全,促進城市經濟發展方面發揮著重要作用。服務區數字化建設對于提升城市管理水平、民眾幸福感影響較大。因此,加快服務區管理的數字化轉型是當務之急,也是各個城市建設的重要目標,需要調動社會各階層的力量,思考如何通過人工智能、大數據、數字孿生等技術提升服務區智能化水平。

隨著科技的進步,視頻監控相關設備越來越普及,從個人住戶到城市建設,遍布大街小巷,視頻監控已經完全能夠進行晝夜24 h不間斷監控,為服務區數字化建設提供了技術支持與現實基礎。近些年,人工智能技術也有了長足發展,尤其是深度學習技術的突破與普及,為服務區人、車、物的智能識別提供了技術保障。通過大量人工智能技術的應用,服務區可以從之前的人工、紙質和被動管理逐漸轉變為機器管理、電子管理、主動發掘、自動處置等。在服務區管理工作中,車輛違停監測是服務區日常管理工作中非常重要的組成部分,也是交通智能化的關鍵步驟。傳統通過人工進行異常停車行為監控的方法費時費力,無法滿足自動化、智能化違停監管需求。隨著深度學習技術的長足進步,相關算力資源的逐步豐富,也使得人工智能技術的應用成本越來越親民。利用深度學習、大數據等各類新型技術可以實現服務區車輛智能管控,例如剩余車位數量分析、車輛違停監測、特殊車輛監管、車輛特征分析等。

由于服務區車流量大、人員混雜,因此造成服務區車位數量不能及時統計,而且人員素質參差不齊,服務區違章停車事件頻發,致使服務區管理難度大、風險發現不及時,無法為有困難人員及時提供幫助。為此,需要利用人工智能技術進行服務區動態分析,實時分析服務區車位占用情況、違章停車情況,提高整個服務區的管理效率,降低服務區運維成本,提升服務區的智能化水平。

在實際應用中,基于深度學習的車輛目標檢測算法精度受天氣、光照強度、攝像機架設高度和拍照角度等因素的影響,加上服務區實際場景復雜多變,致使違停檢測精度受到限制。針對上述問題,本文提出一種復雜環境下的高速公路服務區違停檢測算法,利用改進的YOLOv8網絡模型進行實時車輛檢測,并通過基于全局匹配的停車位分配策略有效降低車輛違停檢測的漏報率與誤報率。

1 服務區智能分析

在傳統服務區車位管理的過程中,通常采用地磁傳感器的方式進行車位管理[1]。這種方式雖然具有準確度高的優點,但是設備一旦損壞,后期維護成本高,而且設備更換會影響車位的正常使用,并且當周圍出現金屬制品時,電磁傳感器會受到嚴重影響,從而產生誤報或漏報。另外,對于停車不規范等問題,也需要人工現場查看,增加了工作人員的工作負擔。

隨著服務區視頻監控的逐步普及,服務區車位管理的技術手段也越來越多,尤其通過視頻分析技術對服務區內的車位、車輛狀態進行實時分析,可提高服務區處理異常事件的效率。因此,采用視頻分析進行服務區車輛違章識別、車位管理具有很好的技術優勢,而且推廣普及性強。目前,已有學者們對此進行了一些研究并且取得了一定的成果。

李松江等[2]在主干網絡的殘差模塊中嵌入通道注意力機制,提高YOLOv4[3]目標檢測能力,通過對每個通道賦予不同的權重以獲取跨通道的交互信息,增強遮擋目標的特征。楊露露等[4]提出改進的密集連接卷積網絡[5],可增加對目標細節的感知能力,在特征提取的過程中重用并重建特征,以此縮減網絡參數量,提升對小目標的檢測精度。楊祖莨等[6]將深度學習與傳統圖像處理相結合,利用背景差分提取運動目標,使用卷積神經網絡(CNN)[7]分類模型識別車輛目標,該方法可減少車輛目標誤識別,但檢測精度受差分算法固有缺陷限制。李國進等[8]提出改進的單次多盒檢測器(SSD)[9]算法,均衡化融合淺層位置特征和深層語義特征,提高車輛目標識別率。SSD相比區域卷積神經網絡(R-CNN)系列[10-13]等兩階段的深度學習目標檢測算法檢測速度更快,但精度不理想。近幾年,YOLO系列一階段目標檢測算法以速度快、精度高等優勢受到青睞,其中YOLOv3～8[3,14-16]、YOLOX[17]、YOLOR[18]系列檢測模型在交通、電力等行業都有十分廣泛的工程應用。

基于深度學習的服務區停車位檢測算法首先采用目標檢測算法對車輛目標進行檢測與車型識別,其次通過計算車輛是否處于停車區域判斷停車位是否被占用,最終根據停車位類型與車輛類型匹配結果,判斷是否發生異常占用行為。雖然基于深度學習的檢測算法擺脫了基于傳感器的傳統方法的限制,有效避免了物理位置限制和信號干擾問題,提升了系統可用性,但由于攝像頭架設高度、拍攝角度、車輛遮擋因素,導致違停檢測產生較多誤報與漏報。本文提出一種改進的YOLOv8網絡模型,優化空間金字塔池化(SPP)[19]特征融合層,并構建基于注意力機制[20]的膨脹空間金字塔池化(DSPP)模型,提高模型檢測精度。在此基礎上,提出一種基于全局匹配的停車位分配策略,降低車輛違停檢測的漏報率與誤報率。

2 改進的車輛違停檢測算法

算法流程如圖1所示。首先,利用改進的YOLOv8網絡模型對視頻監控畫面中車輛進行定位和車型識別;其次,利用基于全局匹配的停車位分配策略將車輛與停車位進行綁定;最后,判斷停車位狀態是否為違停占用。

圖1 車輛違停檢測算法流程Fig.1 Procedure of vehicle violation detection algorithm

2.1 改進的YOLOv8網絡結構

YOLO系列算法是端到端的一階段目標檢測算法,網絡結構分為特征提取基網、特征融合頸部以及頭部檢測網絡3個重要部分。通過控制深度和寬度2個參數,可調節網絡深度和卷積寬度,從而衍生出不同尺寸的模型。圖2為YOLOv8通用網絡結構(彩色效果見《計算機工程》官網HTML版,下同)。以640×640像素輸入圖像為例,使用卷積神經網絡對輸入圖像進行降采樣和高維語義特征提取。在主干網絡中,C2f模塊為基于2個卷積層的跨階段局部融合[21]模塊,能夠有效提取圖像特征。SPP模塊通過最大池化操作融合來自不同感受野的特征,并將任意大小的特征輸入并轉換為固定大小的特征向量,實現多尺度的特征融合。特征融合頸部采用特征金字塔網絡(FPN)[22]和路徑聚合網絡(PAN)[23]進行不同尺度的特征融合,進一步提升對稠密目標的檢測效果,網絡最終輸出80×80、40×40、20×20像素3種尺度特征圖。在模型推理階段,結合先驗錨框使用非極大值抑制(NMS)去除冗余的檢測框,保留置信度最高的預測框,從而完成目標檢測過程。

圖2 YOLOv8網絡結構Fig.2 Network structure of YOLOv8

YOLOv8網絡模型中的特征融合模塊沿用了YOLOv5中的SPP模塊,如圖3所示。SPP模塊能將任意大小的特征圖輸出為固定大小的特征向量,從而融合不同的感受野特征圖,但隨著MaxPool采樣核尺寸逐漸增大,MaxPool在增加感受野的同時會丟失更多深層語義信息,導致模型檢測精度受限。

圖3 SPP模塊結構Fig.3 Structure of SPP module

2.1.1 改進的膨脹空間金字塔池化模塊

SPP中的池化層本身不具備學習能力,最大池化操作本質上是選擇池化窗口內特征圖的最大值。因此,MaxPool并不關心特征在池化窗口中的具體位置。在分類任務中,MaxPool可以緩解模型對特征的位置敏感性,但在目標檢測任務中,該操作會導致深層特征的位置信息損失。此外,在車輛目標檢測任務中,貨車、小型貨車、危化品車等一些屬于大目標的車輛類別的類間差異較小,MaxPool操作會在一定程度上丟失了部分可用于區分這些類別的細節特征。為解決SPP中最大池化層導致的語義信息丟失問題,提出一種改進的SPP模塊,即DSPP模塊。

在DSPP中,利用分組膨脹卷積代替最大池化,在參數量幾乎沒有增加的前提下,最大程度地保留各感受野分支的語義信息。圖4為最大池化與分組膨脹卷積操作。DSPP模塊設計受膨脹卷積[24]與分組卷積[7]的啟發。膨脹卷積在普通卷積的基礎上,通過控制卷積核采樣間隔來改變感受野,在相同的計算條件下,膨脹卷積相比普通卷積能夠獲取更大的感受野。分組卷積則將輸入特征圖分為多組,每組特征獨立進行卷積操作,再將各組卷積結果拼接起來形成輸出,從而有效降低模型參數量。DSPP結合膨脹卷積與分組卷積進行多尺度特征圖融合,模塊結構如圖5所示,其中,深度可分離卷積(DWConv)模塊代表分組膨脹卷積,DWConv首先對輸入特征圖按通道分組,并將分組數設置為輸入通道數,對每組特征圖進行膨脹卷積,卷積核尺寸為5。對于不同尺寸的輸入特征圖,膨脹卷積率分別設置為1、2、3,對應感受野為5、9、13,與SPP感受野一致。DSPP兼具膨脹卷積與分組卷積優勢,相比SPP在相同感受野的特征提取分支中,能更快速地提取特征信息。

圖4 最大池化與分組膨脹卷積操作Fig.4 Maxpooling and group dilation convolution operation

圖5 DSPP模塊結構Fig.5 Structure of DSPP module

2.1.2 基于注意力的膨脹空間金字塔池化模塊

在目標檢測中,深層特征具有更大的感受野,包含更多的全局信息,更適于大目標預測,而淺層特征更關注局部信息,更適于小目標預測。DSPP能有效融合淺層與深層語義特征,但由于不同感受野特征對于不同尺寸的目標預測貢獻不同,因此為使模型學習到不同感受野的特征信息對目標預測的貢獻,引入注意力機制,學習不同輸入特征對輸出的貢獻程度。通過賦予不同注意力權重,使網絡更關注那些對目標預測更為重要的特征,抑制無關的特征。在DSPP的基礎上增加分支注意力(BA)機制,構建基于分支注意力機制的DSPP(DSPPA)模塊,結構如圖6(a)所示,分支注意力模塊結構如圖6(b)所示。在BA中引入通道注意力機制[25],其中,ci表示輸入特征圖通道數,經過全局平均池化和全連接操作,全連接層輸出通道數為1,再經過Sigmoid歸一化操作后得到分支的權重值,將權重與輸入特征圖相乘,輸出帶權重的特征信息。

圖6 DSPPA模塊結構Fig.6 Structure of DSPPA module

2.2 基于全局匹配的停車位分配策略

在服務區停車場景中,由于部分攝像機安裝角度差異、車體高度差異以及攝像機拍攝圖像本身不具備深度信息等因素使得基于交并比(IoU)、中心點等停車位匹配方法誤匹配情況急劇增多,導致車輛違停誤報率較高,如圖7所示。為此,提出基于全局匹配的停車位分配策略,可在很大程度上緩解上述問題引起的車輛-停車位誤分配問題,策略流程如圖8所示。利用改進的YOLOv8目標檢測算法獲取車輛目標位置坐標以及車輛類別,同時將停車位劃分為小型客車車位、貨車車位、危化品車位等,將檢測出的10類車輛按照停車位類型進行分組并得到待匹配的停車位與車輛目標。

圖7 拍攝角度、車體高度等差異產生的誤分配Fig.7 Mismatching caused by differences such as shooting angle and vehicle height

圖8 基于全局匹配的停車位分配策略流程Fig.8 Process of parking space allocation strategy based on global matching

2.2.1 加權IoU停車位匹配

基于IoU的車輛-停車位劃分算法,通過計算停車位面積占用率來確定將車輛目標劃分到哪個停車位,停車位面積占用率是指停車位區域中被車輛矩形區域覆蓋的面積與停車位區域總面積之比,計算公式如式(1)所示:

(1)

在實際停車位占用檢測場景中,受攝像頭安裝高度、角度、車體高度差異等因素影響,對停車位占用檢測識別造成不同程度的干擾。通過對多個不同拍攝角度圖像進行觀察發現,當車輛停放在停車位上時,不管從何種角度拍攝停車位,停車位中心區域與車輛矩形框的重合度很高,而停車位中邊緣區域占用率會隨攝像機拍攝角度變化而變化。基于以上分析,將停車位劃分為不同區域,賦予中心區域較高權重,四周區域較低權重。通過計算各區域占用IoU的加權和得到加權停車位占用率。相比單純IoU匹配,加權IoU停車位匹配能有效減少不同拍攝角度造成的匹配誤差。圖9為停車位區域劃分,其中,wij停車位子區域對應IoU權重。

圖9 停車位占用權重劃分Fig.9 Weight division of parking space occupancy

加權停車位占用率的計算公式如式(2)所示:

(2)

其中:Sij表示車輛矩形區域與對應停車位子區域重疊面積;Dij表示停車位對應子區域的圖像面積。

2.2.2 全局停車位匹配

雖然基于加權IoU的停車位匹配策略可減少誤匹配問題,但基于IoU匹配的策略始終存在同一停車位被分配給不同車輛的情況。為解決停車位重復匹配問題,在加權IoU停車位匹配的基礎上,引入匈牙利分配算法,全局搜索最佳的停車位和車輛匹配組合。結合加權停車位IoU,構建匈牙利匹配算法所需的代價矩陣:

Cij=1-Cwaccuij

(3)

其中:Cwaccuij代表第i個車位和第j輛車匹配的加權停車位占用率,即匹配程度,通過設定占用率閾值t,將占用率低于t的元素設置為0,刪除部分匹配度低的組合,從而降低匹配復雜度;C為匈牙利匹配所需的代價矩陣,代價矩陣中每一個元素Cij代表第i個停車位與第j輛車匹配所需的代價,代價越小,匹配程度越高。

利用占用率代價矩陣進行匈牙利匹配,計算出能夠使總體代價最小的匹配組合:若停車位能匹配到車位,則該停車位狀態更新為占用;若沒有可與停車位匹配的車輛,則車位狀態更新為未占用;結合停車位類型與占用該停車位的車輛類型,判斷是否為違停。

3 實驗與結果分析

3.1 數據集

為驗證改進模型的性能,采用公開數據集PASCAL VOC2012(簡稱為PASCAL VOC)和COCO2017進行消融實驗。PASCAL VOC數據集中包含20類標注目標,共包含11 540張圖像,其中,訓練集包含5 717張圖像,驗證集包含5 823張圖像。COCO2017數據集包含80個類別標注目標,共包含123 287張圖像,其中,訓練集包含118 287張圖像,驗證集包含5 000張圖像。此外,收集湖州市某高速公路及其服務區視頻監控數據構建數據集,包含不同天氣、拍攝角度以及晝夜的圖像數據,并標注10類車型目標用于車輛目標檢測,圖10為各車型樣本數量分布。自建數據集共有16 003張圖像,包含75 811個車輛樣本,其中,訓練集包含12 803張圖像,驗證集包含3 200張圖像。

圖10 各車型樣本數量分布Fig.10 Distribution of number of samples for different kind of vehicles

3.2 數據增強與模型訓練

為滿足復雜環境下的服務區車輛目標檢測任務,使用多種數據增強策略,通過隨機色彩空間變換、亮度變換、尺寸縮放、水平翻轉、隨機Mosaic等對訓練數據進行增強操作。

在訓練過程中,在公開和自建數據集上均采用相同的訓練參數。圖像輸入尺寸為640×640像素,訓練迭代輪次為200,Batch Size為32,優化器為Adam,初始學習率為0.001,學習率余弦更新因子為0.01,權重更新動量為0.923,衰減系數為0.000 4,使用分布焦點損失(DFL)計算目標損失,將二元交叉熵損失作為類別損失,將IoU損失作為位置損失。

3.3 結果分析

采用準確率、召回率、mAP@0.5、mAP@0.5∶0.95作為模型性能評估指標。準確率是指正確預測的樣本數量與預測總樣本數量的比值;召回率是指正確預測的樣本數量與實際正樣本數量的比值;mAP@0.5是指IoU閾值設為0.5時所有類別預測的平均精度均值;mAP@0.5∶0.95是指當IoU閾值設定為0.5～0.95時所有類別預測的平均精度均值。

為比較DSPP、DSPPA、SPP模塊的性能差異,對這3個模塊進行消融實驗,如表1所示。由表1可以看出:在不同輸入特征圖尺寸下DSPP相比SPP模塊的參數量和每秒浮點運算次數(FLOPS)幾乎沒有變化,當輸入特征圖尺寸為(32,1 024,20,20)時運行速度從35幀/s提升到63幀/s,當輸入特征圖尺寸為(32,1 024,40,40)時,運行速度從24幀/s提升到29幀/s;DSPPA相比SPP參數量有少量增加,但運行速度相比SPP仍有顯著提升。由此可見,與SPP相比,DSPP與DSPPA具有更高的運行效率。

表1 改進的特征融合模塊性能對比Table 1 Comparison of improved feature fusion modules

表2顯示了改進的YOLOv8模型在PASCAL VOC數據集上的性能對比。由表2可以看出:

表2 改進模型在PASCAL VOC數據集上的性能對比Table 2 Comparison of performance of improved models on the PASCAL VOC dataset

1)當使用預訓練模型時,使用DSPP與DSPPA后,3種不同尺寸的YOLOv8(n, s, m)模型均有不同程度的性能提升,其中以YOLOv8s和YOLOv8m最為顯著。在使用預訓練權重進行遷移訓練時,基于DSPPA的YOLOv8s模型在mAP@0.5上的模型精度提升0.005個百分點,在mAP@0.5∶0.95上的模型精度提升0.006個百分點,YOLOv8m在mAP@0.5上的模型精度達到72.8%,相比原模型提升0.006個百分點,在mAP@0.5∶0.95上的模型精度提升0.007個百分點。

2)當不使用預訓練模型時,基于DSPPA的YOLOv8s模型在mAP@0.5∶0.95上達到44.6%,相比原模型提升0.011個百分點,YOLOv8m在mAP@0.5上的模型精度達到66.9%,相比原模型提升0.009個百分點。

為進一步驗證改進模型的泛化性能,在COCO2017數據集上進行消融實驗。表3為在不使用預訓練權重的前提下,改進的3種不同尺寸的YOLOv8模型在COCO2017數據集上的精度對比。由于COCO2017數據集相比PACAL VOC數據集體量更大,目標類別更多,圖像場景更復雜,改進模型在COCO2017數據集上的性能提升雖不如PASCAL VOC數據集明顯,但仍能看出基于DSPPA的改進YOLOv8n等模型性能有不同程度的提升,其中,YOLOv8s在mAP@0.5、mAP@0.5∶0.95上精度均提升0.005個百分點。

表3 改進模型在COCO2017數據集上的性能對比Table 3 Comparison of performance of improved models on the COCO2017 dataset

以上實驗結果證明,DSPP、DSPPA模塊能夠有效提升模型精度。

在自建數據集上進行消融實驗,使用英偉達A30 GPU進行模型推理速度驗證。由表2可知,在預訓練模型的情況下,YOLOv8n、YOLOv8s、YOLOv8m模型性能均有提升,且PASCAL VOC數據集中包含車輛目標的圖像多為道路交通場景,與高速公路服務區場景有相似之處,因此使用PASCAL VOC數據集上的預訓練模型作為初始化權重進行模型訓練,實驗結果如表4所示。由表4可以看出,雖然YOLOv8m模型參數量相比YOLOv8n、YOLOv8s更大,但準確率、召回率、mAP@0.5以及mAP@0.5∶0.95遠高于YOLOv8n和YOLOv8s,其中mAP@0.5達83.6%,且當模型推理Batch Size設為16時,YOLOv8m的模型運行時間為4.2 ms(包含圖像前處理、模型推理和后處理),完全滿足高速公路服務區違停識別場景的實時性要求。實驗結果表明,在高速公路服務區車輛數據集上,YOLOv8m模型參數量適中,精度相對較高,推理速度滿足實時需求,能達到速度與精度的平衡,因此選擇YOLOv8m模型作為高速公路服務區目標檢測任務的基礎模型。

表4 改進模型在自建數據集上的性能對比Table 4 Comparison of performance of improved models on self-built dataset

為進一步驗證改進的車輛違停檢測算法有效性,連續14 d采集湖州市某高速公路服務區16個視角的視頻監控畫面,包含日間、夜間、晴天、雨天等不同環境圖像數據,共統計375個違停事件。在使用原YOLOv8模型并使用中心點匹配方法進行違停檢測時,共計檢測出441個違停事件。由圖11可以看出,改進前漏報事件數量為28,漏報率為7.5%,違停誤報事件數量為66,誤報率達15%。經統計發現:部分誤報是由于檢測模型將小型客車識別為小型貨車,在某些監控視角下貨車箱體過大,車輛目標框與多個停車位產生交集,導致車位錯誤分配,應用改進的YOLOv8檢測模型以及基于全局匹配的停車位分配策略,違停漏報率下降為6.1%,相比改進前下降0.014個百分點,驗證了改進的YOLOv8模型的有效性,違停誤報率下降到8%,相比改進前下降近0.07個百分點,進一步說明了改進的車輛違停檢測算法的有效性。

圖11 改進前后的車輛違停檢測算法的漏報率與誤報率對比Fig.11 Comparison of false-negative and false-positive rates between pre- and post-improvement vehicle violation detection algorithms

改進的車輛違停檢測算法在高速公路服務區的部分視頻檢測可視化結果如圖12所示。由圖12可以看出,改進的車輛違停檢測算法在具有視角傾斜、遮擋、夜間等多種復雜環境的高速公路服務區停車場景中均有良好檢測性能。

圖12 高速公路服務區車輛違停檢測可視化結果Fig.12 Visualization results of vehicle violation detection in highway service areas

4 結束語

本文提出一種適用于高速公路服務區復雜環境的車輛違停檢測算法,改進YOLOv8網絡模型中的特征金字塔池化層,構建DSPP與DSPPA模塊,使得目標檢測網絡能夠保留更多深層語義信息,同時設計基于全局匹配的停車位分配策略,解決了拍攝角度偏差、車體過大、車輛重疊等情況下停車位誤分配問題。實驗結果表明,該算法能有效降低高速公路服務區車輛違停檢測的漏報率與誤報率,具有較好的場景適應性與環境魯棒性,為高速公路服務區停車智能化管理提供了一種切實可行的解決方案。