基于深度學習的車載影像交通標志檢測方法研究

車普民

（垣曲縣測繪地理信息中心，山西垣曲 043700）

0 引言

車道級高精度地圖是支撐智慧交通與無人駕駛技術實現的核心技術之一，交通標志作為道路的核心元素，準確獲取交通標志是自動駕駛行為判斷過程中的必要步驟。但受限于道路環境復雜、拍攝距離等原因，道路交通標志影像在采集中多數以小尺寸目標為主，且正樣本個數較少。因此，如何利用海量道路采集影像來實現對交通標志高精度的定位和分類，是當前的一項研究熱點。隨著近年來深度學習技術的不斷進步，由卷積神經網絡為基礎構建的目標檢測模型已經在各種物體檢測領域取得很好的成果。其中，吳軍等針對輸電線路巡檢問題，提出一種以ResNet101 網絡和多層級聯分類器對Cascade R-CNN 改進的輸電線路小目標缺陷檢測方法［1］，并在無人機航拍數據集上與YOLOV3 算法對比，驗證了所提出算法的有效性和優越性；何穎等基于加權雙向特征融合技術對YOLOV5 算法進行修改，提出一種經濟林木蟲害目標檢測算法［2］，該算法在測試集上的平均精度達到了0.923，且推斷速度為64.9m·s-1；林思玉等通過在聚焦層網絡引入多尺度檢測和可變形卷積方式，實現了一種小建筑物目標檢測方法［3］，該方法在測試環境下與原始方法相比，對小建筑物目標提升了3.6%，減少了小建筑物目標漏檢、誤檢的問題。

受拍攝距離以及道路交通標志的實際大小限制，影像中的交通標志大多為個數較少且較為分散的小目標；此外，自動駕駛等任務在要求高精度檢測的同時對于檢測的實時性也有著較為嚴格的要求。針對以上問題，研究了一種交通標志檢測模型，模型包括骨干網絡、特征金字塔、檢測輸出端3部分，骨干網絡首先通過特征聚焦層對輸入影像進行無損下采樣，然后通過瓶頸結構并聯卷積核組實現特征提取，特征金字塔通過多尺度特征圖拼接輸出3 個尺寸的特征圖，最終在檢測端使用自適應錨點框機制來實現目標框的檢出。

1 交通標志檢測模型

1.1 骨干網絡

骨干網絡通過多層次堆疊的特征提取層和下采樣層對輸入的圖像進行多次特征提取與下采樣，通過多張由不同大小的特征圖實現多尺度目標檢測。然而網絡層數的不斷加深會導致模型計算量大幅上漲，進而使得模型難以得到充分訓練。為了在降低骨干網絡計算量的同時不對后續特征增強與提取造成影響，在骨干網格的首層使用了特征聚焦層（Focus）對圖像進行一次無損尺寸降采樣。Focus 層通過一個2 × 2 大小的卷積核對輸入尺寸為640 × 640 × 3 的特征圖進行橫向與縱向采樣間隔均為1 的提取切片，提取后的特征圖尺寸變為320 × 320 × 12，聚焦層的具體結構如圖1（a）所示。經過提取后的特征圖被尺寸壓縮并延展到了12 個圖像通道上，由此實現了無損下采樣。一張影像經過多層次的特征提取會丟失很多的目標特征細節，而檢測對象是以小尺寸目標為主的交通標志，這種特征細節的丟失對于小尺寸目標來說是災難性的，會直接導致模型無法獲取到足夠的目標特征進行學習。因此，為了特征提取過程中盡可能地保留更多原始的小尺寸目標特征信息，通過瓶頸結構［4］的卷積核組來構建特征提取層，具體結構如圖1（b）所示。瓶頸結構首先以一個1 × 1 大小的卷積核對來自上層的特征圖進行通道維度的壓縮，然后，使用尺寸3× 3 的卷積核進行特征提取，并通過批量歸一化與激活函數對提取后的特征進行歸一化與非線性化處理，來降低數據的偏移［5］，最后，再次使用1×1 大小的卷積核將提取后的特征圖恢復到輸入圖的通道數。相比使用單獨的3 ×3 卷積核獨自完成特征提取與通道的壓縮，這樣的方式可以節約很多計算開銷。此外，在常規提取路徑的基礎上使用了殘差結構，提高提取層輸出特征圖信息復雜度的同時避免梯度消失問題［6］。在非線性激活函數方面，以參數化PReLU激活函數（Parametric Rectified Linear Unit，PReLU）作為特征的非線性激活函數，具體如式（1）所示：

圖1 骨干網絡結構圖

式中：x為輸入的特征值；a為可學習更新的參數。

為了保留更多的特征信息，以3×3 的卷積核作為下采樣層，通過2 倍的采樣間隔的方式實現對特征圖尺寸的壓縮。最終，骨干網格輸出5 個不同尺寸的特征圖。

1.2 特征金字塔

來自骨干網絡的多尺度特征圖中，小尺寸特征擁有較多較大尺寸目標的輪廓信息，大尺寸特征圖擁有更多目標細粒度的紋理特征。而特征金字塔通過多尺度的特征圖跨層融合，將骨干網絡中不同尺寸的特征圖進行融合，來獲取語言特征更為豐富的特征圖進行檢測輸出。結合對小尺寸交通標志檢測的任務特點，構建了跨尺度多層融合特征金字塔，具體結構如圖2 所示。

圖2 模型結構圖

從圖2 中可以看出：所構建的特征金字塔向檢測端輸出3 張不同尺寸圖像，而每張圖像分別來源于骨干網絡中的2~4 層，上兩層特征圖的0.5 倍、0.25 倍尺寸下采樣以及底層小尺寸特征圖的2 次尺寸上采樣，然后，通過通道疊加的方式拼接而來。

1.3 檢測輸出端

為了實現對多個尺寸目標的檢測，基于回歸的目標檢測模型需要使用自適應錨點框機制，通過多個尺寸的錨點框在不同特征圖上來實現對相應大小目標的回歸檢測。而在訓練階段，所使用的初始錨點框與真實目標的尺寸分布越接近，模型的訓練情況就越好。因此，通過基于K-means++非監督聚類的自適應錨點框算法來獲取所需要的錨點框。首先，綜合考慮特征金字塔輸出層數以及檢測計算量的開銷，確定最終所獲得的錨點框為12 個，以K-means++以訓練集中的真實目標框為數據進行非監督聚類，接著使用遺傳算法對所獲取的最終聚類中心進行隨機變異500 次后作為最終的錨點框，最后將獲取到的12 錨點框按照3 個尺度特征圖的尺寸大小進行分配。

由于檢測對象存在較為嚴重的正負樣本不平衡現象，故而在訓練過程中使用焦點損失函數對模型進行迭代訓練，損失函數具體分為目標框定位損失與目標分類損失兩部分，具體如式（2）、式（3）所示：

式中：N為正樣本個數；p為預測框分類正確概率；l?為預測框與真實框的偏移；c、g分別為目標框的類別和正樣本目標的位置參數；φ為兩個子函數的權重值，實驗取經驗參數設置為為目標框類別概率；γ為超參數；smoothL1如式（4）所示：

2 實驗與結果分析

2.1 訓練集增強

道路采集影像中的交通標志往往尺寸較小且在單幅影像內分布稀疏。為了讓模型充分學習目標特征的同時，具備較好的泛化能力，首先以采集于不同時間和地點的中國交通標志檢測數據集（CCTSDB）與清華—騰訊交通標志數據集（TT100k）作為數據源，從中篩選出道路中最常見的4 種標志“限速50”“限速60”“限速70”“禁止停車”作為樣本，按照4∶1 的比例劃分為訓練集和測試集，然后對訓練數據集進行了樣本多樣性增強。模型需要尺寸統一的訓練數據才能進行訓練，故首先通過裁剪的方式將所有訓練集中的圖像尺寸轉化為608×608，然后隨機選取部分訓練數據采取了旋轉、扭曲、增加高斯噪聲等方法進行增強處理，通過馬賽克增強，即通過隨機選取的方式獲取4 張訓練樣本后按照隨機尺寸變換將4 張影像拼接為1 張尺寸與原圖相同的樣本，通過多張樣本融合的方式來提高單幅影像中正樣本目標的數量，具體結果如圖3 所示。

圖3 馬賽克增強樣本示意圖

將所有強化后的樣本放入訓練集參與訓練，按照VOC 格式對所有樣本行標注，最終參與訓練的“限速50”樣本1287 個（標注為Xiansu50），“限速60”樣本1452 個（標注為Xiansu60），“限速70”樣本1351 個（標注為Xiansu70），“禁止停車”樣本1135個（標注為Nostop）。

2.2 實驗環境及評價機制

為了全面客觀地評價模型性能，以單類別精度均值（Average Precision，AP）、平均精度均值（Mean Average Precision，MAP）、每秒檢測幀數（Frame Pre Second，FPS）3 項指標對模型的單類別與全類別檢測精度以及檢測速度進行評價，具體計算如式（5）所示：

式中：TP為正確檢出的正樣本；FP為錯誤檢出的負樣本；FN為未檢出的負樣本；p為檢測精確度（precision）；r為檢測的召回率（recall）；n為類別個數，取經驗參數n=3。同時，為了進一步體現所提出模型對應交通標志檢測任務的優越性，使用目前主流的回歸檢測模型YOLOv5、RetinaNet 以及Faster R-CNN 模型進行對比測試。

2.3 模型訓練

模型的訓練和測試工作均在安裝大型顯卡的圖形工作站上完成，其中CPU 型號為Intel-i9-12 900K，GPU 型號為Nvidia RTX 3090，內存大小為32 G，硬盤為1 TB SSD，工作站的操作系統為Ubuntu 16.04，機器學習的開發框架為Tensor Flow 2.5.0。模型在訓練過程中采用Adam 優化器進行參數優化，其中，衰減系數為0.9，訓練的總迭代次數為300次，每次訓練過程中送入模型訓練的樣本個數為12個，訓練過程中使用動態學習率來避免局部極小值，初始學習率為0.000 1，每訓練100 次縮小0.1倍，在訓練過程中模型的損失變換情況如圖4 所示。

圖4 模型訓練損失

由圖4 可以看出：在訓練過程中，訓練損失值經過初期的小幅震蕩后始終保持收斂下降，最終穩定在0.06 左右，說明在設定的參數環境下模型實現了較好的訓練收斂。

2.4 實驗結果分析

使用訓練數據集所提出模型與對比模型進行測試，并通過選定的指標對所有模型進行評價。所提出模型以及參考模型對于4 個類別目標的實際檢測效果如表1 所示。

表1 檢測指標評價

由表1 可知：所提出交通標志檢測模型對于4個類別的目標均能夠實現較為精準的檢測，對于禁止停車類別的檢測精度達到最高水平，而在其余類別的檢測精度中表現相當，由此可以說明所構建的訓練數據集中樣本分布合理，模型對幾個類別的目標特征都進行了充分學習。所構建模型對全部類別目標的平均精度均值達到0.93 MAP，相比其余3種參考模型分別提高了9.46%、25% 以及10.78%，在輸入影像尺寸一致的情況下，所構建模型在測試數據集上精度表現最佳，可以充分說明所提出結構在檢測精度方面的優越性。在檢測速度方面，對于全部測試數據集中的樣本，所提出模型能夠達到29 m·s-1的檢測水平，在檢測速度方面明顯優于基于候選區域的Faster R-CNN 模型以及經典的RetinaNet，但低于YOLOv5，而從模型的結構中可以看出：特征金字塔結構通過多層特征圖進行跨尺度融合，同時使用了12 個錨點框來進行多尺度檢測，這就使得模型在追求檢測精度的同時不可避免地犧牲了檢測速度，而相比之下YOLOv5 僅使用9 組錨點框進行檢測，其檢測速度更快但是在精度方面略低。

所提出模型檢測結果如圖5 所示。可以看出：所提出模型對于不同逆光、遠距離、多類別樣本密集等多種復雜的情況均能夠實現較好地檢出，不僅體現了模型在性能方面的優越性，也說明了所使用的訓練集能夠對模型進行充分訓練。

圖5 檢測結果圖

3 結語

針對道路環境下交通標志快速精準檢測問題，提出一種基于回歸的深度學習檢測模型，并以道路交通影像數據集CCTSDB 與TT100K 為基礎，利用多種圖像變換算法與馬賽克拼接構建了樣本類型更豐富、正樣本數量更多的訓練數據集來進一步充分訓練模型。為全面評價模型性能，使用單類別精度均值、平均精度均值、每秒檢測幀數等幾項指標對所提出模型與3 組對照模型進行綜合評價。根據實際檢測結果和統計評價結果，得出以下結論：在檢測精度方面，模型單類別精度最高可達到0.91，并且所有類別檢測精度相當，4 種類別目標的綜合檢測為0.93 MAP，相比3 組對比模型分別高了9.46%、25% 以及10.78%，說明所提出的檢測模型具有較高的檢測精度；在檢測速度方面，所提出模型采用3 個檢測尺度的特征金字塔，通過12 個錨點框來完成多尺度、多類別的目標檢測，在一定程度上增加了模型的運算量，因此造成檢測速度略低于YOLOv5 模型，但是仍可達到29 m·s-1的檢測速度，具備實時檢測的性能水準。

根據以上結論可以總結出：所提出的檢測模型能夠對道路影像范圍的多尺度、不同角度的交通標志目標實施精準快速地檢測，能夠在高精度地圖的快速采集繪制、無人駕駛決策等領域發揮重要作用。在未來的研究中，將對模型結構不斷改進，同時采用更多的策略優化訓練數據集。