改進YOLOv3的交通標志檢測方法研究

鄧天民，周臻浩，方 芳，王 琳

重慶交通大學 交通運輸學院，重慶 400074

1 引言

交通標志檢測與識別技術是自動駕駛領域的關鍵技術之一，被廣泛地應用于汽車輔助駕駛系統中，隨著計算機性能、人工智能和目標檢測技術快速的發展，端到端的智能化檢測是自動駕駛領域的一個全新的途徑。因此，本文研究基于YOLOv3的交通標志牌檢測與識別方法對于提高自動駕駛公路交通規范具有重要意義。

傳統機器學習應用在交通標志檢測的方法主要是基于顏色、形狀或者兩者相結合的方法。Li等[1]將圖像從RGB 顏色空間轉換到高斯顏色空間，然后使用kmeans對顏色進行聚類并提取出交通標志；Berkaya等[2]提出使用形狀檢測算法來檢測圓形交通標志。這些方法主要是利用交通標志顏色與形狀的特殊特性進行特征的提取，通過依據分類器來實現分類。但是存在檢測速度慢、檢測精度差、抗環境干擾能力差等問題，難以在實際應用中實現精準的識別效果。

近年來，隨著深度學習在圖像分類、目標檢測、圖像語義分割等領域取得了一系列突破性的研究成果。John等[3]使用CNN提取特征并檢測道路交通標志，繪制出包含交通燈位置的特征圖。Girshick 等[4]提出了一種基于快速區域的卷積網絡方法（Fast R-CNN），使用深度卷積網絡有效地對目標進行分類。為了執行快速準確的交通標志檢測和識別，Zhu 等[5]采用了整體嵌套的邊緣檢測網絡。Tian等[6]提出了采用多尺度CNN方法，融合了不同網絡層的特征信息來識別交通標志，并將檢測問題看作回歸問題，使用深度卷積神經網絡作為回歸預測其輸入圖像中目標?？傮w而言，這些方法中使用的主要方法是首先提取感興趣區域的特征，然后使用分類器定位位置。因此，這些方法統稱為兩階段目標檢測。它們具有較高的檢測精度和較強的泛化能力，但是確定感興趣區域需要大量的計算，這就導致實現實時檢測的能力很差。

為了提高檢測效率，Redmon等[7]提出了將目標檢測作為回歸問題的YOLOv1（You Only Look Once）網絡，該網絡是一個采用深度卷積神經網絡的全新實時目標檢測方法，它直接利用網格對目標位置進行回歸。與當前的卷積神經網絡相比，YOLO網絡顯著提高了檢測速度，并在很多領域得到了廣泛的應用。與R-CNN 相比，YOLOv1網絡以較低的準確性和較低的召回率來定位目標物體。為了進一步提高檢測精度，YOLOv3[8]使用了增量改進技術，大大提高了小目標的檢測精度。

綜上，本文針對交通標志易受光照、實際道路場景復雜等特征影響導致識別準確率和識別速率不高的問題，采用了Darknet 框架結合改進YOLOv3 算法的交通標志檢測方法。最后，通過大量實驗對比改進算法和原始算法在復雜交通標志情況下的檢測識別率和魯棒性的差異，驗證了該算法的有效實用性。

2 交通標志檢測模型

網絡整體框架選用整圖訓練的方式將檢測問題看作了回歸問題，可以更好地區分目標和背景區域；并且接受不同大小尺寸輸入的圖片，由Darknet 網絡提取圖像的特征，然后將特征圖輸入到后續的多尺度分類檢測網絡中，最后YOLOv3 輸出3 個不同尺度的特征，可以對不同大小的目標進行檢測，有助于實現交通標志目標的檢測要求。

2.1 Darknet-53特征提取網絡結構

在交通標志圖像特征提取方面，YOLOv2[9]采用了Darknet-19網絡結構，由于直筒型網絡結構層數過多會造成訓練過程中梯度爆炸等問題，因此YOLOv2 所采用的Darknet 網絡架構只有19 層。YOLOv3 采用了稱之為Darknet-53 的網絡結構（含有53 個卷積層）結合了YOLOv2 的基礎特征提取器并借鑒了殘差網絡的思想[10]，如圖1所示。

圖1 Darknet-53網絡結構

Darknet-53 由5 個殘差塊組成，每個殘差塊由殘差單元組成，殘差單元中由DBL單元組成，兩個DBL單元在殘差塊中進行殘差操作，如圖2（a）所示。其中DBL單元包含了卷積層（convolutional）、批歸一化（Batch Normalization）和Leaky Relu激活函數，如圖2（b）所示，通過引入殘差結構，可以增加網絡架構的深度并防止訓練的過程梯度爆炸和消失等問題。

圖2 結構單元

本文對Darknet53網絡進行了模型簡化。YOLO網絡中引入了BN[11]（Batch Normalization）層，通過對每個卷積層后添加BN層，可以在網絡訓練時期加速網絡收斂以及防止過擬合，并且可以簡化調參，使網絡更加穩定。雖然BN層在訓練時起到了歸一化作用，但是在網絡前向推理時增加了運算，影響了模型的性能，且占用了更多的內存或者顯存空間，從而降低了網絡模型的前向推理速度。

卷積層與BN 層都是線性變換，提供了合并的可能性。在YOLOv3中，BN計算過程如下：

其中，γ為縮放因子，μ為均值，δ2為方差，β為偏置，xout為BN計算結果，xconv為卷積計算結果。

合并卷積層與BN層，式（2）代入到式（1）得：

即：

合并后權值參數變為：

偏置變為：

即合并后的計算變為：

卷積層與BN 層合并后可以與卷積層共用Blob 數據，從而可以減少內存占用，有利于速度提升。

如圖3 所示，輸入圖片經過卷積得到特征圖后，然后輸入到BN 層中進行歸一化處理，再經過Leaky-Relu函數激活之后，進入網絡的下一層。本文將DBL 單元結構中的批歸一化層和卷積層合并為一層，通過實驗可知該方法提高了模型的前向推理速度，從而可以提高目標檢測的速率。

圖3 合并BN層和CONV層

2.2 基于YOLOv3的交通標志檢測模型

YOLOv2中引入一種稱為passthrough layer的方法在特征圖中保留一些細節信息，為了加強YOLO算法對小目標檢測的精度。在YOLOv3 中采用類似FPN 的上采樣（upsample）[12]和尺度融合方法[13]，將上采樣后的高語義特征與淺層的定位細節特征進行融合。如圖4 所示，卷積網絡在79層后，經過下方幾個卷積層得到一種尺度的檢測結果。相比輸入圖像，這里用于檢測的特征圖有32倍的下采樣，特征圖就是13×13了。由于下采樣倍數高，這里特征圖的感受野比較大，因此適合檢測圖像中尺寸較大的目標。為了實現細粒度的檢測，第79層的特征圖又開始作上采樣，然后與第61 層特征圖融合，這樣得到第91層較細粒度的特征圖，同樣經過幾個卷積層后得到相對輸入圖像16倍下采樣的特征圖。最后，第91 層特征圖再次上采樣，并與第36 層特征圖融合，得到相對輸入圖像8倍下采樣的特征圖。它的感受野最小，適合檢測小尺寸的目標。此方法融合了3個尺度（13×13、26×26、52×2），通道數為3，就是說每個box負責對三個anchor box進行回歸，取其中的一個作為最終檢測結果，共對9 個anchor box 進行回歸，所以對于一張輸入圖像，最后的輸出尺寸為1×（3×（13×13+26×26+52×52））× (5+m)，m代表檢測類別數。在多個尺度的融合特征圖上分別做檢測，最終對小目標的檢測效果較前幾代的YOLO有了明顯的提升。

圖4 YOLOv3多尺度融合

2.2.1 目標邊界框的預測

YOLOv3 的設計理念遵循端到端的訓練和實時檢測，可將圖片作為輸入，直接輸出目標位置和對應位置的置信度評分。首先通過特征提取網絡對輸入圖像提取特征，得到一定大小的特征圖，然后將輸入圖像分成s×s個單元格，如果真實框中某個目標的中心坐標落在哪個單元格中，那么就由該單元格來預測該目標。每個單元格都會預測3 個固定數量的邊界框。每一個邊界框獲得1個偏移坐標(tx,ty)、1個真實寬高坐標(tw,th)和一個置信度評分C。

在YOLOv1 版本中，x、y、w、h是直接預測物體框的中心坐標和預測框的寬度和高度，預測值的微小變化都會被放大到整個圖像的任何范圍，導致坐標波動較大，預測不準確。YOLOv2 和YOLOv3 對其進行了改進，其公式為：

其中，tx、ty為預測的坐標偏移值，σ(tx)、σ(ty)用sigmoid運算將tx、ty壓縮到[0，1]區間內，可以有效確保目標中心處于執行預測的網格單元中，防止偏移過多。tw、th為尺度縮放。cx、cy為grid cell 坐標，也就是距離左上角頂點的偏移量；pw、ph代表cell 對應先驗框（anchor box）的寬高，計算出 bounding box 的位置，如圖5 所示。confidence=pr(Object)×IoUtruthpred，通過對confidence這一項設定閾值，過濾掉低分的預測框，然后對剩下的預測框執行非極大抑值（Non Maximum Suppression，NMS）[14]處理，得到網絡的最終預測。

圖5 bounding box坐標轉換公式

2.2.2 目標定位損失函數的改進

當前很多目標檢測算法的坐標誤差損失函數都使用預測框與真實框角點坐標距離的1-范數Loss 或者2-范數Loss，但是評測的時候卻又采用IoU（Intersection over Union）來判斷是否檢測到目標。顯然二者有一個分歧，即loss低不代表IoU就一定小。由圖6可知，其中紅色框為真實框，黑色框為預測框。第一排，所有物體的2-范數loss 都一樣，但是第三個IoU 顯然要高于第一個，主觀來看也是第三個檢測結果要好。第二排也是類似，1-范數都一樣，但是IoU卻不同。

圖6 相同1-范數或2-范數對應的IoU和GIoU

當L1或L2范數都相同的時候，發現IoU和GIoU的值差別都很大，這表明使用L范數來度量邊界框的距離是不合適的。針對這個問題會直接采用IoU 當作模型的坐標誤差損失函數，但是IoU作為損失函數存在兩個問題：（1）當預測框和真實框之間沒有重合時，不管兩者之間的距離有多遠對應的IoU 值都為0，導致優化損失函數時梯度也為0，意味著無法優化，無法進行學習訓練，見圖7。（2）IoU無法辨別不同方式的對齊，比如方向不一致等。如圖7，場景 A 和場景B 的 IoU 值都為 0，但是顯然場景B的預測效果較A更佳，因為兩個邊界框的距離更近（L范數更小）。

圖7 IoU為0的兩種不同情況的回歸

IoU是目標檢測中使用最廣的評價指標，然而優化回歸bounding box 參數的距離損失并不等價于最大化IoU指標。對于軸對齊的2D bounding box，IoU可直接用作坐標誤差回歸損失，但是IoU 無法優化無重疊的bounding box，所以本文使用一種泛化版的GIoU[15]（Generalized Intersection over Union）來代替IoU 作為坐標誤差損失函數，該改進方法加快模型擬合預測框與真實框的位置關系，并提高模型的預測精度。

對于預測框A與真實框B，可以計算出兩者的最小凸集（包含A、B的最小包圍框）C。通過最小凸集，可以計算GIoU。IoU和GIoU的計算公式如下：

公式（9）中分式部分分子為最小凸集中不包含A和B的部分。GIoU與IoU相似，GIoU作為一個距離度量指標，其坐標誤差損失函數LGIou計算公式如式（10）所示：

GIoU 有以下性質：（1）與 IoU 類似，GIoU 也可以作為一個距離度量，loss 可以用LGIoU=1-GIoU來計算。（2）同原始IoU 類似，GIoU 對物體的大小不敏感。（3）GIoU 是 IoU 的下界，GIoU 總是小于等于IoU，對于IoU，有 0 ≤IoU≤ 1 ，GIoU 則是-1 ≤GIoU≤ 1 。在A和B形狀完全重合時，有GIoU=IoU=1；當A和B不重合度越高（離得越遠），GIoU 越趨近于-1。（4）由于GIoU引入了包含A、B兩個形狀的C，所以當A、B不重合時，依然可以進行優化，保留了IoU 的原始性質同時弱化了它的缺點。

2.2.3 Anchor參數設定

Anchor（先驗框）機制起初是由Faster R-CNN 提出，后來被廣泛用于一階段及二階段目標檢測框架，如SSD、YOLO、RetinaNet 等。Anchor 主要用來解決目標檢測任務中尺度及寬高比例變化范圍過大的問題，模型訓練的時候真實標簽被編碼為相對于Anchor 的偏移量，模型測試時根據模型預測的相對于Anchor 的偏移量來解碼檢測結果。通過Anchor 機制，將尺度和寬高比例的空間劃分為相應的幾個子空間，降低了目標檢測任務的難度，使模型更容易學習。但是在Faster R-CNN和SSD 中，先驗框的維度（長和寬）都是手動設定的，帶有一定的主觀性，如果一開始選取的先驗框維度比較合適，那么模型更容易學習，從而做出更好的預測。因此，YOLOv3中采用k-means聚類算法對數據集（COCO）中80 類目標的標注框做了聚類分析。本文針對k-means聚類方法在初始聚類點的選擇上存在較大的隨機性的問題，使用了隨機性更小的k-means++[16]聚類算法來代替原始聚類算法對本文數據集的標注框進行聚類計算，可以有效降低原始算法在初始聚類點所造成的聚類偏差。得到Anchor 較好尺寸并匹配到對應的特征圖，從而可以提高檢測準確度和召回率。

3 實驗與分析

本文實驗在計算機環境配置為Ubuntu16.04、CUD（Compute Unified Device architecture）10.0、CUDNN（CUDA Deep Neural Network library）7.0。硬件配置為Intel-CPU-i7-8750H 處理器，顯卡為Nvidia GeForce GTX 1050Ti，調用GPU進行加速訓練。

3.1 交通標志數據集

本文采用的數據集為Lisa（加州大學圣地亞哥分校數據集）交通標志數據集和CQ-data（重慶交通標志數據集）見圖8和圖9。Lisa數據集中圖片拍攝角度以及分類更規范，因此作為本文算法的主要研究數據集。CQ-data數據集為個人制作數據集，圖片的獲取來由是百度實景街道截取，該數據集驗證本文改進算法的實用性。Lisa數據集共包含20類交通標志，選取了數據集中的4 706張圖片。在Lisa 數據集中選取其中數量最多的4 類交通標志作為檢測識別對象，分別為stop、pedestraincrossing、signalahead、speedlimit，共計 5 373 個標注。CQ-data 數據集共制作了1 000張圖片。在CQ-data數據集中，選取了5 類交通標志作為檢測識別對象，分別為：禁止鳴喇叭、禁止停車、禁止向左轉彎、限速、其他禁令標志，共計1 500個標注。將標注信息生成與之對應的xml格式的目標區域位置的信息，編寫python程序將xml格式的目標區域位置的信息統一轉化為txt格式，以便讓YOLOv3讀取圖片標注信息位置。最后按照VOC2007數據集格式進行了整理，分別按3∶1比例將兩個數據集中的圖片分為訓練集和測試集兩類。

圖8 Lisa交通標志數據集

圖9 重慶交通標志數據集

3.2 Anchor參數預設

由于YOLOv3 最原始選定anchor 尺度和寬高比是基于COCO數據集（80個分類）確定的，但是本文的Lisa數據集應用目標是交通路面上的交通標志牌，原先設置的anchor box 尺寸不適合本文研究的環境中，基于此，本文使用k-means++聚類算法對交通標志數據集的真實標注框進行聚類操作，真實標注框長寬映射到模型輸入大小size下的聚類結果如圖10所示。

圖10 Grounding truth box長和寬聚類散點圖

由代碼實現上來看，anchor尺寸是相對于預測的特征圖大?。?3×13），因此真實標注框長寬映射到模型后輸出的 anchor 尺寸大小為：（12.41，23.50）、（15.96，31.73）、（21.11，34.88）、（21.74，48.11）、（28.83，42.13）、（29.57，63.04）、（37.08，52.16）、（44.06，75.64）、（64.64，103.84），使用自己的數據集進行維度聚類，得出結果和原始的參數相比，自己的聚類結果更為集中，寬高比更符合交通標志數據集的特點，因此使用k-means++算法聚類得到的anchor 參數來代替原始的參數進行訓練和測試。可以使anchor框更容易擬合真實目標，從而可以降低模型訓練的難度。

3.3 模型訓練

訓練階段更改YOLOv3 配置文件來對圖片進行數據增強預處理以此來提高模型的泛化能力，包括旋轉圖片角度、調整圖片飽和度、調整圖片曝光量、調整圖片色調、裁剪圖片大小、調整圖片色度扭曲、調整圖片噪聲來生成更多的訓練樣本。之后將增強后的圖片resize 到416×416 送入到網絡模型中進行模型的訓練。同時在訓練階段，為了防止Anchor 與真實框沒有IoU 大于0.5的情況，本實驗設置當出現這種情況時將與真實框IoU最高的Anchor作為對應類別的正樣本參與訓練。

該實驗以Darknet53 為基礎網絡框架，以YOLOv3為檢測算法框架，基于遷移學習的方法，使用預訓練模型作為基礎特征提取網絡，整個訓練過程中共進行20 000 次迭代，其中動量和權重衰減分別配置為0.9 和0.000 5，批量大小設置為64，初始學習率為0.001，并在迭代次數達到16 000和18 000時，學習率分別為0.000 1和0.000 01。由圖11可以看出，到后期的訓練損失值基本低于0.030，迭代至17 500次左右，loss值在0.030上下浮動，即達到理想效果。訓練過程中平均Avg IoU 和Avg GIoU 如圖12 和 13 所示，可以看出 GIoU 整體訓練相較于IoU更加密集，性能更優。訓練過程中精度和召回率如圖14所示。

圖11 平均損失變化曲線

圖12 平均IoU變化曲線

圖13 平均GIoU變化曲線

圖14 precision與recall變化曲線

3.4 實驗結果與分析

該實驗分別使用Loss-IoU 和Loss-GIoU 對數據集進行訓練，以IoU和GIoU為度量評價方式，分別得到權重文件IoU 和權重文件GIoU，然后設定Threshold（閾值）為0.75分別用Loss-IoU和Loss-GIoU對這兩個權重文件的性能進行測試統計。結果如表1，使用Loss-GIoU 作為回歸損失來訓練數據集相比于使用原來的Loss-IoU作為回歸損失，性能得到了提高。

表1 LIoU和LGIoU對權重文件的性能測試

實驗中設置閾值為0.5 時4 類交通標志的AP 值和準確率的均值（mAP），如表2所示。實驗中的前向推理時間都是與實驗A進行對比，對比結果如圖15所示。原始的網絡檢測模型性能較低，前向推理時間達到了151 s，由于使用的是原始的Anchor 尺寸及寬高比，因此對于“signalAhead”這類較小的交通標志在目標定位方面效果不如其他幾類交通標志，如圖16（a）所示。

在網絡結構中融合了BN層和Conv層后，檢測速率以及前向推理速度有21 個百分點的提高，但是檢測精度基本不變；在原始模型的基礎上加入維度聚類操作后，對于“signalAhead”這類小目標交通標志AP 提升較明顯，同時mAP 有3 個百分點的提高；在原始模型的基礎上把坐標誤差回歸的損失函數改進為GIoU-Loss后，“Pedestraincrossing”的AP 值有8 個百分點的提高；當同時引入維度聚類和GIoU-LOSS 的方法后，mAP 相對于只引入GIoU-LOSS 有3 個百分點的提高；同時mAP 相對于只加入維度聚類有6個百分點的提高，但是前向推理速度略微下降了4個百分點；當同時改變3個模塊時，mAP 提升8.1 個百分點同時前向推理速度也有19 個百分點的提升，如圖17和18所示。

表2 不同模塊對模型的性能影響對比

圖15 前向推理時間優化

圖16 改進后算法在LISA數據集的檢測效果

圖16（a）（b）為模型改進前后在Lisa 數據集測試集的檢測效果。改進后的交通標志檢測識別效果相較于未改進的在定位預測上更加準確。原始算法中對于復雜路況上容易產生誤檢，改進后的算法更有利于實時道路場景中交通標志的檢測。圖19 為模型改進后在CQ-data 數據集測試集的檢測效果，顯示了本文提出的改進方法在復雜環境下的檢測效果。

為進一步驗證本文改進模型對于交通標志檢測的有效性，在Lisa 數據集和CQ-data 數據集上分別訓練了對應的檢測模型并與FasterR-CNN、YOLOv2、YOLOv3等主流算法進行了對比。實驗結果如表3和4。

圖17 交通標志檢測精度mAP

圖18 4類交通標志檢測精度AP

圖19 改進后算法在CQ-data數據集的檢測效果

表3 各模型在Lisa數據集上效果對比

表4 各模型在CQ-data數據集上效果對比

從實驗結果看，本文的改進模型與Faster R-CNN所訓練的模型在精度上很近似，但在速度上本文改進方法還是具有顯著的優勢。在兼顧精度的同時相比Faster R-CNN 能夠達到更快的檢測速度，這滿足實時交通場景檢測的速率要求，與YOLOv2 相比，雖然檢測速度降低了，但是經過BN層和CONV層的融合已經有了顯著的提升。綜合來看，本文改進的YOLOv3模型具有一定的泛化性和魯棒性。

4 結束語

針對YOLOv3 原始算法直接運用于本文的兩個交通標志數據集上性能不高的問題，首先將DBL 單元中BN 層和CONV 層合并提高模型前向推理速度，其次引入更加接近檢測任務的評價標準GIoU-Loss 作為代價函數以提高模型的定位能力。最后使用k-means++聚類算法重新確定anchor 的大小可以使模型更容易收斂來更好適用于本文數據集的檢測與識別。實驗結果表明，改進后的YOLOv3算法相較于原始算法在Lisa數據集和CQ-data數據集上檢測平均準確率和檢測平均速率有一定的提升。同時本文還有很多地方需要改進，本文算法在識別小目標時，識別精度仍沒有達到預期的效果，并且由于工作計算量大消耗大量內存，該模型仍然不適用于實時性工程應用中。如何在提高性能條件的基礎上精簡網絡結構、降低計算量將是未來的主要研究方向。