改進YOLO V3的道路小目標檢測

岳曉新，賈君霞，陳喜東，李廣安

1.蘭州交通大學 電子與信息工程學院，蘭州 730070

2.蘭州文理學院 旅游學院，蘭州 730030

1 引言

目標檢測是計算機視覺領域研究的重要基礎，不論是實現圖像與文字的交互還是特定目標的跟蹤，目標檢測都能夠提供可靠有效的信息，因而目標檢測在人工智能和信息技術等眾多領域都有廣泛的應用，如機器視覺、智慧安保、醫學影像中的病灶檢測、自動駕駛、行為理解、人機交互、基于內容的圖像檢索、智能視頻監控等[1-6]。但常用的目標檢測算法在檢測小目標時因目標分辨率低、特征不明，存在效果不佳及漏檢率較高的問題[7-8]。

近年來，隨著計算機技術的快速發展，基于深度學習的多種目標檢測算法相繼提出[1]。此類算法具有自動學習、特征表達能力良好且檢測精度優良等特點，已成為當前目標檢測算法的主流[1，9-10]。目前主流的基于深度學習的目標檢測算法依據其設計原理，主要分為兩類。第一類為兩階段目標檢測算法，此類算法是將目標檢測分為兩個階段，第一階段使用候選區域生成網絡（Region Proposal Network，RPN）生成一個有可能包含待檢物體的候選框，第二階段利用卷積神經網絡完成對候選框中候選目標位置與類別的預測及識別[10]。常見的兩階段目標檢測算法有R-CNN（Region-Conventional Neural Network）[11]、Fast R-CNN[12]、Faster R-CNN[13]等。第二類為單階段目標檢測算法，此類算法不使用RPN，直接在卷積神經網絡中提取特征來預測物體分類和位置信息，是一種端到端的目標檢測算法[6-7]，因此單階段目標檢測算法具有更快的檢測速度。常見的單階段目標檢測算法有SSD（Single Shot multibox Detector）[14]、YOLO（You Only Look Once）[15]、YOLO V2[16]、YOLO V3[17]等。

為了提高目標檢測算法對小目標檢測的平均精度和檢測速度，本文以單階段目標檢測算法YOLO V3為基礎，提出了一種改進YOLO V3的道路小目標檢測算法。首先對YOLO V3算法網絡模型中的K-Means聚類算法[18]進行優化，使用DBSCAN（Density-Based Spatial Clustering of Applications with Noise）聚類算法[19]消除噪音點對聚類結果的影響，并確定K-Means聚類算法的K值；再通過K-Means 聚類算法對DBSCAN 聚類結果分析確定聚類中心，進而根據重疊度IOU（Intersection Over Union）選取更合適的Anchor Box，以提高檢測的平均精度（Average Precision，AP）和檢測速度。同時引入Focal Loss損失函數[20]代替原YOLO V3算法中預測框定位平方和損失函數、置信度交叉熵損失函數及類別概率交叉熵損失函數。最后將KITTI 數據集[21]中的行人作為訓練和測試對象，并與其他目標檢測算法進行對比實驗，結果表明改進后的YOLO V3算法對小目標的檢測在平均精度和速度上都有了明顯的提升。

2 原始YOLO V3算法

YOLO V3 是 Redmon 等[17]在 YOLO V2 算法的基礎上，融合ResNET、FPN、二元交叉熵損失等方法提出的單階段目標檢測算法[22]。YOLO V3采用新的特征提取網絡Darknet-53，Darknet-53 主要由5 個殘差塊構成，借鑒了殘差神經網絡的思想[17]。YOLO V3在所屬類別結果的預測方面，采用了上采樣和融合做法，通過13×13、26×26 和52×52 三個不同尺度的融合特征圖對目標進行獨立檢測，有效地增強了對大小不同物體和被遮擋物體的檢測效果，并引入躍層連接以強化收斂效果。其網絡結構如圖1所示。

借鑒 Faster R-CNN 算法，YOLO V2 算法引入了Anchor Box并設定為5個[16]。YOLO V3算法中Anchor Box 由 5 個變為 9 個，Anchor Box 的大小由K-Means 聚類算法對所有真實目標框的長寬聚類得到[17]。預測過程中，網絡輸出相對于Anchor Box 的偏移量分別為tx,ty,tw,th，Bounding Box與Anchor Box的對應關系如圖2所示，則Bounding Box的坐標計算公式為：

式中，bx,by,bw,bh為Bounding Box的中心坐標和寬高；cx,cy為當前單元網格相對于圖像左上角的偏移量；pw,ph為對應Anchor Box的寬和高；σ為激活函數Sigmoid，將網絡預測值tx,ty映射到0～1。

圖1 YOLO V3網絡結構

圖2 Anchor Box和Bounding Box對應關系

3 YOLO V3網絡模型改進

3.1 數據集目標框聚類算法

本文主要研究小目標檢測問題，通過聚類算法找到更合適的Anchor Box，有助于提高小目標檢測的平均精度和速度。原YOLO V3算法中采用K-Means聚類算法獲得Anchor Box。K-Means 聚類算法在聚類迭代過程中采用距離作為相似性指標找到給定數據集中的K個類，每個類的中心根據類中所有數據點的均值得到。該方法將距離公式中的不同特征屬性視為等權重，未考慮不同屬性對聚類效果的影響；如果類中存在噪音點或者孤立點，它們遠離數據樣本空間，則在計算類中心時產生較大波動，必定對均值計算產生極大影響，甚至使聚類中心嚴重偏離類樣本的密集區域，導致聚類結果出現嚴重偏差[23]。而且K-Means 聚類算法在處理數據時需要預先指定聚類數目即K值，K值的指定具有較大的主觀性[18]。

針對K-Means聚類算法存在的問題，本文對聚類算法優化，采用DBSCAN+K-Means 聚類算法對訓練數據集目標框進行聚類分析，以期選取更適合小目標檢測的Anchor Box。首先使用DBSCAN聚類算法分析聚類個數和聚類包含的點，解決聚類時噪音點或者孤立點對聚類結果的影響，并為K-Means 聚類算法提供準確的K值，即得到Anchor Box的個數；再通過K-Means聚類算法對DBSCAN 聚類結果分析確定聚類中心，進而根據重疊度IOU 選取更合適的Anchor Box。聚類過程中K-Means聚類算法距離公式定義為：

式中，B表示樣本框大小，A表示聚類框大小，C表示K-Means聚類算法產生的聚類中心，IOU表示樣本框大小和聚類框大小的交互比，作為兩個框大小相似的度量。

本文使用優化后的聚類方法，對KITTI 數據集person 類別的樣本框進行聚類分析。經DBSCAN 聚類算法分析后確定K值為9，K-Means聚類算法迭代后選取的對應Anchor Box 的寬高分別為（4，10）、（9，24）、（9，44）、（17，30）、（29，58）、（55，130）、（76，167）、（132、243）、（192，326）。表1 展示了聚類方法優化前后，在KITTI 數據集上Anchor Box 的差異和檢測結果對比。從表1 中可以看出，使用優化后的聚類算法得到的Anchor Box 對目標檢測效果有明顯的提升，檢測速度比原YOLO V3 提高了2.14 幀/s，檢測平均精度提高了1.16個百分點，達到91.23%。

表1 不同Anchor Box檢測結果對比

3.2 損失函數改進

損失函數作為深度神經網絡對誤檢樣本評判的依據，在很大程度上影響神經網絡模型收斂的效果[24]。在目標檢測領域，很多研究者[25]致力于研究設計更合適的損失函數，以獲得更好的預測效果。YOLO 算法將目標檢測問題轉化為回歸問題，YOLO V3 算法在預測框定位回歸過程中采用誤差平方和（SSE）的形式，在置信度和類別方面采用交叉熵損失函數[25-26]，最終損失采用和的形式，其表達式如公式（3）所示：

式中，λcoord、λnoobj分別表示坐標損失權重和不包含目標的置信度損失權重，S為網格劃分的橫或縱向個數，B為該網格具有的Bounding Box個數，表示第i個網格第j個Bounding Box 是否負責某個對象的檢測，表示網絡輸出相對于Anchor Box的坐標、寬高偏移量及預測框置信度和類別概率預測，表示真實目標框坐標、寬高、置信度和類別概率預測。

YOLO V3 算法中的預測框定位損失、置信度損失以及類別概率損失均需經過Sigmoid 函數激活[17]，然后采用公式（3）計算最終損失。Sigmoid 函數在邏輯回歸中經常用到，也稱Logistic函數且表達式為：

其函數圖像及導數圖像如圖3所示。

圖3 Sigmoid函數及其導函數圖像

從圖3中可以看出，Sigmoid函數單調連續，輸出范圍有限，因此數據在傳遞的過程中不容易發散；導數的值始終小于1，輸入變量較大或者較小時其值接近于0，在深層的神經網絡中極易造成梯度消失的問題，即當神經網絡的輸出較大時，導數會變得非常小。再將Sigmoid函數的輸出值輸入到損失函數中，得到的誤差值會很大，而且誤差越大收斂越慢，出現梯度消失的情況。為解決此問題，本文以Focal Loss損失函數代替了原YOLO V3算法中的預測框定位平方和損失函數、置信度交叉熵損失函數及類別概率交叉熵損失函數。

Focal Loss 損失函數是在交叉熵損失函數的基礎上修改而來，其表達式如式（5）所示：

式中，p為激活函數Sigmoid 的輸出值；γ≥0 ，為聚焦參數；(1-p)γ為調節因子；0 ≤α≤1 ，為類別權重因子；γ和α為固定值，不參與訓練；y為標簽值。無論是前景類還是背景類，p越大，權重 (1-p)γ就越小，lgp就越大，即調節因子減少了大概率目標的損失貢獻，并擴展了樣本接收小目標的范圍，增加了小目標檢測的準確率。改進后的YOLO V3算法損失函數如下：

為了驗證改進后損失函數的有效性，使用改進后的損失函數代替原YOLO V3中的損失函數，Anchor Box大小選用表1中原YOLO V3方法得到的數值。表2展示了使用不同的損失函數，在KITTI數據集上目標檢測結果對比。從表2 中可以看出，使用改進損失函數的YOLO V3算法在KITTI數據集上目標檢測的平均精度有明顯的提高，檢測平均精度達到91.29%，較原YOLO V3提高了1.22個百分點，且檢測速度達到43.08 幀/s。

表2 不同損失函數檢測結果對比

4 實驗結果分析

4.1 實驗環境及參數設置

本次實驗的數據集選用KITTI 數據集，KITTI 數據集包含市區、鄉村和高速公路等場景采集的真實圖像數據，每張圖像中最多達15輛車和30個行人，還有不同程度的遮擋與截斷。本文對KITTI數據集原有的8類標簽信息進行了處理，保留實驗需要的person 類別標簽，同時選取該數據集中9 476 張圖像作為實驗數據，并分成了兩部分。其中7 107 張圖像用于訓練數據集，其余2 369張圖像用于測試數據集。實驗基于Windows平臺通過Python 語言編程實現，應用深度學習框架Tensorflow 1.4作為后端的Keras 2.1.3搭建網絡模型，硬件環境為Intel?Core?i7-8750H CPU@3.60 GHz、8 GB RAM、NVIDIA GeForce GTX 1050 Ti。對比實驗硬件配置環境相同。

對YOLO V3算法和改進的YOLO V3算法分別采用批梯度下降的方式進行訓練，參數設置以YOLO V3論文（文獻[17]）樣本訓練時參數設置為基礎，并對部分參數調整，經過反復試驗選取效果最佳的參數。樣本訓練總共進行50 000 次迭代計算，其中批量大小設置為64，初始學習率設定為0.001，動量為0.94，權重衰減系數為0.000 2。當訓練迭代次數為25 000 次和40 000 次時，分別將學習率降低為0.000 1 和0.000 01，使損失函數進一步收斂。同時將訓練的圖像進行飽和度和曝光度調整、圖像翻轉、增加對比度等方法處理，使訓練數據集中的圖像進行增強和擴充。

4.2 實驗結果

4.2.1 對小目標檢測的結果

選取三組國內城市道路圖片，分別使用原始YOLOV3算法和改進后的YOLO V3算法進行道路行人檢測，并加入小目標檢測算法Perceptual GAN[27]對同一場景小目標進行檢測。圖4展示了檢測結果，其中圖4（a）中改進的YOLO V3 算法有效地檢測出了遮擋的環衛工人，而小目標檢測算法Perceptual GAN 和原始YOLO V3 算法漏檢了此小目標，圖4（b）中原始YOLO V3 算法漏檢了2 個行人小目標，小目標檢測算法Perceptual GAN只檢測出了其中一個行人小目標，而改進的YOLO V3算法準確地檢測出了漏檢的2個行人小目標的位置，圖4（c）中改進的YOLO V3 算法準確地檢測出了原始YOLO V3漏檢的被遮擋的外賣騎手和遠處的2個行人小目標，而小目標檢測算法Perceptual GAN相比改進的YOLO V3算法未檢測出被遮擋的外賣騎手且漏檢了一個行人小目標。可見，原始YOLO V3算法對道路中的行人小目標存在漏檢的情況，而改進的YOLO V3算法可以有效地檢測出道路中的行人小目標，且相比小目標檢測算法Perceptual GAN 對小目標的檢測效果有進一步提升。

圖4 小目標檢測的結果對比

為了進一步驗證本文提出方法能夠有效降低小目標漏檢率，選取目標檢測算法評價指標精度、召回率和F1 指標對改進的YOLO V3 算法進行評價。表3 展示了YOLO V3算法改進前后在KITTI數據集上目標檢測結果評價指標的對比結果。從表3中可以看出，相較原YOLO V3 算法，改進后的 YOLO V3 算法在 KITTI 數據集上目標檢測的精度、召回率和F1指標均有所提升，其中對小目標檢測的召回率提高了1.65 個百分點，達到90.18%。

表3 YOLO V3算法改進前后評價指標對比%

4.2.2 與其他目標檢測算法的結果對比

將本文改進的YOLO V3算法與Fast R-CNN、Faster R-CNN、SSD、YOLO、YOLO V2、YOLO V3等目標檢測算法均使用本文選取的KITTI數據集進行行人目標檢測任務的訓練與測試，并選取平均精度與檢測速度兩項指標對各算法進行評價。表4 展示了Fast R-CNN、Faster R-CNN、SSD、YOLO、YOLO V2、YOLO V3 與改進的YOLO V3算法的對比實驗結果。

表4 不同目標檢測算法結果對比

從表4中可以看出兩階段目標檢測算法Fast R-CNN和Faster R-CNN 的平均精度分別為63.52%與74.69%，但檢測速度較低，這主要是由于兩階段目標檢測算法在檢測過程中候選區域生成網絡（RPN）生成包含待檢物體的候選框會增加網絡模型的計算時間。使用單階段目標檢測算法YOLO和YOLO V2檢測目標，雖然檢測速度得到了很大提升，但平均精度卻有所下降。單階段目標檢測算法SSD較兩階段目標檢測算法Fast R-CNN和Faster R-CNN在平均精度和檢測速度方面都有較大的提升，但與原始YOLO V3算法在檢測的平均精度和檢測速度方面具有一定的差距。表中未改進的目標檢測算法中性能最好的是YOLO V3 算法，其獲得了90.07%的平均精度和42.17 幀/s 的檢測速度，而本文改進的YOLO V3算法較原始YOLO V3算法對行人目標檢測在平均精度上又進一步提升，達到了92.43%，同時檢測速度超過原始YOLO V3 算法，達到44.52 幀/s，實現了實時檢測。

5 結論

針對通用目標檢測算法在檢測小目標時效果不佳、漏檢率較高的問題，本文對YOLO V3深度神經網絡模型算法進行了改進。首先優化了聚類算法，并選取了更合適的Anchor Box，提高了檢測的平均精度和速度；然后引入Focal Loss損失函數代替原YOLO V3算法中預測框定位平方和損失函數、置信度交叉熵損失函數及類別概率交叉熵損失函數，加快了初始收斂速度，減小了梯度消失的影響，提高了小目標檢測的平均精度；最后將改進的YOLO V3 算法應用于道路行人目標檢測并與原始YOLO V3算法進行定性對比實驗，同時運用改進的YOLO V3算法與Fast R-CNN、Faster R-CNN、SSD、YOLO、YOLO V2、YOLO V3等目標檢測算法在行人目標檢測方面進行了定量對比實驗。實驗結果表明，本文改進的YOLO V3 算法能夠有效降低小目標檢測的漏檢率，大大提高檢測的平均精度和檢測速度，本實驗檢測的平均精度達92.43%，檢測速率達44.52 幀/s。

本文雖然將YOLO V3 算法改進并應用于小目標檢測，同時取得了較好的實驗結果。但目前改進的YOLO V3 算法僅應用于行人小目標檢測方面，而實際應用中往往是多類目標同時檢測，因此，今后將加入更多不同類別的小目標同時檢測，以進一步提升算法的識別率和實用性。