基于改進YOLOv3和立體視覺的園區障礙物檢測方法

胡丹丹，張莉莎，張忠婷

(中國民航大學 電子信息與自動化學院，天津 300300)

0 引言

由于封閉園區環境具有結構化程度高、道路環境簡單、行駛路線固定等特點[1]，無人駕駛技術在園區物流、園區巡邏等場景的應用越來越廣泛。障礙物的準確檢測是園區無人車安全行駛的基礎，也是當前無人駕駛技術研究的重難點之一。其中基于視覺的障礙物檢測方法具有成本較低、檢測內容直觀、檢測范圍廣泛等優點，是目前最常用的檢測方法。

傳統的視覺障礙物檢測算法以基于人工特征提取方法為主[2]，存在計算復雜度高和檢測速度慢等問題[3]。基于深度學習的障礙物檢測算法主要分為基于區域建議和基于邏輯回歸兩類。其中，以R-CNN[4-6]系列模型為代表的基于區域建議算法生成樣本候選框，通過卷積神經網絡進行樣本分類[7]，此類算法檢測精度較高，但計算復雜度大，無法滿足實時性要求；而以YOLO[8-10]系列模型為代表的基于邏輯回歸算法不需要生成候選框，網絡直接輸出邊界框信息，檢測速度和精度均有所提升，但仍存在少量漏檢情況。

因而提升檢測精度和速度成為近幾年障礙物檢測算法改進的重點。針對文獻[10]存在的問題，文獻[11]采用數據增強、引入CIOU(Complete Intersection Over Union)損失函數等方式，平均精度提升的同時檢測速度有所犧牲；其優化版本YOLOv5減小模型體量，檢測速度有較大提升，但適用場景和精度均受到影響。

綜上發現，文獻[10]采用的YOLOv3算法在檢測精度和速度上均具有較好的表現。近幾年，國內外諸多學者針對基于YOLOv3的檢測方法作出了不同程度的改進。文獻[12]通過采用Gaussian-YOLOv3與變形卷積技術，有效解決了小目標的檢測問題；文獻[13]結合Tiny-YOLOv3和目標跟蹤算法，提升了無人機針對地面目標的檢測速度；文獻[14]通過改進特征提取網絡和定位損失函數，降低了非機動車類目標的漏檢率；文獻[15]考慮融入平滑標簽，改進特征提取網絡結構，一定程度解決了行人檢測實時性和精度不能同時兼顧的問題。

基于以上研究，為實時準確獲得園區障礙物的類別與位置信息，本文提出一種結合改進YOLOv3和立體視覺的園區無人車障礙物檢測方法：通過優化特征提取網絡、引入GIOU損失函數、采用k-means++聚類方法對YOLOv3算法進行改進，并結合立體視覺測距原理獲得無人車與障礙物的距離，實驗結果表明在公開數據集與園區自建數據集上均取得較好的檢測效果。

1 YOLOv3算法

如圖1所示，YOLOv3的網絡結構主要包括基礎網絡和YOLOv3分支。其中Darknet-53負責特征提取，YOLOv3分支負責目標檢測。YOLOv3網絡將圖片尺寸放縮到416×416作為網絡輸入，輸入的障礙物圖像經過daknet-53特征提取網絡后得到3個尺度(13×13、26×26、52×52)的特征圖。接著將輸入的圖像分為S×S個網格，每個網格單元負責預測3個邊界框。預測信息包含邊界框的位置及尺寸信息(目標中心坐標(x，y)與邊界框尺寸(w，h))、置信度得分及其屬于某類別的條件概率。最后設置得分閾值，通過非極大值抑制過濾分數較低的邊界框，其余邊界框信息將作為最終的障礙物檢測結果輸出。

圖1 YOLOv3網絡結構圖

2 結合立體視覺的改進YOLOv3算法

目前基于YOLOv3的障礙物檢測研究中普遍存在檢測實時性差、具體場景檢測準確率低等問題，本文針對園區無人車障礙物檢測場景，對YOLOv3算法進行特征提取網絡結構、損失函數和聚類方法三方面的的改進。

2.1 特征提取網絡結構改進

考慮到無人車障礙物檢測的實時性要求以及園區檢測目標多為行人和非機動車的中小型目標的情況，對YOLOv3采用的Darknet-53特征提取網絡結構進行以下改進。

1)網絡結構簡化：

如圖1所示，DBL是YOLOv3的基本組成部件，在DBL單元結構中，批次歸一化(batch normalization，BN)層一般置于卷積層之后，非線性處理單元(Leaky RELU)之前。其計算過程[16]如公式(1)所示，首先計算輸入數據均值μ和數據方差σ，然后對輸入數據進行標準化操作，訓練縮放因子γ與偏置參數β，經γ、β線性變換后得到新的輸出值y。

yi←γxi+β≡BNγ,β(xi)

(1)

對輸入數據進行標準化操作之后，能夠有效解決梯度消失與梯度爆炸的問題，在模型訓練時起能加速網絡收斂，并減少過擬合現象出現的可能性。但同時BN層會在網絡前向推理時增加模型運算量，影響檢測性能，占用更多存儲空間，導致檢測速度變慢。本文將BN層的參數合并到卷積層，進而減少模型運算量。合并后的權值參數ω、偏置β與縮放因子γ、均值μ呈正相關，進而提升模型前向推斷速度。

其中YOLOv3中卷積計算結果如公式(2)所示，xi、ωi分別為輸入數據和權值參數，輸出為二者卷積之和。公式(3)中μ、σ分別為數據均值和方差，γ、β分別為縮放因子和偏置參數，xout即為BN計算結果。

(2)

(3)

將BN層參數與卷積層合并后的計算結果如公式(4)所示，變量含義與上文相同。合并后權值ωi和偏置β如公式(5)～(6)所示。

(4)

合并后權值ωi為：

(5)

偏置β為：

(6)

故合并后的計算結果為：

(7)

卷積層與BN層合并后，可以共用Blob數據，進而降低內存的占用，提升速度。

2)多尺度檢測改進

將輸入圖像尺寸統一放縮到416×416，特征提取網絡對輸入圖像進行下采樣(subsampled)操作，每次下采樣對應得到一個尺度的特征圖。具有較大分辨率的淺層特征圖涵蓋更多的位置相關信息，具有小分辨率的深層特征圖涵蓋更多的語義相關信息。將深層殘差塊采樣得到的特征圖與淺層殘差塊采樣得到的特征圖進行融合，可以增強淺層特征的語義信息，同時在細節信息最多的特征圖上給待檢測障礙物分配最精準的邊界框，提高對小目標物體的檢測性能。

如圖2所示，本文在 YOLOv3原有3個檢測尺度的基礎上進行擴展，添加一個尺度的特征圖。經過2倍上采樣后，特征尺度輸出為104×104，將第11層特征提取層與第109層route層、第85層與第61層，第97層與第36層進行融合，充分利用各層特征。特征圖大小依次變為了208、104、52、26、13；4個尺度大小為104×104、52×52、26×26和13×13。4個特征尺度分別為：104×104，52×52，26×26和13×13。最后借鑒特征金字塔網絡(FPN，featu-re pyramid network)結構進行特征融合，其中新增加的104×104特征圖采用更精準的錨框(anchor box)，提高算法對小目標的檢測精度，同時緩解了在密集車輛和行人環境下待檢測目標的錯檢和漏檢問題。

圖2 多尺度YOLOv3網絡結圖

網絡首先依次對4個尺度(13×13、26×26、52×52、104×104)大小的特征圖進行處理；然后將前3個尺度(13×13、26×26、52×52)的特征圖上采樣后與較大一個尺度的特征圖拼接后分別送至檢測大、中、小目標的YOLO層；最后與新增加的104×104的特征圖進行拼接操作后送到剩余YOLO層，實現4個尺度的融合操作。由此可以獲得一個強語義信息，并且在每個融合后的特征層上單獨進行預測。

預測的輸出張量中包括3部分內容，分別是障礙物邊界框、障礙物目標和障礙物類別。改進后的YOLOv3將融合后生成的特征圖細分為S×S的網格(根據具體特征圖包含13×13、26×26、52×52、104×104)，每個網格需要預測3個不同的邊界框，進而輸出張量應當表示為S×S×[3×(4+1+3)]，包含4個障礙物邊框偏移參數，1個障礙物目標和3個障礙物類型。

2.2 損失函數改進

交并比(IOU，intersection over union)是比較兩個任意形狀之間相似性最常用的指標，IOU定義如公式(8)所示，其中A、B表示預測框與真實框。

(8)

YOLOv3原始算法采用IOU作為性能指標和邊框損失函數。但物體重疊時IOU值為零，無法反映兩物體之間的距離；物體不重疊且梯度為零時，無法進行參數優化。因此本文選用推廣IOU(generalized intersection over union，GIOU)[17]代替IOU。GIOU與IOU定義一致，并且維持尺度不變性，在重疊情況下與IOU具備強相關性。GIOU的計算公式如公式(9)所示，C為可以將A和B包圍在內的最小封閉形狀。

(9)

在YOLO和YOLOv2的基礎上，YOLOv3將分類損失調整為二分交叉熵。如公式(10)所示，其損失函數依次由五部分組成：邊框中心位置誤差、邊框寬度與高度誤差、邊框內包含檢測目標時的置信度誤差、邊框內不包含檢測目標時的置信度誤差和目標分類誤差。

(10)

若值為1，則第i個網格的第j個anchor box負責預測該目標邊界框。本文采用GIOU作為邊框損失函數，首先輸入預測邊界框與真實邊界框的坐標值，并將預測值進行排序，然后分別計算、及二者交集的面積 ，隨后找出最小包圍框I，其中：

(11)

最小包圍框的面積為：

(12)

最后計算GIOU、LGIOU，其計算公式如公式(13)～(14)所示。

(13)

LGIOU=1-GIOU

(14)

2.3 聚類方法優化

YOLOv3采用anchor box機制進行邊界框預測，并選用k-means聚類方法對anchor box進行初始化，獲得一組固定尺寸的候選框。特征圖的尺度與anchor box的尺寸信息成反比，較大尺度的特征圖使用較小的anchor box進而獲得小目標的檢測信息，較小尺度的特征圖使用較大的anchor box進而獲得小目標的檢測信息。例如，YOLOv3在COCO數據集上，可得9種anchor box的尺寸信息如表1所示。

表1 YOLOv3 的先驗框尺寸

考慮到KITTI、PennFudanPed等數據集中圖像尺寸過大，且k-means聚類方法在初始聚類點選擇時具備過強的隨機性和較大的時間復雜度，本文采用k-means++算法[18]對數據重新進行聚類，獲得更恰當的聚類中心。

k-means++的基本思想是使所有被選擇的初始聚類中心之間的距離值盡量大。首先從輸入的眾多數據點中任意選擇一個數據點作為首個聚類中心x，然后針對數據集合中的每一個點a，計算其與最近聚類中心(當前已選擇的聚類中心)的距離：d(a)；接著對聚類中心點重新進行選擇(依據是當前d(a)最大的點)，重復以上操作，直至k個聚類中心點均被選出；最后用選出的k個初始聚類中心運行原始k-means算法，進而獲得k個anchor box的尺寸信息。

考慮到本文數據集與公開數據集的差異，原始參數會影響模型訓練時間和準確性，因此本文采用k-means++算法對園區障礙物數據重新進行聚類分析，針對設置的4種尺度，基于本文數據集最終得到如表2所示的12種anch-or box大致尺寸信息。

表2 k-means++聚類的先驗框尺寸

2.4 結合立體視覺的障礙物檢測流程

針對封閉園區場景內無人車障礙物實時檢測需求，首先對立體視覺相機左側圖像使用改進YOLOv3網絡模型進行障礙物目標檢測，得到其類別及預測框信息；然后結合立體視覺相機獲取左右兩側圖像，進行立體匹配處理，通過深度計算獲取障礙物與相機的距離信息，最終實現障礙物的類別與位置檢測。檢測流程如圖3所示。

圖3 障礙物檢測流程

3 實驗

3.1 實驗設置與數據集制作

本文實驗選用NVIDIA GTX1060 GPU，操作系統為Ubuntu 16.04，軟件環境為CUDA9.0、Open CV3.4。ZED雙目立體視覺相機用于獲取深度信息，其基線距離為120 mm，幀率最高可達100 fps(Frames Per Second，每秒傳輸幀數)。

實驗選用KITTI公開數據集中的校園場景圖像數據，包含車輛、行人等園區內主要類別障礙物，由于該數據集中車輛類別占比較大，導致首次訓練模型平均精度均值(mean Average Precision，mAP)僅為33%。因此，實驗增加復旦大學PennFudanPed行人數據集和自制園區數據集HD-campus并進行數據擴充。最終根據實際場景將園區內主要障礙物分為Car、Pedestrian、Cyclist三類，共包含11 050張圖像，按照6：2：2的比例分為訓練集、驗證集和測試集，將測試效果最好的模型用于實時場景檢測。

3.2 模型訓練

本文將訓練集中圖像統一轉換為416×416大小輸入網絡，訓練時設置32張圖像為一個批次，其它參數設置如表3所示。

表3 模型訓練參數設置表

經過20 000次迭代后的損失函數變化情況如圖4所示，橫坐標為迭代次數，縱坐標為損失函數值?？梢钥闯?，前2 000次迭代中平均損失下降速度較快，2 000～10 000次迭代平均損失緩慢下降，10 000次以后趨于穩定，只有小幅振蕩，說明模型訓練效果較好。

圖4 模型損失函數變化圖

結果顯示，迭代20 000次的收斂效果最為穩定，所以選取對應的權重文件作為障礙物檢測實驗的網絡模型。

3.3 實驗結果與分析

1)分步改進實驗：

為了提升模型的檢測速度，本文將BN層參數合并到卷積層，并隨機選取測試集中的10張圖片，在其他實驗設置相同情況下進行測試，對比合并前后的單幀圖像檢測速度。如表4所示，參數合并后，在本文實驗平臺上單幀圖像檢測時間平均減少25 ms，錄制視頻數據檢測幀率提升50%，且合并后檢測準確程度不受影響。

表4 單幀圖像檢測速度對比表

合并參數后，為了降低較小障礙物的漏檢率，本文在YOLOv3的基礎上增加了一個檢測尺度。如表5所示，四尺度的特征提取網絡結構較之前具有更高的檢測精度。其中，Car類提升效果最為明顯，mAP為98.55%，檢測幀率達到40 fps。其它數據類型也有明顯改善，平均檢測精度提升2.42%，平均幀率提升6 fps。數據表明，增加至4尺度的YOLOv3模型針對每一類數據的特征提取更精準，分類識別能力更強。

表5 多尺度改進檢測結果

如圖6所示，引入GIOU代替IOU作為邊框損失函數后mAP值較改進前提升了6.3%。其中，Car類檢測準確率最高，而Cyclist類檢測準確率提升效果最為明顯。實驗表明，采用GIOU能有效提升模型檢測精度與目標定位能力。

圖5 改進前后mAP對比圖

本文將改進后的模型與雙目測距算法結合，使用ZED雙目相機在校園(封閉園區)場景進行實時檢測。改進后的模型檢測平均幀率可達40 fps，滿足實時要求。圖6為實時檢測效果截圖，圖(a)、(b)和(c)中類別檢測未出現錯檢、漏檢情況，模型目標檢測效果較好。

圖6 實時檢測效果截圖

本文將改進后的模型與雙目測距算法結合，使用ZED雙目相機在校園(封閉園區)場景進行實時檢測。

本文根據公式(15)計算測距誤差e，其中dm和dt分別為測量距離和真實距離。

(15)

表6為圖6中障礙物測距實驗數據，參考相機參數及數據可知校園場景中3～20 m內障礙物測距檢測結果較為準確，圖(b)與圖(c)中距離較近或較遠的障礙物測距誤差稍大，平均測距誤差為4.67%，效果較好。

表6 實際場景測距結果

2)消融實驗：

本文從特征網絡改進、改進多尺度融合、定位損失函數、聚類方法四方面對YOLOv3進行改進，為單獨分析每一項對檢測效果的影響，設置消融實驗。如表7所示，設置五組實驗，確保其它實驗設置一致的情況下，從原始YOLOv3算法逐一添加改進項。實驗1只對特征網絡進行改進，實驗2在實驗1的基礎上增加改進多尺度融合操作，實驗3在實驗2的基礎上采用GIOU作為邊框損失函數，最后一組即為本文改進后算法。

表7 消融實驗結果

對比YOLOv3與實驗1可得，特征網絡改進不僅提升了檢測精度，檢測幀率也有明顯改善；對比實驗1、2、3和本文改進算法實驗，可以發現改進多尺度融合、采用GIOU邊框損失函數和優化聚類方法均能有效提升檢測精度，但會增加計算量，使幀率稍有下降；最終改進算法mAP達到98.57%，較原始算法提升4.19%，幀率提升5.1 fps。由此可見，本文的改進方案對園區障礙物檢測具有實際意義。

3)檢測效果對比實驗：

改進后模型檢測效果如圖7所示，進行數據擴充后訓練得到的權重文件更容易檢測到Pedestrian和Cyclist類別。圖(a)、(b)為KITTI園區數據集改進前后檢測效果對比，原模型未檢測出的障礙物，改進后模型均能有效檢測(圖(a)、圖(b)白色框選部分)；圖(c)選取了不同光照情況下的真實園區場景圖像數據進行檢測，原始YOLOv3模型法無法檢測出障礙物，改進后模型可準確檢測，對強光及陰影等環境適應性較好；圖(d)選取了多類型障礙物場景，原始模型存在漏檢現象，改進后模型使障礙物漏檢率降低，且幀率仍滿足實時檢測要求，可見本文算法可以提升園區環境內障礙物檢測效果。

圖7 改進前后檢測效果

將SSD、Faster R-CNN、近兩年改進算法、YOLOv3以及本文選用算法檢測結果進行比較分析。如表8所示，與YOLOv3原始算法相比，本文算法幀率增加了8 fps，mAP提升了4.19%，具有明顯改進效果；而SSD與Faster R-CNN在檢測精度或檢測速度存在明顯不足；與文獻[14-15]的改進算法相比，本文算法的mAP與幀率也有一定提升；與YOLO的較新版本YOLOv4和YOLOv5(YOLOv5中較為完善的版本YOLOv5l)相比，本文的算法能同時兼顧檢測精度與速度，可以較好適應園區環境障礙物檢測。

表8 多種算法檢測對比結果

4 結束語

針對園區無人車障礙物檢測存在的問題，本文提出結合改進YOLOv3和立體視覺的檢測方法。實驗表明，改進后的模型單張圖像檢測速度和實時檢測幀率均有提升，滿足實時性要求；針對陰影及強光照等惡劣環境的漏檢情況有較好改善；測距誤差穩定維持在厘米級。可見，本文的方法能更好地適用于封閉園區無人車障礙物檢測。

在接下來的工作中，將針對存在的問題進一步研究，豐富真實場景數據集和實驗平臺，繼續改進相關算法。