Vehicle-YOLO
——一種基于航拍影像的車輛檢測模型

姜淙文, 金立左

(東南大學,自動化學院,江蘇,南京 210096)

0 引言

無人機技術的進步為計算機視覺開辟了一個新的領域,在該領域中,需要對航空影像進行處理與分析。車輛檢測在航空目標檢測中有著至關重要的意義,在智能監控領域、交通流量分析領域以及特定車輛目標檢測與跟蹤領域等有著諸多應用[1]。然而,航拍影像中存在目標數量的密度與車輛尺寸的變化區間大以及拍攝場景復雜等問題,所以在航拍影像中兼顧車輛檢測的速度與精度成為了一項困難的任務[2]。因此,設計和開發適用于航拍場景的、功能強大的目標檢測算法非常重要。

航空圖像中車輛檢測的文獻可以分為基于描述符的方法和基于特征學習的方法兩大方向。基于傳統特征描述符的方法通常包括3個階段:車輛定位、特征提取和分類。對于車輛定位,滑動窗口是使用最廣泛的方法之一,但是窗口大小、步幅等參數選擇會影響檢測性能,導致增加了處理時間,與實時檢測的需求不符。對于特征提取和分類,各種特征描述符(如Haar特征、尺度不變特征變換、局部二進制模式、定向梯度直方圖(HOG)、Gabor濾波器、支持向量機(SVM)等)都用于目標分類[3]。

目前有方法使用軟通道結構的積分通道特征和AdaBoost分類器通過滑動窗口機制檢測車輛位置,然后基于HOG特征,將檢測到的空間區域進一步分類為不同的方向和車輛類型。同時也有其他研究人員提出具有不同描述符集的相似框架,以對梯度、顏色和紋理的局部分布進行編碼。也有對于原始的Viola-Jones對象檢測方案進行改進的方案,便于在無人機圖像中更好地進行車輛檢測。還有的方法建議使用詞袋模型,通過提取局部轉向內核描述符和方向感知掃描機制來執行車輛檢測。最近,一種空中物體檢測框架被提出,該框架集成了多種通道特征提取、特征學習、快速圖像金字塔匹配和增強策略。同時,也存在通過超像素分割和快速稀疏表示技術生成相關的車輛補丁,然后提取這些補丁的HOG特征并輸入SVM分類器中用于車輛檢測[4]。

基于特征學習的方法利用卷積神經網絡(CNN)從圖像中學習特征用于目標檢測。根據算法階段數,可以分為兩階段和單階段框架兩類。用于航空影像的最新方法主要使用兩階段架構基于快速/更快區域的CNN(R-CNN)框架在空中場景中檢測車輛。Faster R-CNN由區域生成網絡(RPN)和對象檢測網絡組成,計算成本較高[5]。一個名為YOLO的統一單階段模型被設計和提出來執行對象檢測和分類。近年,有一些檢測器在YOLO基礎上進行了改進(例如YOLOv2和YOLOv3),并得到了更好的目標檢測性能[6]。

兩階段目標檢測算法計算成本大,難以滿足實時性要求高的場合。為了能更好地適應實時性要求高的場合,工作著重于“一級”檢測器,這些檢測器更加注重效率和性能之間的權衡[7]。尤其是YOLOv3,作為“兩階段”網絡幾乎可以實現準確性,與之前的YOLO策略相比,在速度方面具有明顯的優勢。與超像素分割和快速稀疏表示技術來生成相關的車輛補丁和YOLO-9000相比,YOLOv3設計了強大的主干DarkNet53和多尺度的對象檢測結構。Darknet53的準確性接近于ResNet152,其速度要快得多,而多尺度網絡結構減輕了對小物體檢測困難的問題[8]。因此,本研究分別利用YOLOv3和YOLOv3-Tiny以及所提出的Vehicle-YOLO進行航拍圖像車輛檢測。

1 模型與方法

1.1 YOLOv3模型

YOLOv3是YOLO系列目標檢測算法中的第三版,相比之前的算法,借鑒殘差網絡結構形成了更深的網絡層次,以及多尺度檢測,使其對于檢測目標尤其是小目標的精度有顯著提升。YOLOv3網絡在3個不同尺寸的特征圖下,每個尺寸的特征圖預測出3個邊界框,特征圖中每個像素用3個錨框進行目標預測,這樣就得到了N×N×[3×(4+1+C)]。其中,N為格子大小(13×13、26×26、52×52),3為每個格子得到的邊界框數量,4為邊界框參數數量(x,y,w,h),1為置信度(包含類別和邊界框位置),C為類別數量[9]。YOLOv3網絡結構如圖1所示。

1.2 YOLOv3-tiny模型

YOLOv3模型雖然在速度和精度上達到了較好的平衡,但對于速度要求比較高的項目,YOLOv3可能達不到要求。因此,需要對網絡模型進行修改,例如去掉一些多余的模塊和網絡層。YOLOv3-tiny是在YOLOv3基礎上進行修改的,模型減少只保留了2個獨立預測分支,在檢測速度上有大幅提升,對于實時性要求高的場合能得到較好的滿足。然而,去掉一些層后,模型雖然速度上有所提高,但檢測精度在一定程度上下降[10]。YOLOv3-tiny網絡結構如圖2所示。

圖2 YOLOv3-tiny網絡結構

選擇YOLOv3還是YOLOv3-tiny模型需要根據實際項目進行合理選擇。若項目需要實時性和精度有較好平衡可以選擇YOLOv3;若工程項目允許犧牲一定程度的精度來獲得較高實時性,這時可以選擇YOLOv3-tiny。

1.3 Vehicle-YOLO模型

YOLOv3中采用原圖下采樣8倍、16倍和32倍的特征圖進行目標檢測,但是航拍圖像中小目標較多,若直接使用YOLOv3進行檢測,很多小目標容易被忽略掉,導致檢測精度較低。針對該問題,本文提出以下幾種優化機制。

(1) 為了檢測更多小目標,優化網絡檢測結構,采用原圖下采樣4倍、8倍和16倍特征進行目標檢測。

(2) 引入SPP模塊實現局部特征和全局特征的融合,豐富特征圖的表達能力,從而提高檢測精度。

(3) 為了減弱網絡退化,將原YOLOv3中的Convset模塊改為殘差連接的形式。

修改后的網絡結構如圖3所示。

圖3 Vehicle-YOLO網絡結構

2 實驗與結果

2.1 數據集描述和實驗平臺

本文使用VISDRONE無人機航拍數據集進行實驗,該數據集中總共8629張圖片,其中訓練集有6471張,驗證集有548張,測試集有1610張。數據集包含10種類別:行人、人、轎車、貨車、巴士、摩托、自行車、帶蓬的三輪車、三輪車、廂式貨車。

實驗過程中從數據集中抽取轎車、貨車、巴士用于進行車輛檢測。實驗平臺包含1.89 GHz CPU、16G RAM、Ubuntu 16.04.5 LTS操作系統的PC。算法在Python 3.6中實現,使用PyTorch深度學習框架,并用具有11 GB內存的GeForce GTX 2080 Ti顯卡加速。

2.2 網絡參數設計

實驗過程中把輸入圖像resize到最大邊為640像素,并將隨機梯度下降函數(SGD)作為損失優化函數,動量(momentum)設置為0.9,權重衰減項(decay)設置為0.0005,初始學習率為0.001,采用余弦退火衰減策略進行學習率調整。訓練中epochs設置為120,batch size為4,并采用多尺度圖像輸入方法進行訓練。輸入圖像在[416,640]區間隨機取值,最小取值是最大邊為416像素,最大取值是最大邊為640像素,取值間隔為32像素,采用多尺度訓練方法能提高網絡對輸入圖像大小的魯棒性。評估模型mAP時,IoU閾值取最常用的0.5。為了降低錨框重疊,使用非極大值抑制(NMS)對模型生成的邊界框進行處理,NMS的IoU閾值為0.6。

2.3 模型檢測結果

實驗中分別利用YOLOv3-tiny、YOLOv3和Vehicle-YOLO模型對航拍圖像中車輛進行檢測,檢測效果圖如圖4所示。從圖4中可以看出,YOLOv3-tiny對于一些細小目標不能有效檢測,同時對大尺度目標例如貨車也會發生漏檢;YOLOv3模型檢測時,對于一些尺度比較小的目標車輛無法有效檢測外,其他車輛都能實現較好地檢測,檢測效果可以達到令人滿意的程度。但Vehicle-YOLO模型基本能把航拍圖片中的車輛都檢測出來,說明本研究算法設計合理。小目標檢測效果差是由YOLOv3網絡結構本身限制的,YOLOv3采用密集框方法進行目標檢測,3個預測特征圖中,大尺度特征圖預測小目標,中等尺度特征圖預測中目標,小尺度特征圖預測大目標。這僅通過多尺度特征圖預測方法進行小目標檢測,并未針對小目標特征提取或降低尺度變異方向提出針對性措施。而Vehicle-YOLO針對檢測目標小的特點,針對性地修改網絡結構,從而提高航拍圖像中車輛檢測的精度。

(a) YOLOv3-tiny模型檢測效果

模型檢測精度和速度如表1所示。從表1可以看出,本文所提Vehicle-YOLO模型較YOLOv3精度高了13.29%,較YOLOv3-tiny精度高了20.36%。但是在檢測速度上,YOLOv3-tiny較YOLOv3和Vehicle-YOLO快了2.5倍。Vehicle-YOLO模型略微降低了檢測速度,但是在檢測精度上獲得了較大的提升,總體上本文所提的Vehicle-YOLO在速度和精度上取得了較好的平衡。在此情況下,可以合理根據工程需要選擇適合的模型進行航拍地面車輛檢測。

表1 3種檢測模型性能比較

3 總結

本文中分別利用YOLOv3-tiny模型和YOLOv3模型以及所提出的Vehicle-YOLO模型對航拍圖像車輛進行檢測。從模型檢測精度上分析,YOLOv3-tiny、YOLOv3和Vehicle-YOLO檢測精度分別為68.38%、75.45%和88.74%。本文所提模型較YOLOv3精度高了13.29%,較YOLOv3-tiny精度高了20.36%。從檢測速度分析,YOLOv3-tiny、YOLOv3和Vehicle-YOLO檢測速度分別為113 FPS、42 FPS和39 FPS。Vehicle-YOLO在精度和速度上得到了較好的平衡,滿足常用場景的實時性要求。研究過程針對小目標提出了具體的解決措施,檢測精度有顯著提升。但與此同時,對于多尺度目標仍有進一步提升的空間,這也是后續研究的重點方向。