基于Dense-YOLOv3的車型檢測模型①

陳立潮,王彥蘇,曹建芳

1(太原科技大學 計算機科學與技術學院,太原 030024)

2(忻州師范學院 計算機系,忻州 034000)

目前,交通強國作為國家的發展戰略,快速發展信息化、智能化的交通對一個國家至關重要,因此,智慧交通[1]市場存在非常大的潛力.現階段,智慧交通利用高新IT 技術[2]如:大數據、人工智能、云計算、物聯網等,將其融入到智能交通中,向交通有關部門實時提供當地交通服務信息,達到人、車、路和諧統一,對改善運輸環境、保障交通安全和提高交通運輸效率具有重要意義.其中,車輛檢測作為智慧交通關鍵技術,具有重要的理論研究價值.

迄今為止,卷積神經網絡[3]掀起了兩大檢測技術潮流:一是以R-CNN 為首的兩刀流算法,先生成可能區域[4]即采用CNN 提取特征,再將提取到的特征放入分類器進行分類;二是以YOLO 為首的一刀流算法,直接對圖片或視頻中的目標物體進行回歸.Girshick 等[5]提出的啟發式方法R-CNN,即通過生成候選區域來檢測目標物體,并且降低了信息冗余度;He 等[6]提出的SPP-NET 利用先卷積再生成候選區域,減少R-CNN 的存儲量,一定程度上加快訓練速度;Girshick[7]提出的將R-CNN 的串行結構改成并行結構的Fast R-CNN、Ren 等[8]又提出Faster R-CNN 使得網絡學習到深層、抽象、語義特征,提高了生成的候選區域可靠程度、He 團隊[9]又對Faster R-CNN 做出改進即加入了一個圖像的Mask 信息輸入的Mask R-CNN 算法.以上方法在大量生成無效區域的情況下會產生無關的算力、少量的生成區域則會發生漏檢,并且在跨平臺的交互一定會損失算法效率.而YOLO 系列的算法核心思想是利用網絡結構中優秀分類效果的分類器,將圖片中的目標物體先給出一個大致的范圍進行檢測,然后再不斷迭代該范圍直到一個精準的位置.其中典型的算法有Redmon 等[10]提出的YOLO;Liu 等[11]使用的SSD;再由Redmon 團隊[12,13]提出的YOLO9000、YOLOv3算法等.

綜上所述,YOLO 系列算法和R-CNN 系列算法分別在各個不同領域方向具有自己獨特的優勢.為了提高車輛檢測效果,本文采用R-CNN 系列中的DenseNet網絡與YOLO 系列的YOLOv3 集成的方式,綜合利用DenseNet 網絡中稠密連接的優點,有效解決了傳統YOLOv3 的網絡結構無法適應特殊車型數據集導致準確率低的現象,而且還滿足實時性的要求.

1 Dense-YOLOv3 車輛檢測模型

1.1 YOLOv3 模型

YOLOv3 模型是以框架Darknet-53 作為車型特征提取容器與多尺度特征融合檢測支路兩部分共同構成網絡結構,Darknet-53 結構如表1所示.YOLOv3 的核心思想:首先通過網絡層的特征提取器對輸入圖片進行特征的提取,提取到不同大小的特征圖;然后在網絡中將圖像劃分為13×13 的網格;其次通過Ground Truth 確定目標物體的中心坐標位于網格中的哪個單元格,利用該單元格對目標物體進行預測,網格中的每個單元格預測3 個邊界框;最后將這3 個邊界框與Ground Truth 通過交并比即IOU 技術[14]選出最大邊界框來檢測出目標物體,輸出目標物體的所在圖片中的坐標信息以及置信度[15].

表1 DarkNet-53 網絡結構

1.2 Dense-YOLOv3 網絡

從理論上講,加深網絡結構模型會取得很好的識別結果.然而,大量實驗結果表明,深層的網絡結構存在退化問題,He 等[16]提出的殘差網絡ResNet 來解決了深層網絡退化問題.YOLOv3 模型中加入了殘差模塊,使得車型特征在YOLOv3 深層網絡中得到很好的訓練,網絡的性能也提升了.但是,Darknet-53 中的5 個具有不同尺度的、深度的殘差層,各個殘差層之間只進行求殘差操作,即只是將該層與前邊某兩層進行相加連接,從信息流通角度來看,當前層并未徹底收到前層提取到的車型特征信息,很容易漏掉一些關鍵的車型信息.因此,為了使提取到的車型信息更加完善,本文算法將特征提取結構DenseNet 網絡與傳統的YOLOv3模型相融合,綜合利用了密集網絡中每一層都會接收到前邊所有層的特征信息,將其作為該層的額外輸入,此連接機制更加激進.文中密集卷積神經網絡將提取到的車型特征信息進行重復利用以及其淺層網絡復雜度低的優點,對存在異常情況下的車輛有很好的檢測效果.

1.2.1 DenseNet 模塊

Huang 等團隊[17]通過引用殘差網絡(ResNet)思想,但不同于ResNet 網絡的跳躍連接,而是將在網絡層一端輸出的特征圖和另一端得到的特征圖拼接在一起進行學習,從而形成更多的特征圖,相當于將前面層提取到的特征又在后邊的網絡進行重復利用.在網絡中,通過利用這種拼接方式連在一塊的多個層被稱為密集卷積塊(Dense Block),并且在每個密集卷積塊之間的層叫做轉移層,如圖1所示.

圖1 Dense Block 圖

DenseNet 網絡中,為了減少特征圖的數量,在Dense Block 中的3×3 卷積核前加入了1×1 的卷積核,不僅可以融合各個不同通道的特征,而且其降維的方式減少了計算量.此外,密集卷積塊之間又通過1×1 的卷積核進行連接,又壓縮了參數量.在密集網絡中,第L層的輸出為:

其中,Hl表示非線性變換,隨著層數增加,就會將大量線性函數進行復合,相比于其他神經網絡,此處的非線性變換使得DenseNet 網絡有很好的泛化性能,[X0,X1,···,Xl?1]表示第0 到l?1層輸出的特征做通道合并.通過采用密集卷積塊,對于網絡層數增加不再是問題,有效解決了梯度消失,而且網絡訓練效果非常好.

1.2.2 Dense-YOLOv3 網絡

Dense-YOLOv3 網絡結構模型如圖2所示,該模型利用DenseNet 網絡與YOLOv3 多尺度預測兩者相融合,密集連接網絡DenseNet 比其他網絡效率更高,其關鍵在于網絡中將后續層與其前邊任何層進行直接連接,改善了層與層之間的信息交流,使得淺層網絡提取到的特征進行了重復利用.

將標注好的車型數據集按照具有RGB 三通道圖像輸入到Dense-YOLOv3 模型的密集網絡框架中進行特征的提取.首先,進入設定步長為2 的7×7 卷積核,緊接著采用3×3 進行最大池化;接著,依次進入數量分別為6、12、24、16 個圖1中的Dense Block 集,其中,將3 個不同層次的特征圖送到y1、y2 和y3 通道,如圖2所示提取到的車型特征圖,另外,密集卷積塊之間通過轉移層連接,該層使用卷積核大小為1×1、步長為2 的2×2 進行均值池化,到此階段,Dense-YOLOv3模型的車型特征的提取階段已經完成;然后,利用神經網絡每一層可以提取到高、中、低各個層次的車型特征信息,并且將不同層次特征信息進行組合的原理,在Dense-YOLOv3 模型中分別采用13×13、26×26、52×52 三個不同的尺度在不同網絡深度通過卷積核操作再進行局部特征信息的交互:在最大尺度為52×52層中,先將通道為1024 個經過一系列卷積操作減小為3×(4+1+類別數),即33 個,在這個基礎上進行回歸,同理,再對中尺度26×26、最小尺度13×13 分別也進行通道縮減,都減小為33 個,最后,將最小尺度層與中尺度層一起進行2 倍的上采樣、特征合并,實現最后目標物體車的檢測.

在Dense-YOLOv3 模型訓練中,考慮到數據集中車型Bus 與Truck 在輪廓、顏色和紋理等基礎結構上具有一定的相似性,并且網絡開始階段往往是對這些基礎結構進行信息的提取.因此,在訓練時利用高層獨特的泛化性能及易訓練優點,可以采用凍結低層網絡方式提高測試階段準確率.

1.2.3 算法流程與步驟

本文Dense-YOLOv3 模型的算法總體流程圖如圖3所示,分為3 個階段:數據的預處理(清洗、分類和標注)、對標注好的車型數據集進行訓練和未標注的車型圖片進行測試.

圖2 Dense-YOLOv3 模型

圖3 Dense-YOLOv3 模型流程圖

算法具體步驟如下.

(1)數據預處理

輸入:BIT-Vehicle 原始數據集

輸出:已標注訓練集(目標物體車的位置、類別)xml 文件和未標注的測試集

Step 1.在BIT-Vehicle 車型數據集(如圖4)中挑選具有代表性即不同光照強度和不同拍攝距離的圖片,隨機劃分訓練集和測試集;

Step 2.將訓練集用labelImg 工具進行標注形成xml 文件;

Step 3.利用代碼形式訓練集劃分為兩部分即train集和val 集;

Step 4.保留測試集圖片.

圖4 車型數據集

(2)網絡訓練

輸入:已標注訓練集xml 文件與對應圖片

輸出:訓練權重模型

Step 1.配置cfg 文件,設置學習率、類別數、batch和subdivisions 等超參數;

Step 2.前期階段,凍結部分層進行訓練;

Step 3.一個xml 文件經過卷積層、最大池化層和一系列密集卷積塊與轉移層提取車型特征;

Step 4.將Step3 中提取特征經過三個尺度的檢測框進行特征局部交互;

Step 5.計算出本文模型輸出與真實值y_true 之間的損失值;

Step 6.返回Step 3,在訓練過程中不斷調整網絡中的參數,使得損失函數達到一個前期穩定的收斂值,控制前期迭代次數結束前期訓練;

Step 7.開始后期階段,取消凍結層將進行全部層數的訓練;

Step 8.重復Step 3～ Step 5,達到迭代次數停止訓練.

(3)網絡測試

輸入:測試集、訓練權重模型

輸出:目標車位置及類別

Step 1.將測試集圖片放入網絡中;

Step 2.進行前向傳播,得到預測框與相應的類別;

Step 3.將網絡預測框與真實框使用IOU 技術得到接近真實框的預測框,如圖5所示.

圖5 IOU 技術展示

Step 4.Step 3 中的預測框與相應的類別求積得到置信度;

Step 5.設置閾值,過濾到低分的預測框,對剩余的預測框進行NMS 處理,得到最后目標物體車結果;

Step 6.循環Step 1～Step 5,直到預測完測試集即測試結束.

2 實驗分析與結果

2.1 實驗環境與數據集正文內容

硬件環境:在系統類型為Windows10 64 位操作系統和基于x64 的處理器、計算機CPU 型號為Intel(R)Xeon(R)W-2102 CPU@ 2.90 GHz、安裝RAM 的內存16.0 GB,以及使用GPU device 0:GeForce RTX 2080 Ti,設備上68 個多處理器、全局內存總量為11264 MB,每個線程塊共享內存48 KB、每個線程塊最大線程數為1024 上進行實驗的運行.

軟件環境:采用基于Theano 的深度學習框架Keras,是一個高度模塊化的神經網絡庫,簡化了編程復雜度.該框架有三大特性:在操作方面建模簡單;配置簡單;相比其他框架,對于不同模型算法,微調步驟簡單.另外,在算力上,從CPU 到GPU 上進行加速不需要任何代碼的改動,且性能沒有太多的損耗.

本文用于訓練與測試數據集選取了少部分研究學者們經常實驗用的BIT-Vehicle 車型數據集,一共有6 種類型的車型.該庫中的圖像均來自于實際路段的卡口高清圖像,與實際路況非常吻合,且受拍攝距離、光照強度以及天氣等的影響而拍攝到的多路況的車型圖像,更能突出深度卷積神經網絡在檢測效率上的優越性.本次實驗將每類車型數據集分為兩組,一組數據用來訓練,另一組用來測試.在BIT-Vehicle 車輛數據庫中,用于訓練的車型集共有5404 張,按照類別Bus、Microbus、Minivan、Sedan、SUV 和Truck 劃分為810、700、748、1357、845 和944 張;用于模型測試有3603 張車型集,將其按類別排列順序劃分為601、520、511、765、600 和606 張車型圖像.具體車型數據集分配如表2所示.

表2 實驗數據分配

2.2 實驗分析與對比

為了更好地驗證Dense-YOLOv3 在車型數據集上的網絡性能和使用價值,文中通過采用不同算法定性分析對比與實驗數據的定量分析對比兩部分進行研究.

2.2.1 定性分析

在本文中,分別采用文獻[13]、YOLOv3 增加4 層網絡[1]和Dense-YOLOv3 模型在已經準備好的測試集上進行檢測,如表3所示,其中,選取具有代表性即拍攝距離較遠且相似車輛和光線不同的圖片,分別采用單通道直方圖的重合度與差異值哈希法和亮度進行定量分析.其中YOLOv3 增加4 層網絡算法是在Darknet-53 網絡基礎上再增加12 層網絡即4 組卷積層+殘差單元共同構成的網絡結構.理論上講,神經網絡層數越大,其表達能力越強即提取到的車型特征信息越多,測試結果越顯著,但從表3中檢測結果可以看出,文獻[1]檢測效果并沒有文獻[13]那么明顯.

從主觀角度判斷圖片中目標物體車距離較遠;從客觀的角度判斷圖片的相似度,其由顏色和圖像指紋相結合,分別用單通道直方圖的重合度與差異值哈希法(dHash)來進行表示.dHash 算法都是值越小,相似度越高,取值為0–64,即漢明距離中,64 位的hash 值有多少不同;單通道直方圖的值為0–1,值越大,相似度越高.兩者進行結合,更能判斷不同算法檢測效果.從表4中看出,所選取圖片重合度為0.604、0.798 和0.602;dHash 值為16、12 和14.

圖片亮度表示光線暗或者曝光程度如何,一般規定一張圖片的平均亮度為128,對于一張正常拍照拍出來的圖片平均亮度應該是在[100,150].在表4中選取亮度為33.99、20.31 和166.95 的較暗與曝光的3 張圖片進行檢測研究.

從表3可知,對于檢測同為距離較遠的車,本文模型相比于文獻[13]、文獻[1]模型檢測準確,且檢測出正確車型概率分別為0.96、0.99 和0.93,而文獻[13]、文獻[1]模型雖然檢測出有目標物體存在,但是未能正確檢測出車型或者準確率比本文模型低.光線較暗和曝光較強車型圖片,本文模型正確檢測出車型且準確率高,而文獻[13]模型,雖然正確檢測出了車型,但是準確率沒有本文模型高,從表3中看到,檢測出多余框,準確效率差;文獻[1]模型雖然在網絡層數加大,但是相較于文獻[13]模型車型檢測錯誤.對于車型相似的圖片,文獻[13]與文獻[1]模型將Minivan 錯識別為Truck,而本文模型識別正確且準確率高.總體來說,本文模型不論在拍攝距離較遠和光線較暗、較強情況下,都能正確檢測出目標物體車的類型且準確率高,整體檢測效果明顯,出現漏檢的情況極少,達到了預期的效果.

2.2.2 定量對比

為了進一步測試車型圖片在本文模型中檢測效果明顯,本文又分別利用文獻[13]、文獻[1]和Dense-YOLOv3 網絡模型在車型數據集上進行定量分析比較,如表4所示.

在表4中通過采用性能指標平均精度AP、多類別平均精度mAP、準確率Precision和召回率Recall,這些數值更能直觀的反應出網絡的性能如何.準確率是指預測樣本中的實際正樣本數在所有正樣本中的占比;召回率是指預測樣本中的實際正樣本數占預測樣本數的多少;平均精度是由Precision-Recall 曲線所圍成的面積,其公式為:

且本文算法各類的Recall與Precision之間的關系圖如圖6所示.在式(3)中,積分中p為準確率、r為召回率,N代表此次實驗所用到的測試集數即為3603;多類別平均精度mAP是將所有類的AP值進行平均,公式為:

在式(4)中,Q 代表實驗數據集的類別數,即為6 類.

圖7為表4中各個算法的AP 與mAP 直觀圖.

為了更直觀綜合評價算法好壞,將精確率、召回率和F1 值這3 個指標在不同算法上的對比圖如圖8所示.從圖7中的召回率和準確度可知,本文算法相對于文獻[13]、文獻[1]找到正確的6 種車型圖片要多,并且準確率也相當高,比傳統的YOLOv3 高達3.8%,說明本文模型綜合利用密集卷積網絡提取到更多的車型基本結構特征;另外,本文算法平均檢測速度達到了28 fps,在與DenseNet 網絡集成后也保證了實時檢測效果;總體來看,本文算法在不同類別的車型情況下,各類的AP 相對于其他文獻[13]、文獻[1]兩種算法占很大的優勢,且多類平均值高出6.45%.因此,這些數據很好的驗證了本文模型優越性和使用價值.

3 結論與展望

文中設計的Dense-YOLOv3 模型通過將密集卷積神經網絡作為主要車型特征的提取,結合YOLOv3 中的三尺度檢測框進行局部信息的交互來實現目標車的檢測,綜合利用密集卷積網絡的優勢即在車輛存在異常環境下將提取到的車型特征信息進行重復利用,以此來提高了車型準確率,并且此模型在BIT-Vehicle 車型數據集進行了實驗驗證.先采用3 種不同的算法對拍攝距離較遠和光線不同圖片的檢測過程進行定性分析;然后在車型數據集上利用目標檢測指標性能參數進行定量分析對比.通過定性和定量的實驗分析,本文模型有較強的學習、抗過擬合能力,在實際應用中有很好的檢測效果并且有一定的使用價值.但是,實驗中的車型數據集有一些不足:車型數據集的種類較少、場景較為單一等的缺點.因此,在后續工作中將尋找更多樣的、不同場景下車型數據集進行實驗研究.

表4 算法對比

圖7 各算法AP 與mAP 圖

圖8 各算法的準確率、召回率、F1 值對比