基于樹莓派與神經計算棒的特種車輛檢測識別①

陳 璐,管霜霜,謝艷芳

1(上海浦東臨港智慧城市發展中心,上海 201306)

2(阿里巴巴科技(北京)有限公司,北京 100102)

車輛檢測與識別技術是目標檢測的重要分支,通過監控攝像頭對路面行駛的車輛進行檢測和識別,可以實現對不同車型進行分類和檢測預警,例如渣土車、油罐車以及公交車等特種車輛.上海臨港地區作為臨港自貿新片區的重要載體,處于高速建設發展過程中,因此時常有非法渣土車等特種車輛進入主城區,對于城運中心城市精細化管理而言,需要對每一輛非法渣土車輛進行識別和跟蹤,以便為執法過程提供指揮調度和歷史追溯.但在實際使用過程中,通常由于視頻監控中的車輛目標受到光線照射、拍攝角度、復雜背景以及遮擋等多種因素,使得車輛對象的檢測和識別在計算機視覺存在一定難度[1].近些年由于大數據和云計算技術的快速發展,算力水平得到進一步的提高,深度學習技術也迎來快速發展.在計算機視覺領域,通過卷積神經網絡來提取圖像特征并實現目標回歸檢測已成為未來發展趨勢,但仍存在硬件成本和能耗較高等問題,仍需進一步解決.

同其他目標檢測研究內容一樣,基于攝像頭的車輛檢測過程主要分為:生成候選窗口、提取特征以及車輛目標分類.在經典機器學習算法中,車輛目標檢測通常采用滑動窗口的方式生成候選區域,隨后利用人工創建特征的方式提取圖像特征,經典的方法包括梯度方向直方圖(Histogram of Oriented Gradient,HOG)[2]、不變尺度轉換算法(Scale-Invariant Feature Transform,SIFT)[3]以及多尺度Haar 小波特征[4]等.在分類識別的階段,經典算法主要采用的分類器主要為支持向量機(Support Vector Machine,SVM)[4]、自適應集分類器(AdaBoost)[5]等.由此可見,上述方法大多是基于人工創建特征進行的識別,特征提取的語義信息屬于較低的層次,適用性并不強.在實際應用中,傳統檢測方法針對特定場景需要投入大量的時間精力設計不同的特征,面臨很大的挑戰.近些年來,隨著深度學習技術的迅速發展,在各領域中的應用也逐漸成熟,自從2014年Girshick R 等[6]在目標檢測領域成功應用深度神經網絡后,目標檢測的研究方向就基本上被深度學習相關的算法和框架所占領.此外,從整體算法框架和處理思路上看,深度學習在檢測問題上的算法大致分為兩種:一種是基于候選區域生成的檢測算法,與傳統目標檢測算法相似,主要分為兩個步驟,即生成候選區、利用深度神經網絡對區域特征進行提取以及最后進行分類,這類方法以RCNN[7]、Fast-RCNN[8]、Faster-RCNN[9]系列算法為代表;另一種是基于回歸的檢測算法,即通過深度學習框架直接回歸出圖像中的目標對象以及分類,主要以YOLO[10]、SSD[11]等算法為代表.

本文主要基于樹莓派3 代B+作為基礎開發板[12],由于樹莓派是一種計算資源非常有限的設備,一般的深度學習算法很難運行在該設備上,因此通過Movidius神經元計算棒[13]來加速視頻處理,基于MobileNet+SSD 算法進行改進,針對車輛目標在監控攝像頭中的畫面屬于中等比例目標的特性,在不明顯增加計算量的前提下,對網絡層數和結構進行優化,更進一步的提取高層次圖像語義特征.經過實驗驗證,該網絡可以在樹莓派3 代B+開發板上達到平均4 幀/秒的處理速度,為了更好進行訓練,本文基于MSCOCO 數據集[14],同時結合自定義數據集制作適合應用場景的數據訓練集.通過使用該數據集進行訓練,本文取得了較好的識別效果,并在實際使用中進行了驗證.

總之,本文的主要總結如下:

(1)針對于有限嵌入式設備,本文通過Movidius 神經元計算棒進行加速,并驗證其有效性和低成本.

(2)基于MobileNet+SSD,通過增加高層圖像語義的提取特征來提高網絡的準確性,并在有限的計算資源中取得實際應用的效果,能夠滿足渣土車等特種車輛的檢測與識別效果.

1 車輛目標檢測模型的構建

1.1 車輛檢測網絡框架

在本文中,為了降低車輛檢測與識別的硬件成本,我們采用基于神經元計算棒的樹莓派3B+作為算法運行環境,由于該運行環境在存儲資源和計算資源方面都十分有限,所以像GoogleLeNet[15]、VGG[16]以及ResNet[17]等層級較深的網絡模型都不適用.因此為了實現車輛目標的檢測和識別,需要合理的設計一個網絡結構,在保持最終識別準缺率不下降太多的情況,讓算法模型所需的計算量和存儲量都得到進一步的降低.

1.2 通過MobileNet 模型提取特征

MobileNet 網絡模型[18]是由Google 公司在2017年提出的一種輕量級的卷積神經網,其主要的模塊結構叫做通道可分離卷積(depthwise seperable convolutions),單一卷積模塊結構如圖1所示.

圖1 MobileNet 的通道可分離卷積塊

MobileNet 的網絡結構是基于深度級可分離卷積塊的堆疊設計,其網絡結構基本思想就是將通道間的相關性和空間相關完全分離出來,同時降低計算量和所需參數量.與傳統的卷積網絡結構有所不同,MobileNet屬于深度可分卷積,其最主要的特點就是對特征圖中的各個通道進行卷積操作,然后將卷積操作之后的各個特征圖通道進行合并,通過1×1 卷積降低其通道數.MobileNet 網絡架構中的關鍵是深度可分卷積,因為其極大地降低了算法的復雜度,適用于嵌入式設備的應用.如圖2(b)所示,深度可分卷積通過將每個常規卷積層分成兩部分,深度卷積層和逐點卷積層使計算復雜度更適合于的移動智能設備

圖2 常規卷積與深度可分卷積對比

通過對比傳統卷積和深度可分卷積,如圖2(a)所示,傳統卷積輸入層為F∈RW×H×M,其中W為輸入層寬度,H為輸入層高度,M為輸入層通道數,卷積核大小為h,經過N個卷積核進行處理后,得到輸出層G∈其中輸出層寬度為Wc=(W-h+1),輸出層高度為Hc=(H-h+1),輸出層通道數為N.由此,計算常規卷積操作的時間復雜度如式(1):

深度可分離卷積主要由兩部分組成,深度卷積層與逐點卷積層.深度卷積層由M 個卷積核組成,分別針對輸入層進行卷積操作;逐點卷積層則利用1 ×1卷積進行逐點卷積,降低卷積操作的計算量,其時間復雜度如式(2):

由式(2)與式(1)進行相比運算,得到式(3).深度可分離卷積與 2D 卷積之間的乘法運算次數之比為:

由式(3)可知,對于目前大部分網絡模型來說,輸出層通常不止3 個通道,通常幾百甚至幾千個通道,即N?h2.如果使用的卷積核大小為3 ×3,經典卷積操作中的乘法運算要比深度可分離卷積多9 次,若使用大小為5 ×5的卷積核,則要多運算25 次.

1.3 基于SSD 算法進行車輛目標檢測與識別

基本的SSD 模型是通過VGG 網絡模型用來提取特征,通過將不同的卷積層特征進行融合來實現對不同類型目標的特征進行表達,提升目標檢測的效率.

在SSD 模型中特征的提取主要采用的是逐層提取和抽象的思想,較低層級的特征主要針對占比較小的目標,而高層特征主要對應占比較大的目標[19].因此SSD 模型算法如式(4)、式(5)所示.

其中,Tn標識第n層的特征向量,Sn表示由第n-1層特征向量經過非線性的預算得到的第n層 特征向量,S1(I)則表示對于輸入的圖像I,經過非線性運算后得到的第1 層的特征向量;D(·)表示所有檢測的中間結果集合后的最后輸出.由式(4)、式(5)可以看出,第n-1層的特征向量將決定第n層特征向量,因此如果要更加準確的檢測出目標對象就需要獲取足夠量的特征信息.

由于SSD 算法可以不用產生候選區域,直接就生成了物體的類別概率以及定位坐標,經過單次檢測運算即可獲得最終檢測結果.本文將SSD 與MobileNet激進型融合,使用 3×3的卷積核進行深度可分卷積操作,在不增加運算量的前提下保證了模型的準確率.在實際應用過程中,由于監控攝像頭受到安裝點位、日照光線以及地點不同,使得圖像的背景較為復雜,為了讓訓練的模型更適用于當前正在使用的監控攝像頭,針對監控攝像頭中的特種車輛目標進行改進.

車輛目標在監控畫面中屬于中型占比目標,因此本文以SSD 為主要檢測器,通過將MobileNet 與SSD進行結合,通過對多個高層特征信息的提取,通過以新樣本為補充從而對網絡進行再訓練以此提高模型對車輛目標的監測能力.另外,由于MobileNet 網絡具有更少層級、更少參數,可以使訓練后的網絡模型更加小巧、運算量遠小于傳統卷積神經網絡[20],具體網絡結構如圖3所示.

圖3 基于MobileNet+SSD 的車輛檢測網絡結構

對于輸入的視頻流圖像首先進入MobileNet 模型中,然后通過增加輔助卷積層結構來獲取分層特征.

2 基于神經元計算棒的特種車輛檢測

2.1 樹莓派與神經元計算棒

將上文中介紹的改進模型在完成訓練后,最終在樹莓派上進行部署和應用,如圖4所示.

本文采用的樹莓派版本為3B+開發版,該版本樹莓派的處理器為ARMv7 1.2 GHz、內存為1 GB RAM,其計算能力一般,但由于其成本低、適用性強等特性,應用范圍較廣.因此,為了在計算能力有限的樹莓派上運行較為復雜的深度學習算法,還需要采用Movidius神經元計算棒進行加速運算.Movidius 神經元計算棒是Intel 研發的VPU 模塊,可以通過USB 端口進行掛載,針對移動端和嵌入式設備的計算能力不足的缺點,Movidius 神經元計算棒能夠將深度學習網絡,如Caffemodel 編譯為可執行的Graph 格式,實現深度學習算法加速,支持在Tensorflow[21]和Caffe[22]框架下進行模型的訓練和預測.

圖4 搭建樹莓派與神經元計算棒開發環境

2.2 訓練數據集的制作

本文為了提高訓練數據的準確性,首先采用數據集圖像質量較高并同時標注完善的MS COCO2014 作為初始的訓練集.MS COCO 數據集是計算機視覺領域中著名的數據集之一,包含日常生活中常見的91 個類別,Truck 就是其中一類.與PASCALVOC、ImageNet等數據集相比,由于MSCOCO 數據集中圖片背景更加復雜,目標數量較多,同時目標尺寸更小,因此通過MSCOC 數據集進行預訓練,提取只有 Truck 類別的目標圖片,制作COCO_Truck 數據集,最終一共包含5000 張訓練圖片和 2000 張驗證圖片.同時,為了保證訓練的數據涵蓋最終使用的場景,另外通過卡口的攝像頭補充1500 張訓練圖片,和500 張驗證圖片.新補充的數據集如下所示,其中包括夜間場景、日間場景以及相似車輛的場景(負樣本),如圖5所示.

圖5 補充樣本數據

2.3 開發與訓練過程

在開發和訓練階段需要對數據進行預處并在最后訓練結束時將算法模型編譯成神經元計算棒能夠執行的格式,具體流程圖如圖6所示.

圖6 開發與訓練過程流程圖

第1 步.數據預處理

將MS COCO 和新添加的數據集制作成訓練集和測試集,再將數據集轉化為LMDB 格式,便于算法進行讀取和使用.

第2 步.訓練

在數據集制作完成后,基于Caffe 框架進行渣土車的算法設計,利用帶有GPU 運算能力的服務器進行訓練,最終得到Caffe 格式的檢測模型,即Caffemodel 權重文件.在進行算法訓練環節中,通過使用配備顯存為11GBRTX2080Ti 的服務器進行訓練,設置的訓練迭代次數為250000 次.同時,為了提高算法識別的準確率,采用multistep 學習率衰減策略,學習率設置為0.006.

第3 步.神經元計算棒編譯

通過訓練所得檢測模型并不能直接使用Movidius神經元計算棒進行計算,需要將模型編譯成其可執行的格式,即Graph 格式.運行Movidius 神經元計算棒SDK 的mvNCCompile 模塊將Caffemodel 權重文件編譯成Movidius 神經元計算棒可執行的graph 文件.

第4 步.部署與預測

將檢測模型部署在樹莓派3B+開發板中,將樹莓派通過WIFI 連接到專有網絡,基于RSTP[23]協議實現視頻監控影像的實時數據回傳,并通過inference 檢測模塊,實現對graph 模型的運行來對回傳影像進行處理,實現特種車輛的檢測與識別.

3 實驗結果

本文主要通過改進的MobileNet+SSD 算法,并將其運行在計算資源和存儲資源有限的樹莓派+神經元計算棒平臺上,以此來實現更低成本的渣土車輛的檢測與識別.為了提高算法的適用性,本文主要基于MS COCO 數據集進行訓練,同時新增了如渣土車的負樣本、夜間場景、部分出現與遮擋等監控圖片和標注.圖7為訓練MSCOCO 數據集與自定義的人工標注數據集的訓練loss 曲線,可以看出MSCOCO數據集的基礎上進行訓練,最后得到穩定的收斂結果.

為了比對本文選取的方法與采用GPU 的檢測識別算法的差異,本文主要采用的指標為FPS 與mAP 進行分析,FPS 表示每秒的識別幀數,mAP 表示平均準確度.通過使用平均精度均值(mean Average Precision,mAP)、通過mAP 指標來衡量檢測出的目標中正確的目標所占比率,測試結果比對如表1所示.

圖7 Loss 曲線

表1 本文算法與其他算法比對測試結果

在對比實驗中,本文主要從兩個方面進行分析:首先在相同的運算環境下,采用傳統機器學習算法HOG+SVM、深度學習算法Yolo-tiny 與本文算法進行比較分析,通過對比實驗可以看出本文算法要優于以上兩個算法,雖然在FPS 方面要略遜于Yolo-tiny,但在實際應用過程中可以忽略本文算法的不足;此外,通過將部署在GPU 環境的SSD 算法與本文算法將進行比較,可以看出在GPU 環境下FPS 可以達到20,而mAP與本算法是相近的,但GPU 環境下的耗電量以及采購成本都遠遠超過本文提出的算法和架構,可見在實際工程應用中,本文提出的算法和架構更具優勢.

同時,為了驗證本文提出的算法和架構在實際使用中的有效性,在實驗中選取白天(非高峰時段)、夜間以及多車輛場景進行對比驗證,具體如表2所示.

表2 本文算法在不同場景下的對比結果

圖8為基于樹莓派+神經元計算棒的運算環境下使用本文提出的MobileNet+SSD 的算法識別效果,可以看到在白天、夜間場景和多車輛的場景下以及部分出現與遮擋的場景中,都取得了不錯的效果.

4 結語

本文基于樹莓派與Movidius 神經元計算棒作為計算平臺,通過將MobileNet 與SSD 進行結合提出能夠在計算資源有限的平臺上運行的車輛目標檢測與識別算法,在更低成本和更低能耗的條件下可以實現實時目標檢測,并實際應用中進行驗證.未來通過對車輛目標檢測網絡進行持續優化,實現針對車輛目標的結構化輸出,以及跨攝像頭的目標檢索.

圖8 本文提出的MobileNet+SSD 算法識別效果