基于CenterNet-GYolov3的車輛檢測方法

徐仲謀，楊亦樂，董 飛，沈夢藍(lán)

（上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院，上海 201620）

0 引言

目標(biāo)檢測作為計(jì)算機(jī)視覺領(lǐng)域中一個(gè)長期存在的、基礎(chǔ)性的、具有挑戰(zhàn)性的問題，幾十年來一直是一個(gè)活躍的研究領(lǐng)域[1]。目標(biāo)檢測的目標(biāo)是確定圖像中是否存在來自給定類別（如人類、汽車、自行車、動(dòng)物）的對(duì)象實(shí)例，如果存在，則返回每個(gè)對(duì)象實(shí)例的空間位置和范圍。作為圖像理解和計(jì)算機(jī)視覺的基石，目標(biāo)檢測是解決復(fù)雜或高層次視覺任務(wù)（如分割、場景理解、目標(biāo)跟蹤、圖像字幕、事件檢測和活動(dòng)識(shí)別）的基礎(chǔ)。目標(biāo)檢測的應(yīng)用領(lǐng)域十分廣泛，包括機(jī)器人視覺、電子產(chǎn)品、安全、自動(dòng)駕駛、人機(jī)交互、基于內(nèi)容的圖像檢索、智能視頻監(jiān)控和增強(qiáng)現(xiàn)實(shí)。

近年來，目標(biāo)檢測的方法層出不窮。2005年由朱明基于幀差背景差相融合的方法[2]、2013年，由李曉紅等人提出了基于 ORB特征的快速目標(biāo)檢測方法[3]。從結(jié)構(gòu)上，目前主流的兩大類分別是 onestage和two-stage目標(biāo)檢測方法。One-stage方法直接通過主干網(wǎng)絡(luò)給出類別和位置信息，沒有使用RPN網(wǎng)路。該方法的優(yōu)缺點(diǎn)是直接回歸物體的類別概率和位置坐標(biāo)值，算法速度相較于two-stage來說更快，但是精度相對(duì)于two-stage來說略低。目前常用的典型的 one-stage目標(biāo)檢測網(wǎng)絡(luò)有 SSD[4]、Yolov3[5]、Retina-Net等。對(duì)于 two-stage的目標(biāo)檢測網(wǎng)絡(luò)，主要通過一個(gè)卷積神經(jīng)網(wǎng)絡(luò)來完成目標(biāo)檢測過程，其提取的是CNN卷積特征，在訓(xùn)練網(wǎng)絡(luò)時(shí)，其主要訓(xùn)練兩個(gè)部分，第一步是訓(xùn)練RPN網(wǎng)絡(luò)，第二步是訓(xùn)練目標(biāo)區(qū)域檢測的網(wǎng)絡(luò)。網(wǎng)絡(luò)的準(zhǔn)確度較高，但速度相對(duì)于one-stage來說較慢。目前常用的典型的 two-stage目標(biāo)檢測網(wǎng)絡(luò)有 Fast R-CNN[6]、Master R-CNN等。

本文采用CenterNet[7]目標(biāo)檢測對(duì)視頻圖像中車輛進(jìn)行識(shí)別并自動(dòng)進(jìn)行標(biāo)簽制作成數(shù)據(jù)集，通過改進(jìn)的GYolov3來訓(xùn)練數(shù)據(jù)集，然后再對(duì)視頻圖像中的車輛進(jìn)行準(zhǔn)確的檢測識(shí)別。

1 方法介紹

1.1 目標(biāo)檢測的類別和特點(diǎn)

目標(biāo)檢測識(shí)別在圖像上常常將目標(biāo)以軸對(duì)稱的形式用檢測框顯示出來。目前主流的two-stage目標(biāo)檢測方法以RCNN為基礎(chǔ)，拓展到了Fast-RCNN、Master-RCNN等。這類算法利用選擇性搜索算法評(píng)測相鄰圖像子塊的特征相似度，通過對(duì)合并后的相似圖像區(qū)域打分，選擇出ROI（region of interest）的候選框作為樣本輸入到卷積神經(jīng)網(wǎng)絡(luò)中，由神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)候選框以及標(biāo)定框組成的正負(fù)樣本特征，生成對(duì)應(yīng)的特征向量，再由 SVM（Support Vector Machine）對(duì)特征向量分類，最后對(duì)候選框以及標(biāo)定框完成邊框回歸后達(dá)到目標(biāo)檢測的定位目的。RCNN類算法雖然在性能上有了較大的提升，但其缺陷也較為明顯：訓(xùn)練網(wǎng)絡(luò)的正負(fù)樣本候選區(qū)域由傳統(tǒng)算法生成，使得算法速度受到限制；卷積神經(jīng)網(wǎng)絡(luò)需要對(duì)每一個(gè)生成的候選區(qū)域進(jìn)行一次特征提取，但這個(gè)過程存在了大量的重復(fù)運(yùn)算，制約了算法速度。

以R-CNN算法為代表的two-stage的方法由于RPN結(jié)構(gòu)的存在，雖然檢測的精度越來越高，但是在速度上卻遇到了瓶頸，而這問題很難滿足于部分場景實(shí)時(shí)性的需求。因此，基于回歸方法的one-stage的目標(biāo)檢測算法出現(xiàn)在視野之中，不同于two-stage的方法分布訓(xùn)練共享檢測結(jié)果，one-stage的方法可以實(shí)現(xiàn)完整單次訓(xùn)練共享特征，且在保證一定準(zhǔn)確率的前提下，極大的提升速度。以Yolo為例，作為one-stage最經(jīng)典的算法，Yolo算法經(jīng)歷了從早期的Yolo到Y(jié)olov2&Yolo9000，再到后來的Yolov3，算法的召回率和定位精度也在得到不斷地提高。采用了Darknet-19作為特征提取網(wǎng)絡(luò)，增加了批量歸一化的預(yù)處理，并且使用了 224×224和 448×448兩個(gè)階段訓(xùn)練 ImageNet預(yù)訓(xùn)練模型。相較于最初的Yolo利用全連接層直接預(yù)測bounding box的坐標(biāo)，Yolov2開始引入了anchor機(jī)制，利用K-means聚類[8]的方法在訓(xùn)練集中聚類出更好的 anchor，增加候選框的預(yù)測，采用較強(qiáng)約束的定位方法，大大提高了召回率。結(jié)合圖像細(xì)粒度特征，融合淺層與深層的特征，可以提高對(duì)小目標(biāo)的檢測識(shí)別。

1.2 CenterNet目標(biāo)檢測

CenterNet目標(biāo)檢測方法不同于RCNN和Yolo，它采用的是基于關(guān)鍵點(diǎn)估計(jì)來找到中心點(diǎn)，并回歸到其他目標(biāo)屬性，例如尺寸，3D位置，運(yùn)動(dòng)方向甚至是姿態(tài)，如圖1所示。這種基于中心點(diǎn)的方法，稱為：CenterNet。相較于基于BoundingBox的檢測器，CenterNet的模型是端到端的，更簡單，運(yùn)算速度更快，精確度更高，如圖2所示。

圖1 根據(jù)其邊界框的中心點(diǎn)建模。邊界框的大小和其他對(duì)象屬性是從中心的關(guān)鍵點(diǎn)特征推斷出來的，中心點(diǎn)以彩色顯示。Fig.1 Model according to the center point of its bounding box. The size of the bounding box and other object attributes are inferred from the key point features of the center, which are displayed in color

圖2 不同檢測方法在COCO數(shù)據(jù)集上的速度-精度曲線圖Fig.2 Speed accuracy curve of different detection methods on coco data set

CenterNet通過目標(biāo)中心點(diǎn)來呈現(xiàn)目標(biāo)，然后在中心點(diǎn)位置回歸出目標(biāo)的一些屬性，將目標(biāo)檢測問題轉(zhuǎn)化成了一個(gè)標(biāo)準(zhǔn)的關(guān)鍵點(diǎn)估計(jì)問題。需要做的只是將圖像傳入全卷積網(wǎng)絡(luò)，得到一個(gè)熱力圖，熱力圖的峰值點(diǎn)即為中心點(diǎn)，每個(gè)特征圖的峰值點(diǎn)位置預(yù)測了目標(biāo)的寬高信息。由于模型訓(xùn)練采用標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)，推理流程僅僅是單個(gè)前向傳播網(wǎng)絡(luò)，不存在NMS這類的后處理。

CenterNet的方法與基于Anchor的one-stage方法相類似。中心點(diǎn)可以視為形狀未知的Anchor。但是與傳統(tǒng)one-stage還是有幾個(gè)重要差別的：第一，CenterNet分配的錨點(diǎn)僅僅是放在位置上，不存在尺寸框，也不需要手動(dòng)設(shè)置閾值來做前后景分類。傳統(tǒng)的目標(biāo)檢測，如Fast RCNN會(huì)將與ground truth的IoU＞0.7的作為前景，與ground truth的IoU＜0.3的作為背景；第二，每一個(gè)目標(biāo)有且僅有一個(gè)正Anchor，所以不會(huì)用到NMS，我們提取的關(guān)鍵點(diǎn)是特征圖上的局部峰值點(diǎn)；第三，CenterNet相較與傳統(tǒng)目標(biāo)檢測（縮放16倍尺度），輸出特征圖使用縮放4倍的分辨率，所以無需用到多重特征圖 Anchor。

1.3 Yolov3目標(biāo)檢測

Yolov3是在保持實(shí)時(shí)性的基礎(chǔ)上，對(duì) Yolov2進(jìn)行了一些改進(jìn)和提升，主要有：采用邏輯回歸預(yù)測置信度和進(jìn)行分類，從三個(gè)尺度上預(yù)測bounding box的坐標(biāo)以及特征提取器發(fā)生了變化。在 Yolov2中，每個(gè)cell是直接通過網(wǎng)絡(luò)回歸預(yù)測 b-box的坐標(biāo)和置信度的，而在Yolov3中，則是把置信度和坐標(biāo)分開預(yù)測的，而置信度則是單獨(dú)通過邏輯回歸來進(jìn)行預(yù)測的。對(duì)于分類，舍棄了 softmax多分類，因?yàn)?softmax分類方法對(duì)性能沒有實(shí)際性的提升，而且 softmax假設(shè)是每個(gè)box只有一個(gè)類別，這對(duì)遷移到更多類別標(biāo)簽更大數(shù)據(jù)集是沒有增益的，所以改用多個(gè)邏輯回歸來預(yù)測分類，使用二元交叉熵計(jì)算分類損失。

Yolov3訓(xùn)練了一個(gè)新的特征提取器——DarkNet-53，使用了殘差網(wǎng)絡(luò)，相比較于目前比較成熟的特征提取器，性能相當(dāng)，但浮點(diǎn)數(shù)運(yùn)算更少，整體速度更快，下采樣中沒有采用池化操作，而是通過卷積步長來實(shí)現(xiàn)。圖3是DarkNet-53的結(jié)構(gòu)圖。

圖3 DarkNet-53整體結(jié)構(gòu)圖Fig.3 Overall structure of DarkNet-53

DarkNet-53與ResNet-101或ResNet-152準(zhǔn)確率接近，但速度更快，對(duì)比的結(jié)果圖如圖4。

圖4 DarkNet-53與其他網(wǎng)絡(luò)的對(duì)比結(jié)果圖Fig.4 Comparison results of DarkNet-53 with other networks

Yolov3的損失函數(shù)在Yolov2上進(jìn)行改動(dòng)，將分類損失換成了二分交叉熵，原因是Yolov3中移除了softmax，改用了 logistic。所以 Yolov3中損失函數(shù)公式（1）為：

網(wǎng)格一共是S*S個(gè)，每個(gè)網(wǎng)格產(chǎn)生k個(gè)候選框anchor box，每個(gè)候選框會(huì)經(jīng)過網(wǎng)絡(luò)最終得到相應(yīng)的bounding box。最終會(huì)得到S*S*k個(gè)bounding box，根據(jù)公式（1）中，可以看出，損失函數(shù)由中心坐標(biāo)誤差、寬高坐標(biāo)誤差和置信度誤差線性組合而成。中心坐標(biāo)誤差表示的是：當(dāng)?shù)趇個(gè)網(wǎng)絡(luò)的第 j個(gè)anchor box預(yù)測某一個(gè)真實(shí)目標(biāo)時(shí)，那么由這個(gè)anchor box所產(chǎn)生的bounding box就要去和真實(shí)目標(biāo)的box去比較，計(jì)算得出中心坐標(biāo)誤差。寬高坐標(biāo)誤差表示的是：當(dāng)?shù)趇個(gè)網(wǎng)絡(luò)的第 j個(gè)anchor box預(yù)測某一個(gè)真實(shí)目標(biāo)時(shí)，那么由這個(gè)anchor box所產(chǎn)生的bounding box就要去和真實(shí)目標(biāo)的box去比較，計(jì)算得出寬高坐標(biāo)的誤差。置信度誤差是使用交叉熵來表示，不管anchor box是否負(fù)責(zé)某個(gè)目標(biāo)，都會(huì)計(jì)算置信度誤差，因?yàn)橹眯哦缺硎镜氖强虺龅腷ox中確實(shí)存在物體的自信程度和將整個(gè)物體的所有特征都包括進(jìn)來的自信程度。損失函數(shù)分為兩個(gè)部分：有物體、沒有物體，其中沒有物體損失部分還增加了權(quán)重系數(shù)。增加權(quán)重系數(shù)的原因是，對(duì)于一副圖像，一般來說，大部分內(nèi)容是不包含待檢測物體的，這樣會(huì)導(dǎo)致沒有物體的計(jì)算部分貢獻(xiàn)會(huì)大于有物體計(jì)算部分的貢獻(xiàn)權(quán)重。

在bounding box位置的回歸，仍然采用k-means的聚類產(chǎn)生 anchor box的長寬，Yolo會(huì)對(duì)每個(gè)bounding box給出是否是物體的置信度預(yù)測，用來區(qū)分物體和背景，這個(gè)數(shù)值用 logistic回歸。通過logistic regression從9個(gè)anchor中找到最佳的那個(gè)，然后將它的坐標(biāo)信息和分類預(yù)測加入到 loss計(jì)算中，其余的就算與真值框的IoU大于我們設(shè)定的閾值，只要不是最佳的，最后計(jì)算檢測loss和分類loss的時(shí)候也不需要去考慮。但是Yolov3在運(yùn)行速度保證的前提下，對(duì)于目標(biāo)的檢測精度不能達(dá)到較高的標(biāo)準(zhǔn)，這也是損失函數(shù)中各種誤差線性組合后產(chǎn)生的，所以，提出一個(gè)新的指標(biāo)GIoU[9]來替換bounding box回歸損失函數(shù)。

1.4 GIoU

傳統(tǒng)回歸損失主要有兩個(gè)缺點(diǎn)：第一，在相同的L1，L2距離下，IoU和GIoU可能存在較大的區(qū)別，如圖 5所示；第二，基于 L1，L2距離的 loss對(duì)于尺度不具有不變性。

圖5 IoU與GIoU的區(qū)別Fig.5 Differences between IoU and GIoU

造成這樣的缺點(diǎn)的原因是：①當(dāng)IoU(A,B)=0時(shí)，不能得知A和B是相互鄰近還是相距較遠(yuǎn)。IoU②不能精確反應(yīng)兩個(gè)物體的重疊方式。如圖6所示。

圖6 兩種重疊方式的IoU相同，IoU=0.33，左邊的GIoU=0.33，右邊的GIoU=0.24。IoU無法區(qū)分，GIoU卻可以通過數(shù)值來進(jìn)行區(qū)分Fig.6 The IOU of the two overlapping modes is the same, IoU = 0.33, GIoU on the left = 0.33, and GIoU on the right = 0.24. IoU cannot be distinguished, but GIoU can be distinguished by numerical value

但是IoU也有存在的優(yōu)點(diǎn)：①IoU可以作為距離，loss=1-IoU。但是若兩個(gè)物體不相交時(shí)無回轉(zhuǎn)梯度。②IoU對(duì)尺度變化具有不變性，即不受兩個(gè)物體尺寸大小的影響。因此，提出了新的評(píng)價(jià)指標(biāo)GIoU。GIoU的定義如下：

GIoU和IoU一樣對(duì)物體的大小不敏感。GIoU總是小于等于IoU，對(duì)于IoU，有

0≤IoU≤1

GIoU則是

-1≤GIoU≤1

當(dāng)A和B完全重合的時(shí)候，有

GIoU=IoU

定義loss如下：

由于GIoU引入了包含A和B兩個(gè)圖形的C圖形，所以，當(dāng)A∩B=?時(shí)，依舊可以優(yōu)化。所以，選擇GIoU替換Yolov3訓(xùn)練時(shí)的損失函數(shù)，優(yōu)化損失函數(shù)，提高檢測精度。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)流程

實(shí)驗(yàn)整體流程如圖7所示。

圖7 算法流程圖Fig.7 Algorithm flow chart

2.2 實(shí)驗(yàn)結(jié)果及分析

本次實(shí)驗(yàn)使用的視頻圖像分為訓(xùn)練視頻和測試視頻，采用帶有OIS的f/1.8光圈的12MP攝像頭拍攝，分辨率為 720P，視頻幀率為 30fps，視頻時(shí)長300 s，格式為mp4。硬件設(shè)備為Inter Corei7-9700K，8G RAM，顯卡為GeForce GTX1070Ti，操作系統(tǒng)為Win10，編程環(huán)境為Pycharm，搭載Keras和Opencv。

建立預(yù)訓(xùn)練模型所生成的 loss曲線圖如圖 8，圖9所示，圖8顯示的完整的loss曲線圖，整個(gè)訓(xùn)練輪次為600，訓(xùn)練數(shù)據(jù)量為2萬張圖像，圖9顯示的訓(xùn)練末期收斂的放大圖，選取loss值最小的點(diǎn)為預(yù)訓(xùn)練模型。

模型選取loss值的最低點(diǎn)，在位于第559輪，loss值為 7.97。在末端收斂處。在訓(xùn)練開始階段，曲線發(fā)生了較大浮動(dòng)，由于提供訓(xùn)練的視頻圖像的分辨率為 416×416，導(dǎo)致在自動(dòng)標(biāo)簽時(shí)可能有臟數(shù)據(jù)存在的可能，所以在最初的訓(xùn)練時(shí)，曲線會(huì)出現(xiàn)較大波動(dòng)，在訓(xùn)練中期的時(shí)候，因?yàn)樾薷牧藫p失函數(shù)，采用了 GIoU作為新的損失函數(shù)，在誤差方面進(jìn)行了控制，增強(qiáng)了整體的魯棒性，曲線開始回歸平穩(wěn)并小幅振蕩。以下給出自動(dòng)標(biāo)簽的示例圖和驗(yàn)證圖示例，驗(yàn)證集包含了 5000張驗(yàn)證圖片，如圖10，圖11所示。

圖8 完整的訓(xùn)練過程loss曲線圖Fig.8 A complete loss curve of training process

圖9 訓(xùn)練末期收斂的放大圖Fig.9 Enlarged graph of convergence at the end of training

圖10 自動(dòng)標(biāo)簽示例圖Fig.10 Example of Auto Label

圖11 驗(yàn)證圖示例Fig.11 Example of verification diagram

通過驗(yàn)證圖，可以發(fā)現(xiàn)，對(duì)于特征不明顯的車輛也可以完成目標(biāo)檢測識(shí)別，對(duì)于小目標(biāo)車輛也有較高的置信度，表1是本次訓(xùn)練的模型相比較于原始模型，在FPS和mAP上的提高。

表1 訓(xùn)練模型和原始模型的mAP和FPS的對(duì)比Tab.1 Comparison of mAP and FPS between training model and original model

由上表可以發(fā)現(xiàn)，我們訓(xùn)練的模型和算法原始模型在 mAP和FPS兩個(gè)指標(biāo)上都有提升，精度提升了5%，F(xiàn)PS也有了略微的提升。精度的提升主要是由于修改了損失函數(shù)，生成了新的訓(xùn)練模型，有了較強(qiáng)的魯棒性。

3 結(jié)論

為了提高對(duì)視頻中車輛的檢測準(zhǔn)確率，提出了一種新的檢測方法，通過CenterNet檢測目標(biāo)車輛并進(jìn)行自動(dòng)標(biāo)簽，將標(biāo)簽完的數(shù)據(jù)制作成數(shù)據(jù)集，修改Yolov3中的損失函數(shù)，用新的評(píng)價(jià)指標(biāo)GIoU代替，訓(xùn)練數(shù)據(jù)集，找到最適合的訓(xùn)練模型，使用訓(xùn)練模型來對(duì)驗(yàn)證集的數(shù)據(jù)進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果得到mAP（平均精度）提高了5%，F(xiàn)PS（每秒幀率）也提高了1幀/秒。