改進的Corner Net-Saccade車輛檢測算法

梁禮明，熊 文，藍智敏，錢艷群

（江西理工大學 電氣工程與自動化學院，江西 贛州 341000）

車輛檢測是目標檢測領域的重要研究分支，準確實時檢測目標車輛能有效緩解交通監控壓力和減少車輛違規行為的發生［1］，而這依賴于先進的車輛檢測技術。

自從Krizhevsky等［2］在ImageNet 2012圖像識別挑戰賽上首次證明了機器學習到的特征可以超越傳統手工設計［3－4］的特征后，基于深度學習的方法在目標檢測領域中得到大量應用，這些方法大致可分為基于區域的方法和基于回歸的方法兩大類。基于區域的方法，如Ren等［5］采用區域建議網絡（RPN）提取感興趣區域，并對此區域加以分類實現端到端的目標檢測，但是檢測速度離實時性檢測要求還有一定的差距。基于回歸的方法，如Redmon等［6］和Liu等［7］均將目標檢測問題作為回歸問題來分析，相比基于區域的方法檢測速度要快很多，但是此類算法提取目標特征魯棒性較差，無法將前景區域與背景區域完全區分開來，從而導致檢測精度不夠高的問題。上述方法皆需要預先設計錨點框（anchor box），通過計算錨點框與目標對象的交并比（IoU）來篩選出重疊程度大的錨點框，基于這些錨點框最后實現目標的位置類別檢測，處理效率較高。但是此舉又引入了諸多問題，首先錨點框的引入會帶來眾多超參數和設計選擇的難題，如錨點框的尺寸和錨點框的長寬比選擇等，其次錨點框數量巨大，可能會造成正負樣本不平衡，并最終導致模型訓練收斂速度慢，檢測精確率低。

針對錨點框算法帶來的問題，Law等［8］使用新型特征嵌入方法和角點池化層（corner pooling layer）建模目標的左上角點和右下角點的信息，從而準確匹配屬于同一目標對象的關鍵角點，并通過角點準確定位目標邊框以及識別目標類別［9］，但是該算法存在網絡參數冗余度高、檢測速度過慢的問題。Law等［10］提出的CornerNet-Saccade引入類似人眼的注意力機制來提高檢測速度，其通過目標位置估計階段獲得含有目標位置的大致區域信息后，從圖像中裁剪出含有目標的區域進行目標關鍵點精確檢測。由于裁剪出的圖像像素量大為減少，背景復雜度降低使得更加有利于精確查找待檢測目標。CornerNet-Saccade在檢測速度和精確率上有著一定的優越性，但是在車輛檢測應用中存在著明顯的誤檢和漏檢現象。

本文針對CornerNet-Saccade存在的問題，提出一種改進的CornerNet-Saccade車輛檢測算法。改進后的算法可有效解決原算法存在的誤檢和漏檢問題，并進一步提高車輛檢測的精確率和速度。

1 Corner Net-Saccade算法原理

1.1 堆疊沙漏網絡

CornerNet-Saccade采用簡化后的堆疊沙漏網絡（Stacked Hourglass Networks）［11］作為檢測網絡。單個沙漏網絡模塊仿照殘差網絡［12］的結構進行組建優化，并通過3個跳躍連接結構使得特征融合層能共享其他層特征信息。按其組建階數的不同（可查看下采樣次數判斷其階數）可分為1、2、3、4階等，將多個沙漏網絡模塊進行堆疊便形成了最終的特征提取網絡。CornerNet-Saccade采用3個3階的沙漏網絡模塊按串聯結構拼接而成。單個沙漏網絡模塊結構如圖1所示。

圖1 單個沙漏網絡模塊結構圖

其中灰色矩形表示殘差單元；灰色矩形含有方向向下的箭頭區域表示殘差單元進行下采樣操作；灰色矩形含有方向向上的箭頭區域表示殘差單元進行上采樣操作；帶加號的圓形區域表示特征融合層；橙色矩形表示卷積模塊。

圖1中，輸入圖像在單個沙漏網絡模塊中分別進行3次下采樣和3次上采樣，其中下采樣操作采用步長為2的卷積進行特征降維，相比傳統的池化降維方式，其保留了更多的目標有效信息；上采樣操作采用近鄰插值法恢復相應網絡層的特征圖大小。每次下采樣后均使用一個殘差單元對目標特征進行提取，然后通過上采樣恢復原始特征圖大小，最后融合大小與通道一致的各層特征圖，輸出多尺度的目標特征信息。堆疊沙漏網絡采用自頂而下和自底而上的設計方式，能有效解決特征網絡多次采樣后目標特征丟失嚴重的問題，且更利于捕獲全局和局部的目標特征信息，對后續檢測目標角點回歸目標邊界框提供有效的目標特征。在單個沙漏網絡模塊中各層輸出特征圖大小及通道數的變化情況如表1所示。

表1 各層輸出特征圖大小及通道數

續表（表1）

從表1中可知網絡的輸入特征圖和輸出特征圖在大小和通道上均相同，通過堆疊多個沙漏網絡模塊可實現目標特征的深度提取。

1.2 角池化層輸出預測模塊

沙漏網絡的輸出連接2個預測模塊，分別用于左上角點和右下角點的預測。2個預測模塊皆通過角點池化層（左上角池化層和右下角池化層）分別輸出heatmap（角點位置預測）、embedding（角點分組）以及offset（角點坐標誤差修訂）。不同于傳統的最大池化層（max pooling）通過滑動窗口提取局部窗口像素的最大值，角點池化層（corner pooling）通過遞歸方式在圖像中每個水平方向和垂直方向對每個像素位置做最大池化操作。假設特征圖中位置（i，j）處為目標的左上角點，則應滿足下列2個關系式：

其中：yt和yl分別為左上角池化層的輸入特征圖；特征圖的大小為h×w；ytij和ylij分別為yt和yl特征圖中位置（i，j）處的特征向量，特征向量的長度為目標類別數量；在特征圖yt中，對位于垂直方向上的特征向量向上做最大池化操作后得到的所有響應向量表示為tij；在特征圖yl中，對位于水平方向上的特征向量向左做最大池化操作后得到的所有響應向量表示為lij。最后將式（1）和式（2）相加得到的結果傳送到最后的預測模塊，右下角池化層和左上角池化層類似。預測模塊將角池化層的輸出和沙漏網絡的輸出信息相加后作為預測模塊的輸入，預測模塊輸出值主要用于確定角點位置信息、角點坐標誤差計算以及對角點分組操作。

1.3 注意力機制

人類能夠迅速地選取視野中的關鍵部分，選擇性地將視覺處理資源分配給這些視覺顯著的區域。在計算機視覺領域，理解和模擬人類視覺系統的這種注意力機制，得到了學界的大力關注，并顯示出了廣闊的應用前景［13］。CornerNet-Saccade引入注意力機制減少圖像像素的計算量，提高算法的檢測速度。詳細地，堆疊沙漏網絡的3個特征融合層輸出不同尺度的attention maps（64×64、32×32、16×16），基于多尺度下的attention maps粗略地提取圖像中含有的目標位置信息，并回歸出目標的大致邊界框。在目標邊界框經soft-nms處理后，在高分辨率原始圖像中裁剪出含有目標的區域，裁剪區域由于可能含有多個目標，并且部分目標裁剪過后存在殘缺的情況，還需消除距離裁剪邊界較近的邊界框。后續只需要對裁剪后的區域進行目標角點的精確檢測，最后將角點位置坐標信息映射回原圖以此回歸出目標的邊界框。完整的檢測流程如圖2所示。

圖2 檢測流程

2 改進的Corner Net-Saccade車輛檢測算法

2.1 算法流程

本文算法在CornerNet-Saccade的基礎上進行改進，通過引進密集－殘差單元重建堆疊沙漏網絡，增強網絡對車輛特征多元信息的提取能力，同時降低網絡參數以提高車輛檢測速度；其次在多尺度下的車輛位置信息提取階段增加更小尺度的attention maps（8×8）以改善特小目標車輛的檢測效果。具體流程如圖3所示。

圖3 本文算法流程框圖

首先對原始圖像進行4倍的下采樣（下采樣率R＝4）操作以滿足網絡端口對輸入圖像大小的要求；然后將下采樣后的圖像輸入到改進后的堆疊沙漏網絡中進行車輛特征提取，并初步獲得車輛的位置信息。由于背景圖像中車輛目標大小迥異，將會對車輛檢測的精度產生極大影響，針對此問題，在網絡車輛特征提取過程中，將網絡輸出的特征圖經核大小為3的卷積層（Conv）和非線性激活層（Relu）處理后，再采用核大小為1的卷積層進行特征降維，經Sigmoid激活函數歸一化后得到4種不同大小的attention maps，從而獲得多尺度下的車輛位置信息；最后基于上個步驟獲得的車輛位置信息，從原始輸入圖像種裁剪出含有目標車輛的圖像區域后，再次輸入到堆疊沙漏網絡中回歸出車輛的檢測框。

2.2 改進后的堆疊沙漏網絡

2.2.1 密集－殘差單元

優化神經網絡的方法普遍基于反向傳播的思想，即根據損失函數計算的誤差通過梯度反向傳播的方式，指導深度網絡權值的更新優化，但是會存在隨著網絡的加深出現梯度消失和梯度爆炸的現象，從而導致網絡性能退化的問題［14］。為了減少網絡學習能力和表征能力受網絡層數的限制，He等［12］提出殘差網絡（Resnet）較好地避免了此類問題的發生。CornerNet-Saccade采用2層殘差單元作為堆疊沙漏網絡模塊的基本組成單元，其結構如圖4所示。

圖4 殘差單元結構

圖4中，上方＜*＞表示卷積層的輸入通道；K表示卷積核大小；下方＜*＞表示卷積層輸出通道；藍色區域表示批處理歸一化層BN；灰色區域表示非線性激活函數層Relu；帶加號的圓形區域表示特征融合層。

殘差單元的引入使得堆疊沙漏網絡不會受網絡深度的限制而出現訓練困難的問題，通過堆疊多個殘差單元結構提高了網絡特征提取能力，其中的特征融合層可增加圖像中細節信息的傳遞，有利于提高車輛檢測的精確率。但是這種殘差單元結構由于采用了2個核大小為3×3的卷積層導致存在參數冗余度較高的問題，且殘差單元的輸出對部分卷積層的特征重用率不高。首先將原殘差單元改為參數量更少的3層瓶頸殘差單元，其次，借鑒Huang等［15］的層間密集連接結構，將殘差單元主路上第一個非線性激活函數層輸出通過一個核大小為1×1的卷積層和批處理歸一化層連接到特征融合層上，這種連接方式保證了卷積層之間的最大信息流通，進而提高對車輛尺度和特征多元信息的提取能力，最終構建成如圖5所示的密集－殘差單元。

圖5 密集－殘差單元結構

2.2.2 改進后的堆疊沙漏網絡結構

堆疊沙漏網絡中的殘差單元作為特征提取的基本模塊，其內部結構、連接方式的不同對網絡性能會產生較大地影響。本文通過引入密集－殘差單元對堆疊沙漏網絡重建，使網絡性能達到最優。在改進后的堆疊沙漏網絡中，單個沙漏模塊采用對稱連接方式拼接密集－殘差單元，每邊順序連接5個密集－殘差單元對車輛特征進行反復提取，同時對稱邊采用特征融合的方式提高車輛特征重用率，3個沙漏模塊之間為串聯關系。考慮到CornerNet-Saccade在車輛檢測上存在明顯的誤檢和漏檢問題，尤其是對小目標車輛檢測時，誤檢和漏檢現象更為突出。基于此問題，在每個沙漏網絡模塊中分別增加一次下采樣和上采樣，并融合采樣過程中的特征信息，使得新增的特征融合層能輸出更小尺度的attention maps（8×8），其中8×8大小的attention maps相比原16×16大小的attention maps在小目標檢測時具有更高的車輛細粒度識別能力，且在提取車輛更高級的語義信息上具有一定的優越性。改進后的堆疊沙漏網絡結構如圖6所示。

圖6（a）中，3個沙漏模塊串聯構成了整個特征提取網絡。其中C為新增特征融合層，輸出特征圖大小為8×8；綠色虛線框A包含了最后一個沙漏網絡模塊中的4個特征融合層，其輸出特征圖經系列操作后生成多尺度的attention maps，具體過程如圖6（b）所示。本文方法通過融合大小與通道數一致的特征信息，結合網絡底層局部信息和高層全局語義信息對車輛的多種特征進行高效提取，可有效減少車輛檢測中出現的誤檢和漏檢現象。

圖6 改進后的堆疊沙漏網絡結構及流程框圖

2.3 車輛檢測框的回歸

在二維平面中確定目標車輛的檢測框有多種表示方法，本文采用4個要素（xt，yt，xb，yb）回歸出車輛的檢測框。其中，xt和yt表示目標車輛左上角點位置信息；xb和yb表示目標車輛右下角點位置信息。在堆疊沙漏網絡的輸出端經角池化層處理后得到多個目標車輛的角點位置信息，由于角點位置信息是基于下采樣后的圖像中計算得到的，還需將角點位置信息映射回原始圖像中。此外在一副圖像中得到的角點位置信息繁多，需對角點位置信息進行分組操作，以確定屬于同一目標車輛的左上角點和右下角點。

2.3.1 角點位置預測分支

假設原始圖像大小為W×H，角點位置預測分支的大小為×C，R表示下采樣率，C表示車輛類別數，本文中設置R＝4和C＝1。該分支經sigmoid激活函數歸一化后，×C大小的特征圖上每一點表示該位置下含有車輛目標角點的概率值。

式中，σ值為平衡正負樣本系數，本文設置σ值為車輛目標短邊的0.2倍，對于角點位置預測分支，損失函數采用下式計算。

式中：α和β為超參數，本文分別設置值為2和4；Pxyc為真值熱圖中位置（x、y）處某個目標車輛的角點預測值。

2.3.2 角點坐標誤差修訂預測分支和角點分組預測分支

由于堆疊沙漏網絡的輸入圖像大小和輸出圖像大小均為原始圖像的1／R，在真值熱圖中預測到的目標車輛角點映射回原始圖像中存在坐標誤差的情況。假設原始圖像位置（x、y）處存在第k個目標車輛，其在真值熱圖中的坐標偏差為

在網絡訓練時，角點坐標誤差修訂項采用smoothL1損失，即

式中：N為圖像中目標車輛個數；Pk為預測值的坐標偏差。

在角點分組預測分支中，旨在確定屬于同一目標車輛的一對角點，對每個角點生成一個嵌入向量（embedding vector），如果一對角點屬于同一目標車輛，則這對角點的嵌入向量距離應足夠近，反之，則應非常遠。本文采用式Lpull距離損失和式Lpush距離損失分別反映角點之間的距離遠近，即

式中：etk和ebk分別表示圖像中第k個目標車輛的左上角點嵌入向量和右下角點嵌入向量；ek為etk和ebk的均值。

網絡訓練時，完整的損失函數采用帶有懲罰項的組合損失函數Lloss，即

3 實驗分析

3.1 數據集和實驗平臺

本次實驗選用公開的KITTI數據庫［16］和實驗室自制數據庫對模型進行訓練和評估，其中KITTI數據庫包含了多個場景采集的真實圖像數據，每幅圖像含有的車輛數多達15輛，并伴有不同程度的遮擋和截斷。自制數據庫為從網上搜集的4 000張含車輛圖片。根據實驗需要只保留KITTI數據庫中類別為小汽車（Car）的標簽文件，處理后得到6 684張圖片，同時將KITTI數據庫和自制數據庫改為PASCAL VOC2007數據格式，訓練集和測試集按3∶1比例劃分。

本次實驗的仿真平臺是PyCharm，使用Py-Torch深度學習框架，計算機配置為Intel?CoreTMi7-6700H CPU，16G內存，Nvidia GeForce GTX 2070 GPU，操作系統為Ubuntu 16.04.2。網絡參數配置如下：最大迭代次數為500 000步；批量大小設置為8；采用學習率衰減的方式訓練，初始學習率為0.000 25，網絡迭代400 000步時，學習率下調10倍。

為了降低網絡過擬合的風險，此次實驗采用圖像增廣技術（如水平翻轉、色彩抖動、亮度和飽和度的調整等）來擴大訓練數據集的規模。

3.1.1 KITTI數據庫測試

本文選擇Faster R-CNN［5］、YOLOv3［6］、SSD［7］、CornerNet［8］、CornerNet-Saccade［10］與 改 進 的CornerNet-Saccade車輛檢測算法進行實驗數據對比，所有算法均在KITTI數據庫中進行訓練和測試。鑒于本次實驗研究為二分類問題（含背景），采用平均精確率AP（average precision）以及檢測速度FPS（frames per second）作為算法性能評價指標。Precision（精確率）與Recall（召回率）計算方式如下。

式中：TP表示小汽車被正確預測的數目；FP表示背景被預測為小汽車的數目；FN表示小汽車被預測為背景的數目。

表2列出了不同算法在KITTI數據庫上的實驗結果，可以看出在前3種皆采用錨點框的算法中，YOLOv3的綜合性能最佳。從網絡結構角度考慮，YOLOv3由于采用殘差連接的網絡結構，較好地解決了由網絡深度帶來的網絡性能退化的問題，同時網絡層之間實現了特征信息的融合，構成的特征金字塔［17］結構更有利于車輛檢測和分類。后3種算法均采用了關鍵點代替錨點框的方法，降低了模型訓練時其性能出現較大波動的可能性，在精度方面要遠好于前3種算法。其中CornerNet實現的AP僅為90.45%，比CornerNet-Saccade和本文算法分別低0.79%和2.11%，但相比前3種性能最佳的YOLOv3，AP提升了0.61%，這表明了采用關鍵點代替錨點框的方法在車輛檢測任務中具有一定的優勢性。

表2 不同算法在KITTI數據庫上的實驗結果

本文所提算法在KITTI數據庫上實現了92.56%的AP和40 FPS的檢測速度，在平均精確率和實時性上達到了最好的平衡。由于本文在網絡中采用參數量更少的瓶頸殘差單元作為特征提取的基本模塊，檢測速度快于大多數算法，同時引入Dense Block的層間密集連接結構改善殘差單元的特征提取能力并增加更小尺度的attention maps以提高小目標車輛檢測的精度，使得本文算法獲得最高的AP值。實驗結果表明了本文所提算法更能適用于車輛檢測任務，并能在保證檢測速度的同時實現高精度的檢測效果。

以小汽車的Recall為橫坐標，小汽車的Precision為縱坐標，繪制出不同算法在KITTI數據庫上的PR曲線如圖7所示，其中各算法對應的PR曲線下的面積為AP。通過比較圖7中各算法對應的PR曲線下的面積，本文算法的綜合性能要優于其他算法。

圖7 不同算法在KITTI數據庫上的PR曲線

3.1.2 自制數據庫測試

為了驗證本文算法模型的泛化性能和改進方法的有效性，將目標檢測通用算法Faster RCNN［5］、YOLOv3［6］、SSD［7］、CornerNet［8］、Corner-Net-Saccade［10］與本文算法在自制數據庫上做實驗對比，同時為了更加直觀地比較原算法和本文算法的性能差異，另單獨對比2種算法的性能衡量指標。其中自制數據庫中測試集有1 000張含車輛（小汽車）圖片，車輛標注框數為4 529個。

表3顯示了不同算法在自制數據庫上的實驗結果。從表中可以看出，各種算法在自制數據庫上的綜合表現相比KITTI數據庫有較大提升，究其原因，自制數據庫中每幅圖像中含有的車輛數更少，且車輛之間存在的遮擋情況較少，更有利于各算法對車輛位置和類別的預測。其中，Faster RCNN和SSD獲得了78.36%和84.61%的AP，比YOLOv3分別低11.75%和5.5%，盡管YOLOv3的檢測速度不是最快，但其綜合性能相比其他2種錨點框類算法仍為最佳。本文算法的AP為95.21%，要高于其他算法，同時檢測速度相比CornerNet和CornerNet-Saccade分別提高了33 FPS和8 FPS，但與SSD和YOLOv3的檢測速度相比還有較小的差距。通過分析發現，本文算法雖對網絡結構進行了參數上的簡化，但在目標檢測框的回歸時，由于圖像中存在的目標車輛多，在預測出準確的目標角點時，也會預測出大量的錯誤角點，在對這些角點分組確認時所花費的時間較多，這降低了本文算法的檢測速度。綜合衡量各算法在自制數據庫上的實驗結果，本文算法能夠以最佳的精度完成車輛檢測任務，并以40 FPS的檢測速度達到實時檢測的要求，進一步表明了本文算法能適應不同場景下的車輛檢測任務，相比其他算法具有更好的應用前景。

表3 不同算法在自制數據庫上的實驗結果

表4顯示了2種算法在自制數據庫上的實驗結果。其中檢測車輛數表示測試集中總共檢測出的小汽車數；漏檢數表示沒有檢測到的小汽車數；誤檢數表示把背景作為小汽車數。從表4中可看出，CornerNet-Saccade存在比較嚴重的漏檢和誤檢現象。相反，本文算法在提高了檢測車輛數的同時，也降低了漏檢數和誤檢數，并使精確率和召回率分別提高了3.8%和8.5%，這進一步說明了本文算法能夠適應不同場景下的車輛檢測任務，并能準確地對車輛進行檢測，可用于實際交通場景下的車輛檢測任務。圖8顯示了本文算法在KITTI數據庫和自制數據庫上的檢測效果。

表4 不同算法在KITTI數據庫上的實驗結果

圖8 本文算法在KITTI數據庫和自制數據庫上的檢測效果

4 結論

對CornerNet-Saccade檢測框架進行改進，將其應用到車輛檢測任務中。首先對沙漏網絡特征融合層的輸出額外增加一個預測attention maps模塊，實現小目標車輛的精確檢測；其次引入參數量更少的瓶頸殘差單元替換原殘差單元，并借鑒Dense Block的層間密集連接結構，形成最終的特征提取模塊。通過在KITTI數據庫和自制數據庫上的仿真實驗，結果表明：算法的綜合性能要優于其他算法。但是本文算法的檢測速度有待進一步提升，后續工作將圍繞CornerNet-Saccade模型壓縮與優化加速來進行。