基于改進CenterNet的交通場景目標檢測技術研究

趙奉奎，成海飛，蘇珊珊，張 涌

(南京林業大學 汽車與交通工程學院，江蘇 南京 210037)

0 引 言

隨著我國社會經濟的迅猛發展，機動車數量越來越多，各式多樣的交通工具給人們出行帶來極大便利的同時還存在著許多交通安全隱患。數據統計顯示，全球每年因交通事故的受傷人數已達到數千萬人，大概有80%以上的交通事故是由于駕駛員來不及反應而導致的[1]。如果汽車能夠在行駛過程中提前檢測到周圍障礙物的情況，便能夠在事故發生前提醒駕駛員注意周圍路況，從而在源頭上減少交通安全事故發生。

目標檢測[2]已經成為汽車自動駕駛的關鍵研究內容和重要前提。卷積神經網絡的提出[3]，解決了傳統圖像處理方法需要手動提取特征的問題，為目標分類、檢測和分割提供了強有力的工具[4]。當前目標檢測框架均基于卷積神經網絡，其計精度及檢測速度得到很大程度上提高[5]。目前目標檢測算法可分為Anchor-based算法[6]和Anchor-free算法[7]。其中，Anchor-based算法[8]是在預測過程中利用錨框計算預測邊界框的尺寸信息，應用較為廣泛的有RetinaNet[9]、SSD[10]、Faster R-CNN[11]、You Only Look Once(YOLO)系列[12]等，即在圖片上設定大量的先驗框，網絡的預測結果會對先驗框進行調整獲得預測框。先驗框很大程度上提高了網絡的檢測能力，但基于框錨的目標檢測算法會將目標全部可能存在的位置和分類結果列舉出來，將會涉及到大量的標識與訓練，設定過程繁瑣且低效，因而運行速度較低，不僅消耗大量的時間還需要額外的后處理。基于Anchor-free算法有CornerNet算法[13]、CenterNet算法[14]等，此類算法利用深度卷積神經網絡，采用了關鍵點預測的方法，在預測時無需生成大量錨框，通過關鍵點獲得目標的位置及類別，能夠改善錨框帶來的各種問題，減少了檢測時帶來的計算量，極大提高了目標檢測的速度和精度。

筆者對CenterNet目標檢測算法進行改進，將ReLU函數改進為LeakyReLU函數，解決其神經元死亡問題以達到更高的識別性能，從而可以準確識別交通場景目標，實時檢測道路情況，為防撞系統提供有效的目標信息[15]。同時，得到YOLOV4目標檢測網絡中空間金字塔池化(spatial pyramid pooling，SPP)的啟發，在CenterNet目標檢測算法中ResNet-50主干網絡之后增加了SPP結構，增大了感受野，從而可以更好提取交通場景目標的特征信息，提高道路實時檢測精度[16]。

1 CenterNet目標檢測算法原理

CenterNet用邊界框中心點代表目標，通過對關鍵點估算預測中心點，并利用中心點處提取的圖像特征回歸目標的尺寸和維度等信息實現目標預測。因此，基于CenterNet的目標檢測實際上是一種關鍵點估算的問題。在預測時，將圖像輸入到卷積神經網絡中，卷積神經網絡輸出熱力圖，熱力圖中的峰值點即為目標中心點，之后根據圖像特征回歸邊界框的高和寬。

(1)

(2)

(3)

(4)

Ldet=Lk+λsizeLsize+λoffLoff

(5)

(6)

CenterNet目標檢測算法全部的輸出都是直接通過關鍵點估計來產生，圖像特征在每個峰值處可直接回歸預測出預測框的寬和高，對其進行調整后即可獲得預測框，無需根據交并比IOU(intersection over union)進行非極大值抑制的運算。對關鍵點的提取可完全取代非極大值抑制，并可利用3×3最大池化層的高效運算。

CenterNet目標檢測算法可使用ResNet-18，ResNet-101，DLA-34或Hourglass-104作為主干網絡提取圖像特征。

2 CenterNet目標檢測算法改進

2.1 激活函數優化

ResNet是文獻[18]提出的一種用于圖像分類的深度神經網絡，能夠在不增加網絡復雜度的情況下增加網絡深度，提高網絡模型準確率。ResNet有18、34、50、101和152層等不同深度的網絡結構，綜合考慮網絡深度、浮點運算數量和在ImageNet上的錯誤率，采用50層深度神經網絡ResNet作為主干網絡，替代原CenterNet中的主干網絡提取網絡提取車輛的特征。

為利用非線性函數描述神經網絡提取的特征，神經網絡通過仿射變換后需要緊跟非線性激活函數。神經網絡常用的激活函數主要有Sigmoid函數、Tanh函數、ReLU函數、LeakyReLU等。CenterNet目標檢測算法原文中所使用的激活函數為ReLU函數，ReLU函數的表達式如式(7):

y=max(0,x)

(7)

該函數能夠解決梯度消失的問題，且實現收斂速度較快，在計算上較為高效，相對于Sigmoid函數梯度的計算，ReLU函數梯度取值只有0或1，且ReLU將負值截斷為0，避免了無用信息的干擾，為網絡引入了稀疏性，進一步提升了計算效率。

ReLU函數曲線如圖1(a)，該函數為分段線性函數。當x>0,其梯度不為0,可用于權重更新；當x<0時，f(x)=0，其梯度為0，權重無法更新，相當于其輸出為0，神經元不會被激活，從而使得網絡變得稀疏，可進行高效率計算。

圖1 ReLU和LeakyReLU函數圖像Fig. 1 ReLU and LeakyReLU function image

通常激活函數的輸入值有一項偏置值，假設偏置值太小，以至于輸入激活函數的值總是負的，那么反向傳播過程經過該處的梯度恒為0，對應的權重和偏置參數此次無法得到更新。如果對于所有的樣本輸入，該激活函數的輸入都是負的，該神經元無法學習，稱為神經元“死亡”。盡管稀疏性可以提升計算高效性，但同樣可能阻礙訓練過程，網絡稀疏會使ReLU在訓練時不夠穩定，很容易出現神經元“死亡”現象。當一個相當大的梯度流過采用ReLU作為激活函數的神經元時，該神經元更新參數后不會輸出有效數據，梯度將會永遠為0。

LeakyReLU的提出可以解決ReLU神經元“死亡”的問題，其函數表達式如式(8)。式中α為一個很小的常數，保留了一些負軸的值，使得負軸的信息不會全部丟失。

(8)

LeakyReLU函數圖像如圖1(b)。LeakyReLU與ReLU很相似，僅在輸入小于0的部分有差別。ReLU輸入小于0的部分數值為0，而LeakyReLU輸入小于0的部分數值為負值，且有微小的梯度。在反向傳播過程中，對于LeakyReLU激活函數，輸入小于0的部分可以計算得到梯度，避免了神經元的“死亡”現象。

基于以上分析，將CenterNet目標檢測網絡中的激活函數由ReLU改為LeakyReLU，以提高算法的目標檢測性能。

2.2 空間金字塔池化

大感受野可以感知到整個物體，感知到物體周圍的環境，進而增加圖像像素點和激活函數之間的連接數量[19]。空間金字塔池化(spatial pyramid pooling，SPP)是一種增加感受野的常用手段，事實上在CNN普及之前，SPP是圖像分類和圖像檢測領域的一種關鍵技術。考慮到SPP的顯著特性，將其應用在CNN的環境中，將CNN層之后的池化層代替為SPP層，它將圖像從細到粗進行分割，并結合其中的局部特征，具體來說，它將特征映射從主干分割成幾個d×d塊，d∈Z是正整數。SPP的每個空間箱中，它們匯集了每個過濾器的響應，從而使CNN接受任何尺度的輸入信息，極大增加了網絡模型的尺度不變性，有效抑制了模型的過擬合，典型網絡模型如圖2。空間金字塔池化通過采取多個不同池化核的最大池化操作來保證固定的特征向量輸出，從而實現任何尺度的輸入。設定不同的池化尺寸，再按照不同的池化尺寸進行池化操作，最后合并不同的池化結果，即得到空間金字塔池化的結果。

圖2 空間金字塔池化層Fig. 2 Pool layer of space pyramid

筆者由YOLOV4目標檢測主干網絡CSPdarknet53最后一個卷積特征層得到啟發，利用SPP增大感受野，融合多尺度特征，更好地分離出交通場景中最顯著的上下文特征信息。在CenterNet中，利用主干特征提取網絡Resnet50，獲取了一個初步的特征層，其大小為16×16×2 048，SPP結構就添加在該特征層之后，再分別利用三個不同尺度的最大池化操作進行處理，該最大池化的池化核大小分別為13×13、9×9、5×5，同時，池化操作得到的特征層作為下面三次上采樣的輸入特征層。

3 實驗與結果分析

3.1 實驗環境

計算機處理器為Intel i9-9900K CPU，主頻3.60 GHz，內存32 G，顯卡型號Nvidia GeForce RTX 2080 Ti，采用Ubuntu 18.04操作系統，使用主流深度學習框架Keras搭建神經網絡。網絡輸入大小為512×512，訓練時Batch_size設置為4，初始學習率為0.001，訓練100輪。網絡模型的訓練采用VOC數據集，利用實際場景圖片對網絡模型進行測試。

3.2 評價指標

精確率和召回率是最常用的兩個目標檢測算法評價指標。精確率是指正確識別為正類的目標在所有判定為正類的目標中所占的比例，記為Pr；召回率是指被正確識別為正類的目標在所有正類目標中所占的比例，記為Re。精確率和召回率的計算公式分別如式(9)、式(10)：

(9)

(10)

式中：TP為正確識別為正類的目標個數；FP為錯誤識別為正類的目標個數；FN為錯誤識別為負類的目標個數。

在實際的應用過程中，精確率和召回率無法同時滿足要求，因此使用平均精度AP值綜合考慮兩個指標，從而衡量神經網絡的性能。AP計算公式如式(11)：

(11)

式中：N為測試集中圖片數量；Pr(k)為第k張圖片的Pr值；ΔRe(k)為從k-1張圖片到k張圖片Re值的變化情況。

針對具有C類目標的具體任務時，一般采用平均AP值，即mAP，來衡量網絡的性能，其計算如式(12)：

(12)

在實際運用時需要綜合考慮精確率和召回率，F1是精確率和召回率的調和平均，其值的大小能夠綜合反映模型檢測能力以及查全性能，F1值越高代表模型的檢測性能越好，公式如式(13)。

(13)

采用以上指標對所提出的算法進行驗證分析。

3.3 改進CenterNet目標算法后的性能分析

對激活函數進行優化后，針對交通場景對網絡重新進行訓練，并計算神經網絡的召回率、準確率、mAP以及F1數值進行分析。置信度為0.3時，CenterNet和改進后的CenterNet各參數指標如表1。

表1 ResNet-50和改進后的CenterNet的召回率、準確率、AP值以及F1值Table 1 The Pr, Re, AP value and F1 value of CenterNet and the improved CenterNet

由表1可知：相比于CenterNet網絡模型，采用改進后的CenterNet網絡模型在F1值、AP值、精確率和召回率上都有顯著提升。改進后的算法雖然在檢測為汽車時精確度略有降低，由99.05%下降為98.13%，檢測為汽車的召回率從48.37%提高到了60.88%，AP值提高了0.57%，在實際應用中，不能僅僅通過對物體檢測所得到的精確率和召回率的觀察獲得結論，這兩個指標相互對立，一個指標的提高，另一個指標就會下降，因此需要通過觀察綜合指標mAP以及F1的值判斷改進算法后的優化效果。

由表1可以看出，相較于原始CenterNet網絡模型，改進后的CenterNet在汽車檢測的綜合評價指標F1值提高了0.1，mAP提高了4.17%；檢測自行車和公交車的精確率不變，均為100%，其召回率分別提高了11.90%和35.44%，AP分別提高了2.47%和11.43%，兩者的F1值分別提高了0.11和0.33；檢測摩托車的各項指標都得到了提高，其精確率由97.22%提高至98.48%，召回率提高了7.32%，AP值提高0.46，綜合性指標F1提高了0.06。

以上五種交通場景目標的平均F1值由0.576變為0.714，提高13.8%，綜合性指標mAP值從原來改進前的83.13%提高到了87.35%，模型檢測速度FPS由原來的95.5略微下降至94.8，但其他各項性能指標均提升明顯，表明筆者所改進的CenterNet網絡模型有效提高了目標檢測性能和查全性能，增強了模型的檢測能力，同時對于目標遮擋問題有明顯的改善。

檢測實例如圖3。圖3(a)為未改進CenterNet網絡檢測結果，該網絡能夠檢測大部分目標，但是有一輛電動車漏檢。圖3(b)為改進后CenterNet網絡檢測結果，該網絡能夠檢測圖中所有目標，且多數目標檢測概率提高。對比圖3(a)和圖3(b)可知，對激活函數進行改進后，目標檢測算法的檢測能力得到了有效的提高。

圖3 檢測效果比較Fig. 3 Comparison of detection results

4 結 語

研究了交通場景目標檢測算法，提出了基于改進CenterNet的目標檢測算法, 將CenterNet網絡中的ReLU激活函數改進為LeakyReLU函數，同時利用SPP結構修改了主干網絡ResNet-50，對神經網絡進行訓練后進行測試，試驗結果表明，與原CenterNet網絡相比，改進的神經網絡對絕大多數交通場景目標的F1值、精確度、召回率和mAP都有顯著提高，僅有汽車的精確度由99.05%下降為98.13，下降幅度為0.009%，基本保持不變，考慮到增加網絡結構深度會略微降低檢測速度的原因，除FPS指標略有下降外，其他性能指標提升明顯，說明改進的算法有效改進了原算法的目標檢測性能。通過對實際拍攝圖片的測試發現，改善了目標漏檢、目標遮擋等情況。