多尺度級聯R-FCN的尾燈檢測算法研究

白 博，謝 剛，續欣瑩

太原理工大學 電氣與動力工程學院，太原030024

1 引言

近年來隨著人工智能的飛速發展，自動駕駛引起了研究者的廣泛關注。在自動駕駛中，對于周圍環境感知的研究一直是熱點問題，通過環境感知算法，能夠得到駕駛環境中的多種有效信息[1]。其中，車輛尾燈檢測可用于指導下一步的自動駕駛路徑決策，在環境感知中有著非常重要的作用。在真實路況下，不同的天氣、光照因素都會對采集得到的圖像質量有較大影響，如何獲得高精度且實時的檢測效果，一直是車輛尾燈檢測中的研究重點[2]。

傳統的尾燈檢測整體流程可分為候選區域檢測、特征提取及分類器分類三部分。部分研究者嘗試了提取形狀[3]、亮度[4]、顏色[5]等特征得到候選區域，依據對稱性等主觀設置的規則提取特征[4]，或者通過不同顏色空間的轉換提取區域特征[6]，最終應用機器學習分類器如Adaboost[6]得到尾燈檢測結果。此類方法取得了一定成效，但依賴于大量的人工設計，模型泛化性能較差且檢測精度無法滿足實際需求。得益于深度學習的飛速發展，Girshick 提出R-CNN[7]將目標檢測帶入深度學習的浪潮后，檢測的精度得到了大幅度提升。后續的研究者基于R-CNN 框架，從多角度做了改進，Fast R-CNN[8]通過多任務損失函數及卷積權值共享，提升了檢測效率；Faster R-CNN[9]整合了區域提名與卷積神經網絡，真正實現了端到端的目標檢測框架；Mask R-CNN[10]加入ROI Align 替換了Faster R-CNN 的ROI 池化，同時實現圖像的分割與檢測；R-FCN[11]考慮檢測網絡中全連接層計算復雜度較高，引入全卷積操作，將位置敏感得分圖加入FCN，綜合響應分類任務的平移不變性及檢測任務的平移可變性，大大提升了檢測的效率；最新的研究如FPN[12]、CascadeR-CNN[13]等，達到了極高的檢測精度，逼近了人類的分辨能力。上述檢測框架的研究都包含區域提名和檢測網絡兩部分，是典型的two-stage 方法，其他研究者提出了將分類和檢測任務統一的無區域提 名階 段的one-stage 方 法，如YOLO[14]、RetinaNet[15]、RefineDet[16]等，在檢測的實時性上獲得很大提升，但也損失了檢測精度，在通用目標檢測數據集上的精度評價仍遜色于two-stage方法。

上述檢測框架中，R-FCN的全卷積操作適用于不同輸入尺寸的圖像，顯著減少了計算復雜度，在檢測精度和效率上較為平衡，但是仍不能滿足尾燈檢測高精度及高實時性的要求。本文對多尺度級聯R-FCN 的尾燈檢測算法進行了研究，通過跨層連接網絡使特征圖包含底層特征及高層語義信息，加入批次歸一化層增速網絡收斂，將修正的R-FCN 子網絡級聯并在預測階段應用改進的非極大值抑制對檢測結果進行去重，顯著增強了檢測精度且擁有一定的實時處理能力。

2 多尺度級聯R-FCN檢測框架

2.1 網絡的級聯策略

為精確實時地解決復雜城市環境下車輛尾燈檢測的問題，本文提出一種基于多尺度級聯R-FCN 的檢測框架（Multi-scale Cascade R-FCN，MC R-FCN）。MC R-FCN 的整體框架如圖1 所示。R-FCN 網絡結構主要包含兩部分：區域提名網絡及檢測網絡，其中區域提名網絡通過卷積提取目標特征并給出目標可能存在的候選區域；檢測網絡進一步提取候選區域的特征并給出位置敏感得分圖，通過位置敏感池化得到最終的邊框位置及目標對應類別得分。從圖1 可看出，MC R-FCN 分離了R-FCN 兩個網絡架構，以Resnet50[17]為基礎的區域提名網絡P，和以位置敏感池化為核心的檢測網絡D1～D3，其中D1～D3 共享P 網絡的權值，P 網絡得到的候選區域僅被D1響應。

圖1 MC R-FCN檢測框架示意圖

MC R-FCN 串聯檢測網絡的思想參考了Cascade R-CNN[13]的重要思想，單一檢測網絡在固定IoU（Inter‐section over Union）閾值訓練后得到的檢測邊界框，總比初始輸入的候選區域在位置上更精準，IoU 更高，且輸入的候選區域IoU 越接近檢測網絡訓練時設置的正負樣本IoU 劃分閾值時，模型的檢測精度越高。但一味地增加訓練時的IoU 閾值，會導致模型初始劃分的負樣本過多，模型難以正確學習目標特征，極易出現欠擬合問題。同時，整個網絡耗時較高的是區域提名部分，檢測網絡通常為輕量級框架。如圖2 所示，每一級聯階段得到的訓練樣本分布并不相同，且隨著級聯階段增加，網絡得到的樣本IoU 趨向于分布在高側，候選區域質量越來越高。因此，MC R-FCN 在檢測端堆疊了3 個檢測子網絡，并對D1～D3 設置了不同的IoU 閾值，負責對質量逐漸增加的候選區域進行檢測，且后一網絡僅接受來自前一網絡的檢測結果輸入，初始輸入由P 網絡得到，通過級聯方式不斷提高檢測精度。

圖2 訓練樣例的IoU直方圖

對于單一檢測器，在輸入樣本IoU 接近于訓練設置閾值時精度達到最高，很難在一次回歸中對級聯的所有輸入樣本求得最佳響應，因此在MC R-FCN 中，回歸問題被分解為一系列關聯的簡單回歸問題，如公式（1）所示：

式中x 是圖像的提名區域，b 是邊界框，b={bx,by,bw,bh}包含區域x的四個坐標，f(x,b)是邊框回歸量，T 是級聯總數，級聯中每一檢測器的回歸是對相應輸入樣本的優化，通過上階段優化結果迭代求取，不是只對初始樣本的優化函數，逐步地提升了候選區域精度。此時，級聯框架的總體損失函數如下公式計算：

式中g 是真實值，s是當前級聯階段，cs是s階段檢測器的分類結果，ys是對應分類結果的真實標簽，Ιys是指示函數，當ys≥1時為1，表示只有在真實標簽不為背景時計算定位損失，否則忽略此項，α 是平衡系數，默認為1，fs是針對某一閾值us優化的回歸結果，且us＞us-1,bs=fs-1(xs-1,bs-1)，由上一階段的回歸結果得到。可看出MC R-FCN 均衡考慮分類和回歸損失，且整體損失的下降依賴于上階段輸出結果，保證了級聯的檢測器在不同的IoU 閾值上得到充分的訓練，隨著階段增加檢測器質量不斷上升。

2.2 改進的R-FCN子網絡

2.2.1 多尺度特征融合

MC R-FCN 預提取特征的基礎網絡采用了Resnet[17]，仿照R-FCN 原本的基礎網絡配置，但是選用計算復雜度更低的Resnet50 結構而非Resnet101，目的在于盡量不損失檢測精度的同時提升檢測框架的實時處理能力。R-FCN去掉了Resnet原有的全局平均池化層和最后的全連接層，只使用卷積層計算特征圖，并以在Im‐agenet上預訓練的權重進行初始化。在Resnet50 中，包含5 個主要的卷積模塊conv1～conv5，其中conv1 有64個7×7的卷積核；conv2 由堆疊的3 層殘差模塊組成，每個殘差模塊包含3 層卷積，為64 個1×1、64 個3×3、256個1×1的卷積核；conv3～conv5 與conv2 類似，分別有4、6、3 層堆疊的殘差模塊，只在卷積核數量上有所差別。R-FCN在conv5的最后一層殘差模塊加入一層1×1×1 024維的卷積，削減了原始特征圖的維度并加深了網絡，得到更精確的結果。在網絡不斷的卷積操作中，圖像的信息被逐步提取，尺寸也逐漸變小，意味著卷積得到的特征圖對于原圖像的感受野逐漸變大，且靠近網絡底層的特征包含了圖像更多的細節信息和局部特征，靠近網絡高層的特征則更多包含了圖像的語義信息和全局特征。R-FCN 最后的特征圖尺寸比原始輸入圖像縮小了32倍，也即特征圖上一個像素點對應原圖的32×32大小區域，特征圖上的語義信息更多偏向于全局特征，因此提取的候選區域會忽略掉原圖中小于32 個像素點的尾燈區域，造成檢測精度的損失。

為解決特征圖中包含信息不充分的問題，本文選取Resnet 中包含豐富細節信息的底層及包含全局語義信息的高層，將這些信息拼接得到最終的特征圖，具體方法如下，MC R-FCN 選取conv3-d、conv4-f、conv5-c作為多尺度特征融合的信息層，并以conv4-f 的輸出尺度作為特征圖的尺度。若輸入圖像尺寸為512×512×3，則conv3-d輸出尺度為64×64×512，后接一個平均池化層，得 到32×32×512 的 輸 出；conv4-f 輸 出 尺 度 為32×32×1 024；conv5-c 輸出尺度為16×16×2 048，后接一個上采樣層，為了簡化計算使用最近鄰采樣，得到32×32×2 048的輸出，將三個輸出依據層次前后拼接得到32×32×3 584的特征圖，再參照R-FCN 的思想，增加一個1×1×1 024的卷積層用來降低輸出維度，最終得到的特征圖尺度為32×32×1 024。此特征圖被用于后續的位置敏感得分圖和RPN區域提名，同R-FCN類似。

MC R-FCN 選取跨度較大的卷積層作為特征融合的信息來源，綜合了網絡中多樣的細節和全局特征，且特征圖尺度是原特征圖的兩倍，能夠更好地檢測原圖中的多種車輛尾燈，包括會被原結構忽略的小尾燈，在較少增加網絡負擔的情況下提升了較多的檢測精度。

2.2.2 批次歸一化

批次歸一化（Batch Normalization，BN）[18]是google提出的優化訓練方法，通過對一批次的輸入數據進行歸一化，減少網絡對不同分布的輸入數據進行調整適應的過程，能夠加速網絡訓練，有效緩解梯度消失問題。從圖2 可以看出，隨著MC R-FCN 級聯階段的加深，訓練數據的IoU 固然得到了提升，但是數據的分布也發生了較大的變化，第一階段由RPN 提名的候選區域包含了很多低精度的訓練樣本，網絡在訓練過程中側重從低精度的輸入數據學習正樣本特征，但在后續階段網絡學到的正樣本特征不足以分辨正確的正樣本。因此，通過引入BN 層，MC R-FCN 希望解決訓練過程中由于數據的分布變化，導致的網絡難以收斂或收斂速度慢的問題，提升網絡的訓練效率和檢測精度。BN的計算規則如下：

式中x={ x1, x2,…,xn}，是一個批次的訓練數據，μx、σx是數據的均值和標準差，是歸一化后的數據值，γ和β是BN 層需要學習的參數，最后得到的批次歸一化輸出為y={ y1, y2,…,yn}。可看出在忽略ε 的情況下，批次訓練數據被歸一化為均值為0 方差為1 的標準正態分布。MC R-FCN在R-FCN檢測網絡D1～D3的第一個卷積層后加入BN 層和Leaky Relu 層，通過規范化輸入訓練數據的分布，減少了網絡對于不同IoU 數據分布的調節時間，加快了網絡的收斂速度。同時采用Leaky Relu作為激活函數，相比softmax和Relu等，在加快網絡收斂速度和防止梯度消失和過擬合等問題上效果更好。和RFCN 相同，經過MC R-FCN 改進的檢測網絡第一層卷積后，得到k2×( C+ 1 )的輸出作為C 個類別的特征，k2×4的輸出作為邊界框回歸的特征。

3 模型訓練及預測

為了適應不同尺度的輸入圖像，MC R-FCN引入了多尺度訓練思想，在訓練模型的過程中，每隔100 個批次，隨機縮放輸入數據至新的尺度繼續訓練，縮放范圍從原始圖像的1/4 到4 倍，加強了網絡對于不同尺度目標特征的學習，提高了網絡的泛化性能。同時為了在訓練過程中對數據集中不平衡的少量樣本或與正樣本相似的混淆負樣本有更好的識別效果，加入了困難樣本挖掘機制，在前向傳播時記錄樣本的損失值，排序后取前80%的數據做反向傳播，一定程度上提升了檢測性能。

R-FCN 在模型預測階段加入了非極大值抑制（Non-Maximum Suppression，NMS）來剔除重合的預測結果，提高模型的平均精度（mean Average Precision，mAP）。但NMS 在篩選合格的檢測結果時需要設置一個合適的IoU 閾值，閾值過大會導致結果仍包含許多冗余的檢測框，造成模型假陽性率升高，閾值過小會導致預測其他目標的邊界框也被剔除，減少檢測精度，且NMS在篩選時的依據是分類置信度，可能導致定位更精準但分類置信度低的檢測結果被誤刪。因此MC R-FCN引入IoU-guided NMS[19]代替傳統NMS，改進的NMS算法如下：

（1）選取預估IoU 最大的邊界框，記為bm并從邊界框集合B中剔除。

（2）遍歷集合B，將與bm的IoU大于閾值λ的邊界框bi的置信度si存儲到集合S中，并從集合B中剔除bi。

（3）取S 中最大的置信度sm，與bm組成元組存入結果集合R中。

（4）判斷B是否為空，為空返回結果R，否則跳轉至第（1）步繼續執行。

改進的NMS 算法對于分類置信度和定位置信度都有考量，剔除冗余檢測結果的效果較好，有效提升了MC R-FCN的檢測精度。

4 實驗結果及分析

4.1 實驗平臺及數據集

實驗平臺為一臺64 GB內存服務器，CPU是E5-2620，主頻2.10 GHz，GPU 是單卡GTX 1080Ti，顯存11 GHz，帶寬484 GB/s。MC R-FCN 采用的深度學習框架為Mxnet，基于Python 編程實現。采用數據集為CVPR 上公開車輛數據集中的尾燈子數據[20]，包含5 260 張后方視角拍攝的實際道路圖像，以及4 種需要區分的尾燈狀態，分別為直行（hold）、剎車（stop）、左轉（turnleft）及右轉（turnright）。將數據集每個類別以7∶3 的比例隨機劃分為訓練集及測試集，其中訓練集包含圖像3 682張，測試集包含圖像1 578 張。如圖3 所示，此數據集四種尾燈狀態的分布極不平衡，轉向狀態只占很少的部分，對于檢測網絡是較大的挑戰，模型是否會對某類數據有偏好即mAP 是否類間分布不均衡也是衡量檢測方法性能的重要考量。

圖3 數據集分布

表1 MC R-FCN檢測結果

4.2 結果及分析

MC R-FCN網絡的一些基本參數設置如下：參數更新方法為隨機梯度下降法，模型訓練50 個epoch，初始學習率為0.001，學習率在第25 和40 個epoch 時衰減為0.000 1 和0.000 01，批次大小為2，每訓練1 個epoch 就進行一次測試集驗證。其中級聯的三個檢測器的IoU閾值為0.5、0.6、0.7，改進的NMS的閾值設置為0.6。

4.2.1 改進對比

實驗從MC R-FCN 提出的主要創新入手，對不同的改進策略分別進行了實驗，結果如表1 所示，其中評價指標使用通用的目標檢測評價指標mAP、檢測率（accuracy）、查全率（recall）及查準率（precision）等，為便于對比實驗結果，采用各類別查全率及查準率的平均值作為模型的整體指標，表示為平均查全率及平均查準率。

從表1可以看出，對MC R-FCN 平均精度提升貢獻最大的是多尺度特征融合和級聯策略，網絡在引入底層和高層的不同信息后，學習到了更豐富的目標特征，mAP提升了4個百分點，且模型對于檢測目標的平均查全率和平均查準率提升約3 個百分點；對于級聯的檢測器，網絡接受的輸入數據IoU 越來越高，相應的檢測結果越來越精準，提高了6.4個百分點，對于平均查準率的貢獻最突出，提高了5.9個百分點；其他的改進思想也達到了較好的改善效果，提升了網絡的精度，其中對于平均查全率貢獻最大的部分為多尺度訓練。相比原始R-FCN 的78.6%，綜合前文改進策略的MC R-FCN 的mAP達到了94.0%，在查全率和查準率上的表現均提升了15%以上，檢測效果有了極大的改善。

同時，MC R-FCN 在Resnet50 的conv3-d、conv4-f、conv5-c 之間嘗試了多種特征融合方法，如表2 所示，兩層組合能略微提升精度，三層融合的特征所包含的目標特征信息最豐富，性能指標顯著優于其他融合策略，可以達到最佳檢測效果。

對于MC R-FCN 的三個級聯階段，完整訓練后提取三階段檢測器分別對測試集進行預測，結果如表3 所示，可看出逐步訓練的檢測器在第二階段性能就已大大優于R-FCN，第三階段由于訓練數據分布變化已經不大，mAP 提升不明顯，但是集成3 個檢測器的結果在檢測率上仍有較大提升，綜合性能最優。

表2 特征融合對比結果

表3 MC R-FCN級聯階段結果

MC R-FCN 在采用BN 層后加速了網絡收斂，如圖4 所示，相較于其他網絡，在第15 個epoch 即達到較高精度。

圖4 MC R-FCN與其他模型訓練過程對比圖

4.2.2 實驗分析

MC R-FCN對比了目前目標檢測領域的主流框架，如圖4所示。R-FCN 和CascadeR-CNN 在整體精度上遜色于其他方法，且收斂速度較慢。MC R-FCN前期收斂速度與FPN、MaskR-CNN 相當，但在收斂過程中波動最小，且最先到達最優精度。考慮到收斂速度、波動幅度和整體精度，MC R-FCN的優勢最為顯著。

表4 與其他檢測框架對比結果

具體的對比結果如表4 所示，Faster R-CNN 在左轉樣本的mAP 上表現最好但檢測率較低；FPN 在剎車及直行樣本上有最佳mAP，且擁有最高的查準率，但是耗時較長；Yolov3 檢測時間最短，類間mAP 分布不均衡造成了虛高的檢測率；MaskR-CNN 右轉樣本mAP 最高，整體性能較好；MC R-FCN 分類別mAP 較為均衡，在總體mAP、查全率及檢測率等多個指標上有最佳表現，且預測耗時較少，整體性能最優。

圖5 展示了不同框架下同一張圖像的檢測結果，可以看出，CascadeR-CNN 和R-FCN 均有不同程度的錯檢或漏檢，相較于FPN 和MaskR-CNN，MCR-FCN 的邊框最精準且類別置信度最高。MCR-FCN能檢測到不平衡的轉向數據，對于車輛遮擋，運動模糊等情況也有很好的檢測效果。

圖5 與其他檢測框架結果對比展示圖

4.2.3 泛化性能

為了驗證MC R-FCN 在其他數據集上的泛化性能，選取BDD 數據集[22]和互聯網中部分圖片進行了預測，結果如圖6 所示，可看出MC R-FCN 有較好的泛化能力。

5 結束語

圖6 泛化性能展示圖

本文為了解決復雜城市環境下車輛尾燈檢測精度和效率不高的問題，對多尺度級聯R-FCN 的車輛尾燈檢測算法進行了研究，在R-FCN 的特征提取網絡中考慮不同級別的圖像信息，加入了多尺度的特征融合，并加入批次歸一化層加速網絡訓練過程，應用級聯策略連接了改進的R-FCN 子網絡，同時在預測階段利用改進的非極大值抑制方法，顯著提升了網絡的檢測性能。在公開數據集上的實驗表明MC R-FCN在檢測的mAP和實時性上綜合優勢明顯，且模型具有一定的泛化能力。未來考慮采用更精簡的基準網絡，進一步提升網絡的實時性能，以便更好地應用于實際場景。