基于深度神經網絡的行人及騎車人聯合檢測?

陳文強,熊 輝,李克強,李曉飛,張德兆

(1.清華大學,汽車安全與節能國家重點實驗室,北京 100084； 2.北京智行者科技有限公司,北京 100085)

前言

正面碰撞預警或自動緊急制動等駕駛輔助系統的研究開發中，行人和騎車人等易受傷害道路使用者的保護是系統的首要任務，對行人及騎車人的有效識別是保護他們的基礎。

雖然基于視覺的行人識別已經過多年的研究，但實際道路環境中由行人姿態、光照、遮擋和尺度變化等帶來的挑戰問題還依然存在[1-2]。相對于行人識別，關于騎車人識別的研究很少，其面臨的挑戰也更多[3]：包括自行車類型和騎車人衣著式樣的繁多導致目標較大的外表變化；騎車人的姿態變化導致目標整體外形的姿態變化和不同的觀察角度導致目標高寬比的變化等。

傳統的行人或騎車人識別方法一般將兩者分開處理[4-6]，這會導致兩類目標識別結果混淆不清，如將騎車人識別為行人，或將行人識別為騎車人。這是因為行人和騎車人的主體都是人，某些角度具有相似的外觀特性。單獨訓練的行人或騎車人識別模型包括人工神經網絡(artificial neural network，ANN)、支持向量機(support vector machine， SVM)，及AdaBoost等傳統機器學習的方法[7-8]和以卷積神經網絡R-CNN，Fast R-CNN(FRCN)為代表的深度學習方法[9-10]。這些網絡無法有效學習兩者的類間差異，導致行人及騎車人目標的錯誤分類現象時常出現。

上述目標識別方法的模型分辨能力有限，難以有效地解決行人和騎車人識別面臨的個體識別精度有限和兩者區分能力不足的問題，因此需要研究一種模型分辨能力更強的深度學習網絡，來解決行人和騎車人的目標識別問題。故本文中在已有研究[11]的基礎上，設計了難例提取、多層特征融合和多目標候選區域輸入等多種深度神經網絡優化方案，提出基于深度神經網絡的行人和騎車人聯合檢測方法，在已公開行人和騎車人數據庫[5]上進行的對比試驗說明該方法能有效識別并清楚地區分行人和騎車人目標。

1 方法概述

為克服現有深度學習方法用于行人和騎車人檢測的缺陷，聚焦行人和騎車人目標誤檢漏檢頻繁、小尺寸目標檢測效果不佳和背景環境復雜多變等諸多挑戰性問題，本文中提出適用于行人及騎車人聯合檢測的深度神經網絡方法，該方法的框架結構設計可分為3部分：考慮難例提取的網絡結構設計、考慮多層特征融合的網絡結構設計和候選區域選擇的網絡結構設計。其中，考慮難例提取的網絡結構設計部分用于優化模型訓練過程，提高模型的分辨能力；考慮多層特征融合的網絡結構設計部分用于融合不同卷積層的特征，提高小尺寸目標檢測的精度；候選區域選擇的網絡結構設計部分在文獻[10]的基礎上結合候選區域選擇網絡(region proposal network，RPN)生成候選區域(rois)，進一步提高后續目標檢測的效果。本文中提出的方法的網絡結構如圖1所示。其中，conv1～conv5分別代表第1至第5層卷積層，fc6和fc7分別代表第6和第7層全連接層，cls和reg分別表示類別和回歸輸出，rois表示輸出的候選區域，loss表示損失函數。

圖1 提出的行人及騎車人聯合檢測方法的網絡結構圖

首先利用文獻[11]的基于上半身的多候選區域選擇方法UB-MPR(upper body-based multiple proposal regions)從輸入圖像提取一組目標候選區域，然后通過計算RPN提取另一組目標候選區域，最后將這兩組目標候選區域經過包含難例提取層的Fast R-CNN的分類與優化定位，即可實現目標的聯合檢測。其中，后兩個步驟實現了卷積層網絡參數的共享，只須計算一次深度神經網絡的卷積特征圖，即可同時保證行人和騎車人聯合檢測的精度和效率。

2 行人與騎車人聯合檢測的網絡結構設計

2.1 考慮難例提取的網絡結構設計

經典的Fast R-CNN方法使用成批的樣本進行訓練，其正樣本(即待檢測的目標類別樣本)要求與真實目標重疊率不低于50%，負樣本(即待檢測的非目標類別樣本)的重疊率要求在10%～50%之間。有研究證明，在相同數目的訓練樣本設置下，上述方法選擇的負樣本確實比隨機選取的效果好[12]。但對于那些與真實目標重疊率小于10%的復雜背景目標，就無法使用這種負樣本的選擇方法，這對于具有復雜背景的行人和騎車人目標，其訓練模型將會出現大量的誤檢測。

為解決上述問題，模型訓練中常用的手段就是選取負樣本中難以區分的樣本加入到訓練集中，而非隨機選取負樣本，這個過程一般稱為難例提取。針對Fast R-CNN目標檢測方法中難例提取的問題，文獻[12]中提出了在線的難例提取方法，該方法在每批訓練圖像包含的很多樣本中提取難例，而非簡單的隨機選擇訓練樣本，被選擇的難例立即用于本次迭代的網絡訓練。

該方法可在增加少許訓練時間的前提下，取得比傳統Fast R-CNN更好的效果。借鑒該方法的思路，本文中也針對Fast R-CNN目標檢測方法設計了相應的難例提取方法。本文中使用一個原始的全連接層與輸出層取代了文獻[12]中設計的兩個共享的全連接層和輸出層。雖然提出的方法訓練過程耗時有所增加，但保證了模型的直觀與簡練，方便與后續其他改進方法相結合。提出的考慮難例提取的用于訓練過程的網絡結構圖如圖2所示。

圖2 考慮難例提取的訓練網絡結構圖

與原始Fast R-CNN網絡結構相比，該網絡僅在計算損失函數前增加了難例提取層。圖3為與難例提取層相關的網絡示意圖，設計的難例提取層的輸入包括3部分：樣本分類分數、真實的標簽和包圍框回歸的外層權重，簡稱外參。其中，樣本分類分數是深度網絡fc7對樣本的分類輸出結果，而后兩者是網絡的輸入；而輸出為難例提取層修正后的樣本標簽與包圍框回歸的外層權重。

圖3 與難例提取層相關的網絡連接圖

上述難例提取層在進行難例提取的批訓練時，首先在每批訓練樣本中隨機選取大量樣本(至多2 000個)輸入到網絡中，再由難例提取層提取10%的樣本(至多200個)作為難例計算網絡損失函數，進而實現網絡參數的修正。在選取難例時，至多選取三分之一的正樣本，其余再根據樣本分值選擇最難區分的負樣本。未被選取的樣本標簽設置為-1，包圍框回歸的外層權重設置為0，這保證了這些被忽略的樣本不會參與分類損失函數和包圍框回歸損失函數的計算。其中，分類損失函數為

其中，SL1(x)定義為

而包圍框回歸損失函數為

式中：Wt和Wt+1分別為t和t+1時刻的網絡權重；Vt和Vt+1分別為t和t+1時刻網絡權重更新量；ΔWt為t時刻得到后向傳播權重梯度；μ為t時刻網絡權重更新量的慣性系數；α為學習率。由上式可知，當訓練考慮難例提取的網絡時，因后向傳播的權重梯度縮小10倍，故須適當提高學習率α以得到合適的訓練效果。

2.2 考慮多層特征融合的網絡結構設計

針對PASCAL VOC數據庫設計的Fast R-CNN方法及VGG和ZF，不直接適用于目標尺寸普遍較小的行人及騎車人檢測的問題，本節介紹融合多層特征的網絡結構設計方法。

借鑒文獻[13]中融合多層特征的方法，本文中提出的多層特征融合方法主要融合第3與第5層的卷積特征圖輸出(conv-ml1)，網絡結構圖如圖4所示。融合兩層而非3層或4層特征圖的主要原因是本文中輸入的原始圖像尺寸太大，GPU內存占用情況嚴重。另外，相鄰特征圖的相關性較大，融合后對性能提升效果并不明顯，故選用不相鄰的兩層特征

式中：N為每批訓練樣本中輸入到網絡中的樣本個數，文中設為 2 000；lcls(pi，ui)為對數損失函數，lcls(p，u)＝-log(pu)；α和β分別為包圍框回歸的外層和內層權重；ti和vi分別為包圍框回歸偏移量和對應真實包圍框回歸量。由上式可知，在計算每批訓練樣本的損失函數時僅考慮提取的難例，而忽略未被選擇的樣本。由于N代表的是每批訓練樣本中輸入到網絡中的樣本個數，而有效的難例個數為N/10，故相對難例樣本的損失函數，由式(1)和式(2)計算的損失函數均縮小10倍。同樣，在后向傳播梯度計算時，也僅對提取的難例有影響，且梯度的大小也相應地縮小10倍。隨機梯度下降的后向傳播權重更新計算公式為圖進行融合。

圖4 考慮多層特征融合的網絡結構圖

對于VGG16網絡，假設網絡輸入圖像大小為224×224，第3層卷積層(conv3-3)的特征圖大小為56×56，而第5層卷積層(conv5-3)的特征圖大小為14×14。為了讓不同大小的兩個特征圖結合，權衡考慮網絡規模與特征信息量大小，可將第3層卷積層降采樣到28×28，將第5層卷積層上采樣到28×28，接著即可實現不同特征圖的融合(conv-ml2)。第3層卷積層降采樣的方法使用最大池化層來實現。最大池化層可用＝down()來表示，即第l+1層中的值使用第l層中對應區域的最大值來填充，從而實現了降采樣操作。這里的最大池化層卷積核大小為2，移動步長也是2。設計的第5層卷積層上采樣使用直接上采樣方法。特征圖直接上采樣的操作可用＝up()來表示，即第l+1層中xj的值直接使用第l層中對應位置的值來填充，從而實現了上采樣操作。該方法完全保留了原來特征圖的值，操作簡單且沒有需要學習的參數。

考慮到不同深度卷積層的激活值幅值不盡一致，直接將不同層上采樣或降維的特征圖連接到一起可能會造成某些信息被抑制或被增強。使用局部響應歸一化操作平滑不同特征圖間的激活值。表示某一原始特征圖上的激活值，則歸一化后的激活值為

2.3 候選區域選擇網絡的設計

針對行人和騎車人目標檢測的候選區域選擇網絡，如圖5所示。圖中的RPN用于提取卷積特征圖的卷積層和池化層與Fast R-CNN中使用的網絡一致，這有助于在后續的訓練和檢測過程中共享兩種網絡的計算結果。

圖5 設計的候選區域選擇網絡結構圖

文獻[10]中針對PASCAL VOC數據集中的檢測目標，設計了3個不同的高寬比和3個不同的尺度大小，考慮行人和騎車人目標的特點，本文中設計了包含3個高寬比和5個尺度大小的參考包圍框：3個高寬比分別為1∶1，2∶1和3∶1，5個尺度大小分別為32×32，64×64，128×128，256×256 和 512×512。根據上述設定的參考包圍框參數，特征圖中的每個位置可生成15個參考包圍框。

VGG網絡包含5組卷積層和池化層，RPN遍歷的最后一層卷積層降采樣幅度為16，在特征圖上的遍歷對應輸入圖像中的最小步長為16像素。稀疏的遍歷步長導致RPN生成的目標候選區域對行人和騎車人真實目標的覆蓋不夠理想，因為尺度較小的目標可能出現在兩個參考包圍框中心之間。上節介紹的考慮多層特征融合的網絡結構可生成結合第3層和第5層卷積層的卷積特征圖，該特征圖綜合了不同深度卷積層的優點，降采樣幅度為8，對應遍歷的最小步長為8像素，適合行人和騎車人候選區域的提取。因此，本文中設計的行人及騎車人候選區域選擇網絡采用上節提出的考慮多層特征融合的卷積神經網絡結構。當輸入圖像尺寸為1024×2048時，本網絡生成的卷積特征圖大小為128×256，特征圖中的每個位置對應15個參考包圍框，因此RPN總共可遍歷491 520個目標候選區域。

在設計好RPN網絡結構后，需要分配每個目標候選區域的類別后才能訓練網絡。對于近50萬個由參考包圍框生成的目標候選區域，需要根據它們與真實目標的重疊情況分為正樣本、負樣本和忽略的樣本，其中正、負樣本分別代表該樣本為目標還是背景。在兩種情況下，可將某個目標候選區域歸為正樣本：與任意一個真實目標重疊率超過0.7；與某個真實目標重疊率最大的候選區域。一般情況下第1個條件即可獲得足夠的正樣本，第2個條件用來避免一些特殊情況下獲取不了正樣本。將與任意一個真實目標重疊率都不超過0.3的目標候選區域歸為負樣本。其他不滿足正樣本和負樣本條件的目標候選區域歸為忽略的樣本，在網絡訓練時不予考慮。

在分配好樣本類別后，設定支持多任務的損失函數。候選區域訓練網絡包含兩個共生的輸出層，一個代表該樣本為正樣本的估計概率pi；另一個代表該樣本對應的包圍框回歸偏移量ti。第i個真實目標的類別記為(正樣本為1，負樣本為0)，真實包圍框偏移量記為對應 x，y，w，h 4 個參數)。 其多任務損失函數可定義為

式中：lcls(·)為分類損失函數，見式(1)定義；lreg(·)為包圍框回歸損失函數(smooth L1)，見式(2)定義；λ為調節分類損失函數與定位損失函數的權重；Ncls和Nloc分別為批訓練和所有目標候選區域的規模。

為避免不同樣本來自不同的圖像會造成圖像卷積特征圖的重復計算，本文中僅從一幅圖中隨機選取256個樣本進行網絡批訓練，僅計算一幅圖的卷積特征圖，實現不同樣本的卷積特征圖共享。每批樣本中正負樣本的比例原則上保持1∶1，若正樣本數量不夠128個，則用更多負樣本補充。

3 網絡訓練

為驗證上述針對行人及騎車人檢測設計的網絡結構合理性，除了 VGG8，VGG11，VGG16和ZF 4種基礎的網絡外，本文中還訓練了大量的網絡模型，如圖6所示。圖中相互連接的上下層網絡模型表示上層的網絡模型是在下層的網絡模型基礎上訓練的。每個網絡的后綴代表不同的含義：bl代表基礎網絡，不考慮任何改進方法，僅修改了輸出層以適應行人和騎車人的檢測；hm表示考慮難例提取的網絡；ml表示考慮多層特征融合的網絡；ml-hm表示同時考慮多層特征融合和難例提取的網絡；faster表示Faster R-CNN；final表示最終得到的綜合考慮多種改進方法的總體網絡。

圖6 訓練網絡的流程、關系及主要參數

在訓練VGG8-faster時，第1階段和第2階段的RPN網絡均訓練4萬次(iter)，基礎學習率(lr)為0.001，在訓練3萬次后縮小至0.000 1；第1階段和第2階段的Fast R-CNN網絡均訓練兩萬次，基礎學習率為0.001，在訓練1.5萬次后縮小至0.000 1。在訓練 VGG8-final和 VGG16-final時，第1階段的RPN網絡訓練4萬次，基礎學習率為0.001，在訓練3萬次后縮小至0.000 1；第2階段的RPN網絡訓練2萬次，基礎學習率為0.001，在訓練1.5萬次后縮小至0.000 1；第1階段和第2階段的Fast R-CNN網絡均訓練2萬次，訓練Fast R-CNN時使用了難例提取的方法，學習率都固定為0.001。

上述網絡均在公開的VRU(vulnerable road users)數據庫訓練集上訓練得到，更多數據庫細節參見文獻[5]。

由于不完全標記訓練集上有很多行人和騎車人目標沒有標記出來，大量的負樣本不能在該訓練集上提取。因此，在訓練上述Fast R-CNN網絡模型時，要求每批訓練樣本來自兩張圖像，其中第1張圖像來自不完全標記訓練集，第2張圖像來自完全標記訓練集。在第1張圖像上選取至多16個正樣本和16個負樣本，不足的樣本由第2張圖像補充，其中正樣本要求與真實目標重疊率不低于50%，負樣本的重疊率要求在30%～50%之間。當訓練不考慮難例提取的網絡時，每批訓練樣本包含128個樣本，除去第1張圖像上的32個樣本，第2張圖像要提取32個正樣本和64個負樣本，其中正樣本要求與真實目標重疊率不低于50%，負樣本的重疊率要低于50%，但負樣本優先在10%～50%之間選擇。當訓練考慮難例提取的網絡時，每批訓練樣本中需選取至多2 000個樣本輸入到網絡中，再由難例提取層提取10%的樣本(至多200個)作為難例，去計算網絡損失函數，進而實現網絡參數的修正。同樣，除去第1張圖像上的32個樣本，其余樣本均從第2張圖像上隨機選取。在訓練RPN網絡時，每批訓練樣本僅從一幅圖中隨機選取256個樣本進行網絡的批訓練，每批樣本中正負樣本的比例為1∶1，若正樣本數量不夠128個，則用更多的負樣本補充。需要說明的是，在上述訓練過程及后續的測試過程中，輸入圖像的尺寸均為原始圖像尺寸1024×2048。

4 試驗結果分析

4.1 試驗結果

本文中使用精度 召回率曲線和平均精度[1]在VRU數據庫驗證集上，對比評價本文中提出的適用于行人及騎車人檢測的深度神經網絡模型。為直觀地對比各網絡模型在驗證集上的檢測結果與平均檢測時間，將圖6中訓練得到的所有網絡模型的結果匯總到表1中。在統計檢測結果時，行人和騎車人的檢測結果分別在不同難度等級的驗證集下評測，并忽略干擾類別的影響。

為更清晰直觀地比較本文涉及到的幾個主要網絡模型在中等難度等級驗證集上的檢測結果，使用PR曲線，見圖7和圖8，圖中每個方法名稱前的數字表示該方法的平均精度。

4.2 結果分析

由試驗結果可知，考慮多種改進方法的總體網絡模型的性能優于表1中第一大列(-bl)的基準網絡模型。

表1的VGG8改進模型中，VGG8-final在不同難度等級驗證集上行人檢測的平均精度略高于VGG8-ml-hm，而騎車人檢測的平均精度基本持平；但VGG8-final相對于VGG8-faster的優勢明顯，在不同難度等級上行人檢測的平均精度分別高出2.4%，2.2%和4.7%，騎車人檢測的平均精度分別高出0.2%，4.8%和 5.8%。另外，VGG16-final明顯比VGG16-ml-hm更好，在不同難度等級上行人檢測的平均精度分別高出1.7%，4.1%和6.6%，騎車人檢測的基本持平。

表1 驗證集上各網絡結構的檢測效果匯總

圖7 中等難度等級的驗證集上行人檢測的效果

圖8 中等難度等級的驗證集上騎車人檢測的效果

VGG8-final的檢測效果大幅度領先于基礎網絡模型VGG8-bl，在不同難度等級驗證集上行人檢測的平均精度分別高出7.4%，8.2%和9.7%，騎車人的平均精度分別高出 1.3%，5.2%和 6.9%。VGG16-final的檢測效果比基礎網絡VGG-16-bl顯著提升，特別是行人檢測效果，在不同難度等級驗證集上行人檢測的平均精度分別高出3.9%，6.1%和6.1%，騎車人檢測的分別高出 0.1%，0.7%和4.0%，平均精度已經接近飽和，進一步證明了本文中針對行人及騎車人檢測提出的網絡模型的有效性。而綜合考慮多種改進方法的總體網絡模型VGG16-final的檢測效果明顯優于VGG8-final，不同難度等級驗證集上行人檢測的平均精度分別高出1.5%，2.7%和4.3%，騎車人檢測的平均精度分別高出0.2%，1.5%和5.6%。這說明較深的網絡深度有助于提高最終目標檢測的效果。

5 結論

針對現有深度學習方法用于行人和騎車人檢測的缺陷，即目標誤檢漏檢頻繁、小尺寸目標檢測效果不佳和背景環境復雜多變等挑戰性問題，本文中基于FRCN目標檢測框架，設計了綜合難例提取、多層特征融合和多目標候選區域輸入等多種改進方法的網絡結構模型，大幅度改善了行人及騎車人目標的檢測效果。結論如下：

(1)在網絡訓練過程中，采用提出的難例提取方法代替隨機抽樣來選取負樣本，能有效改善行人和騎車人目標檢測的效果，減少因行駛道路環境復雜導致的行人和騎車人目標誤檢；

(2)融合不同深度的卷積特征圖可綜合局部與全局特性，獲得表達能力更強的特征信息，顯著提升行人和騎車人目標檢測效果，對于小尺寸的行人及騎車人目標，效果更為明顯；

(3)結合多種目標候選區域方法的輸入可彌補單一目標候選區域選擇方法的缺陷，實現UB-MPR和RPN方法的優勢互補，能進一步改善行人和騎車人目標檢測效果，有助于減少行人和騎車人目標的漏檢。