基于深度卷積神經網絡的小尺度行人檢測

郭愛心，殷保群，李 運

(中國科學技術大學 信息科學技術學院，安徽 合肥 230027)

0 引言

行人檢測是計算機視覺領域的一個重要方向，在自動駕駛、智能監控和智能機器人等方面有著廣泛應用。然而，環境的復雜性、行人姿態的多樣性和行人遮擋等因素，使得行人檢測極具挑戰性。

傳統的行人檢測方法主要以DALAL N和TRIGGS B等提出的梯度方向直方圖(Histogram of Oriented Gradient, HOG)和支持向量機(Support Vector Machine, SVM)結合的算法為代表[1]，但這類方法基于手工設計特征，特征表達能力有限，難以適應復雜的場景。近年來，隨著深度學習的快速發展，越來越多的研究者試著用該類方法去解決行人檢測問題。在文獻[2]中，SERMANET P等人首次將深度學習應用于行人檢測，提出了基于卷積稀疏編碼的ConvNet模型。文獻[3]將特征提取、變形處理、遮擋處理和分類統一于一個深度學習框架JointDeep進行聯合學習。文獻[4]和[5]將行人檢測與語義分割任務聯系起來，實現了行人檢測和語義分割的聯合優化。而隨著目標檢測技術的發展，涌現出了很多優秀的目標檢測框架，如R-CNN(Region-based Convolutional Neural Network)[6]、Fast R-CNN[7]和Faster R-CNN[8]等。有些研究者致力于改進通用的目標檢測框架，使其適用于行人檢測。在文獻[9]中，作者將Fast R-CNN進行改進，提出了具有尺度感知的行人檢測模型，該模型分為大小兩個子網絡，分別檢測不同尺度的行人。文獻[10]將Faster R-CNN框架中的區域建議網絡(Region Proposal Network, RPN)與級聯的隨機森林分類器結合，達到當時最好的檢測效果。

雖然基于深度學習的行人檢測取得了很多突破性的進展，但對小尺度行人的檢測效果并不理想。這主要是由于卷積神經網絡的一系列卷積池化操作，使得小尺度行人的特征圖變得更小，分辨率低，信息丟失嚴重，導致檢測失敗。而在智能監控和自動駕駛等應用場景，小尺度行人占了很大的比重，以車載攝像頭拍攝的Caltech[11]數據集為例，高度在20～80像素的行人超過了總數的70%。所以小尺度行人的檢測非常重要。

本文在Faster R-CNN框架的基礎上，對RPN進行了改進，使其適用于行人檢測；并提出了一種多層次特征提取和融合方式，用來提高小尺度行人的檢測效果。

1 相關知識

1.1 卷積神經網絡

卷積神經網絡是受到貓的視覺皮層細胞工作機制的啟發而提出的[12]。CNN一般由卷積層、池化層和全連接層組成。在卷積層中，下一層的神經元只與上一層的部分神經元相連接，同一特征相關的神經元之間通過卷積核來共享權值。相比于全連接神經網絡，CNN大大減少了參數的數量并且降低了過擬合的概率。而池化層相當于對輸入圖像不同位置特征進行聚合統計，能夠進一步減少計算量，簡化模型。CNN在特征提取方面表現出了巨大的優勢，被廣泛應用于圖像識別、目標檢測和場景分割等領域，并取得了很多突破性的進展。

1.2 Faster R-CNN目標檢測框架

Faster R-CNN是最為經典的基于候選區域的目標檢測框架之一，它是R-CNN和Fast R-CNN框架的升級版。基于候選區域的檢測方法一般包含三個部分：候選區域的選擇、特征提取和分類器分類。R-CNN用選擇性搜索(Selective Search)算法[13]來生成候選區域，用CNN提取特征，SVM作為分類器來檢測目標。可以看出R-CNN的訓練是分階段的，步驟繁瑣，而且每個候選區域都要用CNN提取特征，導致重復計算。Fast R-CNN改進了R-CNN框架，它將Selective Search算法產生的候選區域的坐標映射到最后一層卷積層，然后用感興趣區域采樣層(Regions of Interest Pooling Layer, ROI-Pooling層)將這些區域分別下采樣為7×7的特征向量，再輸入后續的全連接層。Fast R-CNN將特征提取和分類器分類都用CNN來實現，而且加入了分類和邊框回歸的多任務學習機制，進一步簡化了模型。在此基礎上，Faster R-CNN提出了RPN，用CNN來替代Selective Search生成候選區域，并且RPN和檢測網絡共享前端的卷積層。Faster R-CNN將候選區域的選擇、特征提取和分類器分類都統一到了一個深度學習框架，實現了端到端的快速目標檢測。

通用目標檢測和行人檢測之間有一定的關聯性，深度神經網絡在目標檢測任務中學習到的知識可以遷移到行人檢測。對經典的訓練充分的深度神經網絡進行改進和微調，使其適用于新的任務，是深度學習中常用的手段之一。本文以Faster R-CNN目標檢測框架為基礎，根據行人檢測任務的特點，對其進行了改進，提出了兼顧小尺度行人檢測的網絡SP-CNN(Convolutional Neural Network for Small-size Pedestrian)。

2 檢測方法

2.1 網絡結構

本文提出的SP-CNN的網絡架構如圖1 所示，它包含兩個部分：行人區域建議網絡和檢測網絡。行人區域建議網絡是在對RPN進行改進的基礎上提出的。在檢測網絡部分，本文從不同的層提取不同層次的特征并進行融合，提出了適用于行人檢測的ROI-Pooling方式。如圖1所示，conv1～conv5是VGG-16[14]網絡的一部分，是行人區域建議網絡和檢測網絡的共享卷積層部分。行人區域建議網絡在RPN的基礎上進行了改進，可以生成不同大小的行人參照框，進而生成候選區域。這些候選區域的坐標再映射到卷積特征層，用來提取相應位置的特征。SP-CNN將這些候選區域坐標映射至conv3_3、conv4_3和conv5_3多個卷積層的特征圖上，用ROI-Pooling層將對應位置的特征采樣為5×10(區別于Fast R-CNN的7×7)的特征圖。由于不同層的特征尺度不同，SP-CNN引入了L2范數歸一化層[15]對其進行歸一化，然后用連接層將不同層的特征進行連接和融合。之后用1×1的卷積層將其轉化為512×5×10的格式輸入到后續的全連接層。由于SP-CNN是在Faster R-CNN的基礎上提出的，更多細節可參考文獻[8]。

圖1 SP-CNN網絡結構圖

2.2 行人區域建議網絡

在RPN中，候選區域是根據“錨”(Anchor)機制提供的參照框生成的[8]，參照框的設計對于候選區域的生成和后續的訓練至關重要。在Faster R-CNN中，RPN能夠提供3種尺度(128, 256, 512)和3種寬高比(1:1, 1:2, 2:1)共9種大小的參照框。顯然，這些參照框并不適用于行人檢測任務，因為行人的尺度分布范圍比較大而其寬高比較為固定。本文就是從這方面出發改進了RPN，使其適用于行人檢測，改進后的RPN稱為行人區域建議網絡。行人區域建議網絡將提供1種寬高比和12種尺度共12種大小的參照框。本文將寬高比設置為行人平均寬高比0.41[11]。行人區域建議網絡提供12種尺度的參照框，但具體的尺度大小可根據數據集中行人高度分布來調整。本文在Caltech數據集上進行實驗，而Caltech中行人高度主要分布在20～128像素之間，故本文設計的參照框的高度從25像素起，以1.25倍遞增，得到12種尺度的行人參考框。圖2展示了RPN提供的參照框和行人區域建議網絡提供的參照框，可以看出，行人區域建議網絡的參照框可以和行人進行更好的對齊，進而提供質量更高的候選區域。

圖2 RPN網絡和行人區域建議網絡提供的參照框對比圖

2.3 多層次特征融合

2.3.1多層次特征的選擇

Faster R-CNN只從conv5_3卷積層提取候選區域特征，這對于小尺度行人來說，所提供的特征信息是遠遠不夠的。為此，本文提出了多層次特征融合策略來豐富行人特征信息。低層特征分辨率高，對精準定位有幫助，而高層特征包含豐富的語義信息，對目標識別有幫助，將低層特征和高層特征相融合，有利于小尺度行人的檢測。但隨之而來的一個問題是選擇哪幾個層去進行融合。在Fast R-CNN中，包含conv1～conv5共5個卷積部分，每個部分包含2～3個卷積層，并且同一部分的卷積層特征圖分辨率相同。考慮到在特征圖分辨率相同的情況下，越深層的特征其語義信息越豐富，故本文將conv2_2、conv3_3、conv4_3和conv5_3作為特征融合的候選層。考慮到過多的底層信息可能會降低融合后特征的效果，本文將從conv3_3、conv4_3和conv5_3來提取特征進行融合。

2.3.2改進的ROI-Pooling

確定了選擇哪些層的特征進行融合后，下一步則是要從這些層提取特征。在Faster R-CNN中，映射在卷積層的不同大小的候選區域需要提取為同樣尺寸的特征才能輸入后續的全連接層。Faster R-CNN是通過7×7的ROI-Pooling來實現這一操作的。但7×7的ROI-Pooling并不適用于行人檢測任務，對于映射在conv5_3層的寬或高小于7的候選區域，它會直接拋棄，使得很多小尺度的行人得不到訓練，進而導致小尺度行人檢測效果不好。在SP-CNN中，結合行人的特點，改進了ROI-Pooling方式，將映射在不同層特征圖上的候選區域分別下采樣為5×10的特征圖。改進的ROI-Pooling的采樣機制為：對于輸入到ROI-Pooling層的特征圖，首先將其劃分為5×10個塊，然后對每個塊取最大值，得到ROI-Pooling之后的5×10的特征圖。可以看出，改進的ROI-Pooling充分考慮了行人的形狀和尺度等因素。

2.3.3歸一化

3 實驗結果與分析

考慮到Caltech數據集中小尺度行人比較多，且環境比較復雜，具有挑戰性，故本文在Caltech上進行實驗。

行人檢測算法一般用漏檢率(Miss Rate, MR)和平均每張圖片上錯誤正例(False Positive Per Image, FPPI)的關系曲線來評估。本文用FPPI的對數在區間[10-2, 100]上時MR的對數平均值作為量化評估標準，簡稱為對數平均漏檢率(Log-average Miss Rate, LAMR)。本文先用文獻[11]提出的Reasonable 指標來衡量算法的綜合性能，然后用行人高度在20～80像素的行人檢測結果來衡量算法對小尺度行人的檢測效果。Reasonable 指標只考慮高度大于50像素且遮擋小于35%的行人。

3.1 行人區域建議網絡的作用

相比于RPN，行人區域建議網絡可以提供更適合行人的參照框，從而生成質量更高的候選區域。表1顯示了在Reasonable 指標下，行人區域建議網絡對檢測結果的影響。

表1 行人區域建議網絡的作用

3.2 不同層次特征融合的影響

多層次特征融合的一個首要問題就是選擇哪些層的特征進行融合，表2顯示了SP-CNN不同層特征融合對行人檢測結果的影響，證明了SP-CNN網設計的合理性。

表2 不同層次特征融合的影響

3.3 與其他行人檢測算法的比較

為了驗證所提算法的有效性，本文將SP-CNN與一些具有代表性的行人檢測算法如HOG[1]、ACF[15]、SpatialPooling[16]、JointDeep[3]和Faster R-CNN等進行了比較。實驗分為Reasonable 指標下的行人檢測和小尺度行人檢測兩個部分，它們分別用來評估算法的綜合性能和對小尺度行人的檢測效果。

3.3.1在Reasonable指標下的比較

如圖3所示，在Reasonable 指標下，SP-CNN取得了優于其他算法的檢測效果。SP-CNN的對數平均漏檢率低至14.37%，表明SP-CNN的算法綜合性能很好。特別是與Faster R-CNN相比，SP-CNN的對數平均漏檢率降低了約10%，充分體現了本文對Faster R-CNN 所做改進的有效性。

圖3 不同行人檢測算法在Reasonable 指標下的比較

3.3.2小尺度行人檢測的比較

圖4為不同行人檢測算法在小尺度行人(高度在20～80像素)檢測上的結果比較。SP-CNN的對數平均漏檢率為48.52%，比Faster R-CNN低18.92%，而其他算法的對數平均漏檢率都超過了70%。由此可知，SP-CNN的結果遠優于其他方法，表明了SP-CNN在小尺度行人檢測方面的優越性。

圖4 不同行人檢測算法在小尺度行人檢測上的比較

4 結論

本文將Faster R-CNN通用目標檢測框架遷移到了行人檢測領域，在RPN的基礎上，提出了行人區域建議網絡，同時為了進一步提高小尺度行人檢測效果，提出了一種適合于行人檢測的特征提取和融合方式。實驗結果表明，本文的方法具有良好的綜合性能，并且在小尺度行人檢測上有明顯的優勢。