淺層特征融合引導的深層網絡行人檢測

楊雅茹，鄧紅霞，王 哲，于海濤

太原理工大學 信息與計算機學院，太原030600

1 引言

近年來，全程數字化、網絡化的視頻監控系統優勢愈發明顯，為社會信息化的發展提供了更加廣闊的發展空間。行人檢測是其關鍵技術之一。但是由于行人所在場景復雜、形態各異、遠近不一等原因使得設計一個魯棒性好、準確率高的行人檢測算法成為一個焦點。

目前，行人檢測方法主要有基于手工特征和基于卷積神經網絡（Convolutional Neural Networks，CNN）[1-3]兩種。比較經典的基于手工特征的算法有：Dalal等[4]提出的HOG 特征圖像局部變化和Wang 等[5]提出的HOGLBP特征相結合，它們均與SVM分類器結合進行檢測；為了處理目標姿態變化，Felzenszwalb等人[6]使用可形變部件模型（Deformable Parts Model，DPM）；Dollár 等[7]提出了積分通道特征（ICF），從HOG中提取局部特征通道和LUV色彩通道（即HOG+LUV），再級聯AdaBoost[7-8]用于學習分類器，進一步加速檢測；Dollar 等[9]提出的ACF方法，加速了行人檢測速度等。這些方法均為特征提取與分類器設計相結合的行人檢測方法。隨著深度學習方法的提出，2014 年Ross Girshick 等提出了基于區域的卷積神經網絡（Regions with CNN，R-CNN[10]），但在計算候選框時消耗很大。之后提出Fast R-CNN[11]，用非常深的網絡實現了實時檢測的速率，但忽略了生成候選框的時間。He Kaiming等提出的Faster R-CNN[12]，其平均檢測速度比R-CNN快1 000倍以上。Cao Jiale[13]等提出利用HOG+LUV特征結合深度學習網絡特征，進行Adaboost分類，性能均有所提高。

圖1 網絡結構框架

盡管基于深度學習的行人檢測取得巨大成功，但仍有改進的地方：（1）大多數方法只使用卷積神經網絡最后一層特征；（2）很多方法特征提取和分類獨立進行，不能有效利用卷積網絡不同層的圖像特征。因此，本文基于Faster R-CNN 檢測算法，利用網絡不同層的圖像通道特征，在卷積網絡的深層融入淺層特征，進行端到端的候選框分類和檢測，此方法證明進一步提高了行人檢測性能。

2 基于淺層特征融合引導的深層網絡結構設計

為了提高行人檢測準確率，增強深度學習泛化能力，用淺層特征融合引導卷積網絡深層特征，基于Faster R-CNN 檢測算法，將HOG 特征、改進的LBP 特征與卷積特征融合。以深度學習為核心，淺層特征作引導，實現淺層學習與深度學習的優勢互補。網絡結構如圖1所示。

Faster R-CNN 算法利用區域建議網絡（Region Proposal Network，RPN）實現目標候選框的選取，如圖2。基于使用的行人數據集，為了涵蓋行人高矮胖瘦等差異，本文選擇四個尺度的錨點（anchor），設置錨點面積尺寸為{64，128，256，512}四類。且每個面積的長寬比分別為{1∶1，1∶2，2∶1}。最后一個共享的卷積層輸出的卷積特征映射到一個3×3的滑動小網絡上，每個滑動窗口對應12個錨點，并輸出給兩個同級的1×1的卷積層，分別計算分類損失和位置損失。表1為網絡模型所用參數。

圖2 區域建議網絡（RPN）

3 特征提取

卷積神經網絡中每個卷積層代表不同的圖像特征。基于文獻[14-15]描述，圖像通道中前幾層更好地描述圖像的局部變化，最后幾層抽象描述圖像的全局結構。同時，淺層特征也可以很好地描述圖像變化。因此，整合淺層特征HOG 及改進的LBP 特征和卷積網絡特征來構建圖像的特征層。特征提取的架構如圖3所示。

表1 網絡模型參數

圖3 特征融合框架

它分為三部分：（1）從L1到LN 的多層圖像通道是由卷積神經網絡產生，淺層特征的圖像通道（HOG+LBP）用于第一個block 之后。每一層都有多個圖像通道特征。（2）特征提取。在卷積神經網絡第一個block之后提取HOG，LBP特征，L1到LN 提取深度卷積網絡特征。（3）將這些特征融合，進行分類，回歸。如表1 中網絡的五個模塊。

3.1 提取淺層特征

方向梯度直方圖（Histogram of Oriented Gradient，HOG）是捕捉邊緣或局部形狀信息最好的特征之一[4]。本文用R-HOG區間（blocks）可以由三個參數來表征：每個區間中細胞單元數、每個細胞單元中像素點數、每個細胞的直方圖通道數。通過調整，最佳參數設置是：3×3細胞/區間、6×6像素/細胞、9個直方圖通道。

局部二值模式（Local Binary Pattern，LBP）[5]是一種用來描述圖像局部特征的方法，為了適應不同尺度的紋理特征，用圓形鄰域代替正方形鄰域。改進的LBP算子在半徑為R 的圓形鄰域內得到含有P 個采樣點的LBP算子。如圖4所示。

圖4 改進的LBP

3.2 淺層特征與深層網絡特征融合

將提取的HOG特征、LBP特征、深度卷積網絡自動提取的網絡特征，在“flatten”層轉化為一維向量，連接在一起并融合，進行卷積神經網絡模型訓練。如圖5所示。

圖5 特征融合方式

3.3 消除行人檢測重疊

行人框周圍的相鄰區域存在很多相對正確的檢測窗口，這些檢測框重疊率較高。雖然經過RPN 候選框選取和基于Faster R-CNN 算法的檢測，消除了很多非行人的窗口，但不能消除多余正確的檢測窗口。本文使用非極大值抑制（NMS），檢測窗口的重疊率o(w1,w2)可以定義為：

其中，w1與w2分別表示兩個檢測窗口，閾值θ 設置為0.7，消除重疊率低于0.7 的檢測窗口，可以加快檢測速度，降低計算成本。

4 實驗結果與分析

本文使用Caltech 行人數據集進行實驗，該數據集由11 個視頻set00～set10 組成。用set00～set07 進行訓練，剩下部分用于檢測。視頻分辨率為640×480。按照所需，將其轉化為一張張圖像并做標簽，共形成122 817張圖像，共有285 558個行人。此數據集中，有遠景處的行人；近景處的行人；有的被車輛擋住；有的人與人之間相互遮擋；有的人站在公交站牌處；有的人在馬路上行走；有的圖像中只有半個人，姿態各異，背景復雜。

4.1 網絡模型測試

使用兩種流行的卷積網絡模型Resnet50、VGG16用于提取特征，訓練網絡，卷積核均為3×3，其他初始參數遵循預先訓練的模型。在RPN 網絡中，有位置損失和分類損失兩個損失函數。在卷積神經網絡中，使用檢測回歸損失和檢測分類損失。所以，網絡的損失是這四個損失概率之和。結果如圖6 和圖7。VGG16 訓練準確率比Resnet50相對來說要好，損失率低，VGG16性能比Resnet50好。表明在行人檢測中，網絡層數深度在一定程度上提升行人檢測性能，但并不是深度越深，效果越好。

圖6 VGG16和Resnet50模型loss比較

圖7 VGG16和Resnet50模型classifier accuracy比較

4.2 激活函數測試與分析

在卷積神經網絡中，激活函數是對輸入信號進行的非線性變換，提高網絡的非線性建模能力。在分類問題中，使用哪種激活函數要根據具體問題具體分析。本文比較了Relu函數、tanh函數、Leaky-relu函數、Prelu函數對其結果的影響。tanh函數公式如下：

此函數在輸入很大或是很小時，輸出都幾乎平滑，梯度很小，不利于權重更新。對此進行改進，提出了Relu函數。其定義如下：

Relu激活函數在輸入是負值時，Relu函數完全不會激活，導致對應權重無法更新。針對x ＜0 的情況，對Relu函數進行相應的改進，使得：

這個函數將0 的梯度去掉，換成一個非0 的梯度。一般α 設置得比較小，如取0.01，即為Leaky-relu 函數。類似的，設置一個參數化的Relu激活函數（Parameterised ReLU function），把α 變成一個需要學習的參數，參數一般取0～1 的數。如圖8。在本實驗中，卷積神經網絡層中使用Relu激活函數，損失相對來說較低，函數非線性能力好。具體見表2。

圖8 激活函數loss對比圖

表2 激活函數loss對比值

4.3 特征融合測試實驗

選取VGG16 網絡為模型，進行特征融合之后的分類，檢測實驗。結果如圖9 所示，當淺層手工特征與深度卷積網絡特征融合之后準確率有所提高。

圖9 VGG、VGG+HOG、VGG+LBP、VGG+HOG+LBP特征的準確率

4.4 消除重疊對比實驗

淺層特征與深層網絡特征融合之后，利用非極大值抑制算法（NMS）消除多余重疊框，閾值θ 設置為0.7，如圖10 所示，利用NMS 算法之后曲線波動相對穩定，準確率有所提高，效果更好。

圖10 使用NMS準確率對比實驗

檢測結果如圖11 中，第一行是沒有在卷積神經網絡融入HOG、LBP特征的檢測結果；第二行是在卷積神經網絡中融入HOG、LBP 特征之后的檢測結果。（a）組中遠景處遮擋行人被檢測出；（b）組中近景處遮擋行人被檢測出；（c）組中不完整行人被檢測出。得出結論，改進后檢測到被遮擋目標，遠景處的目標行人，同時還能檢測出圖像中不完整的行人，檢測性能有所提高。

圖11 檢測結果對比

5 結論

基于Faster R-CNN 的檢測框架，利用區域建議網絡（RPN）的優勢，從卷積神經網絡中間層提取淺層手工特征，并與卷積網絡深度特征進行融合。另一方面，利用非極大值抑制（NMS）算法消除重疊率分數較低的多余檢測窗口。提高了準確率，減少了計算成本，在一定程度上加快了檢測速度。在未來的工作中，將從Faster R-CNN 網絡模型結構進行研究，以進一步提高檢測準確率。