基于集成推理卷積神經(jīng)網(wǎng)絡(luò)的快速行人檢測

譚論正，丁銳

（1.中山職業(yè)技術(shù)學(xué)院信息工程學(xué)院，中山528402；2.中山火炬職業(yè)技術(shù)學(xué)院信息工程系，中山528436）

0 引言

行人檢測是輔助駕駛系統(tǒng)的一個重要的研究課題，通常使用激光測距或基于視覺的方法來進行。激光測距需要在普通車輛中安裝激光設(shè)備，成本高；而基于視覺的行人檢測方法可以降低成本并確保高精度，最符合普通車輛的要求。基于視覺的行人檢測方法使用車載相機記錄的單幀或多幀圖像進行分析檢測。單幀方法能夠?qū)崿F(xiàn)實時檢測，但是檢測精度有待提高，因此單幀方法多與其他方法結(jié)合使用。多幀方法通過使用運動和上下文信息實現(xiàn)高檢測精度，提取豐富的信息，但計算量大，實時性差。

行人檢測需要匹配幀之間的對應(yīng)特征點。文獻[1]提出了基于級聯(lián)分類器的快速行人檢測，采用類似Haar 的特征進行幀之間的特征點跟蹤，速度快，但特征過于簡單準(zhǔn)確率不高。文獻[2-3]提出基于小區(qū)域的梯度信息或LBP 特征來訓(xùn)練SVM 分類器進行行人檢測。HOG[4]特征側(cè)重于局部區(qū)域的變化，并且對于姿勢的微小變化具有魯棒性。然而HOG+SVM 的方案計算量大，且對于遮擋問題不魯棒，因此文獻[5-6]提出了可形變組件模型（DPM）處理大的姿態(tài)變化，可以檢測整個行人模型和部分區(qū)域的行人。DPM 在行人檢測基準(zhǔn)測試中獲得了較好的性能，DPM 特征計算復(fù)雜高，計算速度慢。

傳統(tǒng)的人體檢測方法采用手工設(shè)計的特征提取和基于統(tǒng)計學(xué)習(xí)的訓(xùn)練分類。存在以下缺點：①特征設(shè)計需要人類知識來確保穩(wěn)健性，耗費大量時間且摻雜人為因素，而實際應(yīng)用場景背景復(fù)雜、行人服飾多樣，還存在行人姿態(tài)及遮擋等問題，使得傳統(tǒng)方法提取的特征難以滿足實際應(yīng)用的要求。②分類器的性能受訓(xùn)練樣本的影響較大，需要大量的標(biāo)注特征樣本來訓(xùn)練概率模型，但在離線訓(xùn)練時的負樣本無法涵蓋所有真實應(yīng)用場景。

近年來，深度學(xué)習(xí)的方法[7-8]引起了人們的注意，通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）自動學(xué)習(xí)圖像特征，把低層特征組合起來形成具有良好表示的高層特征，具有出色的特征表示和分類能力，在圖像識別相關(guān)的任務(wù)中取得了很大成功。基于深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）的行人檢測實現(xiàn)了高精度的檢測[9-10]。激活函數(shù)用來增加神經(jīng)網(wǎng)絡(luò)模型的非線性，主要有sigmoid 函數(shù)、tanh 函數(shù)和ReLU 函數(shù)，sigmoid 函數(shù)與tanh 函數(shù)輸出有界，可能帶來梯度消失問題，而ReLU 函數(shù)能解決梯度消失問題并加快收斂速度。泛化能力是神經(jīng)網(wǎng)絡(luò)的重要性能，ReLU 函數(shù)使用Dropout 機制來獲得泛化，Dropout 隨機丟失固定比例的單位，該比率通常設(shè)定為50%，所選單位的響應(yīng)值為零。在訓(xùn)練過程的每次迭代中選擇不同的單位，雖然使用Dropout 訓(xùn)練的網(wǎng)絡(luò)表現(xiàn)出改進的泛化性能，但這種隨機選擇僅適用于訓(xùn)練過程。

為了實現(xiàn)更好的泛化，本文提出用于訓(xùn)練過程的隨機丟失策略和用于分類過程的集成推理網(wǎng)絡(luò)（EIN）。本文的隨機丟失以靈活的概率隨機選擇丟失單位，而不是傳統(tǒng)Dropout 中使用的固定概率。構(gòu)建在完全連接層中的集成推理網(wǎng)絡(luò)（EIN）是具有不同結(jié)構(gòu)的多個網(wǎng)絡(luò)。最后本文在一系列對比實驗中驗證了EIN 的架構(gòu)，并將所提出的方法的性能與現(xiàn)有的方法進行了比較。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（CNN）包括輸入層、卷積層、池化層和分類層。除原始數(shù)據(jù)外，每個輸入層采用邊界填充對數(shù)據(jù)進行標(biāo)準(zhǔn)化。卷積層具有M 個大小為k*k 的內(nèi)核，將輸入數(shù)據(jù)進行卷積過濾，輸出到池化層中進行二次采樣，加快收斂和泛化。一系列交替出現(xiàn)的卷積層和池化層后，所有加權(quán)節(jié)點連接到分類層，通過Softmax 輸出每個類的概率。CNN 利用監(jiān)督學(xué)習(xí)，通過反向傳播隨機初始化和更新濾波器，通過如下公式（1）和公式（2）梯度下降最小化反向傳播的估計權(quán)重E：

其中，n=1，…，N 是訓(xùn)練樣本，η是訓(xùn)練比率，W（l）是在l 層連接到（l+1）層的權(quán)重，每個訓(xùn)練樣本的誤差En是輸出值和標(biāo)簽之間差異的總和。△W（l）可由式（3）得到：

其中，y（l-1）是第（l-1）層的輸出，e 是輸出節(jié)點的誤差。A（l-1）是從第（l-1）層中的所有節(jié)點連接到l層節(jié)點的累積值。式（4）計算得到局部梯度下降值，激活函數(shù)φ可以是sigmoid 函數(shù)，雙曲正切函數(shù)或者ReLU函數(shù)[11]。整個網(wǎng)絡(luò)中的連接權(quán)重按照預(yù)定的迭代次數(shù)同時更新，或者直到滿足收斂條件。

2 改進的隨機丟失策略

Dropout 是減少過度擬合和改進泛化的有效方法[8]。Dropout 通過忽略下面層級中的某些信息來產(chǎn)生穩(wěn)健性，傳統(tǒng)的Dropout 在每次迭代中隨機選擇設(shè)置為零的隱藏單位，以50%的概率將隱藏單元的輸出設(shè)置為零。本文通過隨機概率來擴展此Dropout 技術(shù)，即以隨機概率將隱藏單元的輸出進行丟失。圖1 說明了本文使用靈活的隨機丟失率獲得泛化。Dropout 策略如式（6）所示：

其中，隨機丟失概率介于30%和70%之間。例如，我們在第一次迭代中為每個圖層設(shè)置比率為60%和30%，然后在第二次迭代中將此值更改為40%和70%。

3 集成推理網(wǎng)絡(luò)（EIN）

集成推理網(wǎng)絡(luò)（EIN）旨在從分類過程中刪除與前一層的連接，EIN 在不同時間將輸入值反饋到訓(xùn)練網(wǎng)絡(luò)的完全連接層，完全連接層的一些單元被隨機設(shè)置為零。本文通過隨機選擇不同的單元與原始訓(xùn)練的網(wǎng)絡(luò)形成不同的網(wǎng)絡(luò)。EIN 構(gòu)建過程的步驟如下：

（1）特征映射：輸入圖像I 與濾波器V 進行卷積，采用激活函數(shù)φ生成特征映射，如式（7）所示。

其中，b 是偏差項。使用Maxout 激活函數(shù)[12]，從每個單位的K 個特征映射中選擇最大值，如公式（8）所示。

然后，采用最大池來選擇每個特定區(qū)域中的最大值，通過公式（9）調(diào)整特征圖的大小來獲得對微小形變的魯棒。盡管完全連接層中的單元將根據(jù)隨機選擇而改變，但是卷積層和池化層保持相同。因此，我們可以共享最終池化層的輸出值。

（2）通過公式（10）進行網(wǎng)絡(luò)構(gòu)建：在完全連接層和分類層中，將隨機選擇的單元的響應(yīng)值設(shè)置為零。

其中，x 為步驟（1）中定義的特征映射。Wl和bl是連接權(quán)重和第l 層的偏差。m 控制響應(yīng)值，其值設(shè)置為0 或1，當(dāng)m 設(shè)置為0 時，響應(yīng)值為0，當(dāng)m 設(shè)置為1 時，響應(yīng)值為1。我們用隨機選擇的零響應(yīng)單元構(gòu)造N 網(wǎng)絡(luò)。網(wǎng)絡(luò)n 中每個類的概率由方程式（11）中的Softmax 函數(shù)給出。

（3）最終輸出分類器值：從每個網(wǎng)絡(luò)的每個類的概率Onc獲得最終輸出類的值。所有Onc存儲到概率集Sc 中，并從中選出均值

在以上基礎(chǔ)上，采用滑動窗口方法來檢測不同規(guī)模的多個行人。在檢測過程中，需要在大量窗口中判斷是否存在行人。我們應(yīng)用HOG+SVM 分類器來減少尋找行人候選區(qū)域的處理時間，然后才CNN 對候選區(qū)域進行行人判斷。

4 實驗

本文使用Caltech Pedestrian 數(shù)據(jù)庫和Daimler Mono Pedestrian Benchmark 數(shù)據(jù)庫評估隨機丟失策略和和幾種具有不同網(wǎng)絡(luò)數(shù)量和不同最終輸出決策（最大值或平均值）的EIN 架構(gòu)的效率。使用Caltech Pedestrian Dataset 將本文方法與其他方法進行比較。

實驗采用Python 語言引入TensorFlow 構(gòu)建CNN，并調(diào)用了OpenCV 庫實現(xiàn)了文中的數(shù)據(jù)擴展，測試的硬件環(huán)境為HP-EliteDesk-800-G4 內(nèi)配2 塊1080 NVIDIA 獨立顯卡的圖形工作站一臺，使用的測試平臺是Ubuntu 16.04 操作系統(tǒng)。本文采用的CNN 結(jié)構(gòu)如表1 所示。Caltech Pedestrian 數(shù)據(jù)集有4，000 個正樣本和200，000 個負樣本用于訓(xùn)練，8，273 個測試圖像。本文通過移位、旋轉(zhuǎn)、鏡像和縮放從原件中增加了101，808 個正樣本。對于Daimler Mono Pedestrian Benchmark 數(shù)據(jù)集，我們從31，320 個樣本中增加了250，560個正樣本；負樣本數(shù)量為254，356 個。參數(shù)更新的總迭代次數(shù)為500，000，分5 個mini-batch，訓(xùn)練比率η設(shè)定為0.01。

表1 采用的CNN 結(jié)構(gòu)

4.1 不同網(wǎng)絡(luò)設(shè)置下的性能比較

首先，我們通過改變網(wǎng)絡(luò)數(shù)量和最終輸出的決定方式來衡量EIN 的最佳架構(gòu)。我們評估包含從1 到23 層網(wǎng)絡(luò)的EIN 體系結(jié)構(gòu)。每個網(wǎng)絡(luò)在卷積層和池化層中保持相同的結(jié)構(gòu)，但是完全連接層根據(jù)單元的隨機選擇而變化。當(dāng)網(wǎng)絡(luò)數(shù)量為1 時，我們有一個傳統(tǒng)的網(wǎng)絡(luò)。我們從所有網(wǎng)絡(luò)中選擇平均概率。圖1（a）和（b）分別顯示了使用Caltech Pedestrian Dataset 和Daimler Mono Pedestrian Benchmark Dataset 的評估結(jié)果。首先，實線和虛線之間的差異表示Dropout 和Random Dropout 的性能。在Caltech Pedestrian 數(shù)據(jù)庫中，我們可以看到Random Dropout 將準(zhǔn)確度提高了約6%。具有23 個平均選擇網(wǎng)絡(luò)的架構(gòu)達到了最佳精度，在Caltech Pedestrian 數(shù)據(jù)庫的失敗率為37.77%。從該評估中，在完全連接的層中具有多個網(wǎng)絡(luò)和不同結(jié)構(gòu)的EIN 獲得了更好的檢測精度。在Daimler Mono Pedestrian Benchmark 數(shù)據(jù)集中，CNN 的未命中率為35.78%，而本文方法在23 個集合網(wǎng)絡(luò)中的平均失敗率為31.34%，顯著提高了命中率。

圖1 不同網(wǎng)絡(luò)性能比較

4.2 與其他方法的性能比較

本文在Caltech Pedestrian Dataset 上將所提出的方法與以下其他方法進行了比較：HOG[9]、傳統(tǒng)CNN[11]、可切換深度神經(jīng)網(wǎng)絡(luò)[13]、Fast R-CNN[15]進行對比實驗。如表2 所示，當(dāng)每幅圖像假陽性（False Positive per Image）FPPI 為0.1 時，本文方法的識別精度相對于傳統(tǒng)CNN提高了15%。此外，本文所提出的方法實現(xiàn)了與可切換深度網(wǎng)絡(luò)[13]類似的性能，然而可切換深度網(wǎng)絡(luò)需構(gòu)建復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，本文簡單的網(wǎng)絡(luò)架構(gòu)足以在深度學(xué)習(xí)方法中實現(xiàn)最先進的性能。與目前圖像檢測性能最高的Faster R-CNN 相比，它將檢測精度提高了約10.5%。Faster R-CNN 使用超像素方法確定圖像中的感興趣區(qū)域，并使用CNN 提取特征。將提取的特征傳遞給為每個對象訓(xùn)練的SVM，最后檢測特定的對象位置。雖然Faster R-CNN 在目標(biāo)檢測上準(zhǔn)確，但在尺寸較小的圖像中，提出的行人特征沒有什么區(qū)分能力，且在背景復(fù)雜干擾較大的環(huán)境中行人檢測上效果一般。

表2 在不同數(shù)據(jù)庫中不同方法的識別結(jié)果

圖2 顯示了Caltech Pedestrian Dataset 和Daimler Mono Pedestrian Benchmark 中的行人檢測結(jié)果檢測。第一列和第四列中的結(jié)果是通過HOG+SVM 檢測的示例，第二和第五列是DPM 檢測的示例。第三列和第六列中的行人檢測結(jié)果是本文所提出的方法的結(jié)果。如圖2 所示，傳統(tǒng)方法不能檢測到小面積行人，本文所提出的方法在同一場景中可以檢測，此外本文方法能夠檢測諸如遮擋，各種姿勢的困難情況，誤報率更低。

5 結(jié)語

我們提出了兩種通過基于Dropout 隨機選擇單元來改進行人檢測的技術(shù)。本文的隨機丟失策略以靈活的速率將單位的相應(yīng)值隨機設(shè)置為零。EIN 構(gòu)造多個網(wǎng)絡(luò)，在完全連接層中具有不同的結(jié)構(gòu)，產(chǎn)生最終輸出的決策方式。我們實現(xiàn)了與深度學(xué)習(xí)方法中先進方法相當(dāng)?shù)男阅埽姨岢龅姆椒ńY(jié)構(gòu)很簡單。在未來的工作中，我們將嘗試降低實時處理的計算成本。

圖2 不同行人檢測方法結(jié)果對比