改進的CNN用于單幀紅外圖像行人檢測的方法

崔少華，李素文，黃金樂，單 巍

改進的CNN用于單幀紅外圖像行人檢測的方法

崔少華，李素文，黃金樂，單 巍

（淮北師范大學 物理與電子信息學院，安徽 淮北 235000）

針對全卷積神經網絡對單幀紅外圖像行人檢測計算量大、檢測率較低等問題，提出了一種改進的LeNet-7系統對紅外圖像行人檢測的方法。該系統包含3個卷積層、3個池化層，通過錯誤率最小的試選法確定每層參數，以波士頓大學建立的BU-TIV數據庫訓練系統。首先，以俄亥俄州立大學建立的OTCBVS和Terravic Motion IR Database紅外數據庫作為測試圖像；然后，采用自適應閾值的垂直和水平投影法得到感興趣區域（regions of interest，ROI）；最后，將得到的ROI輸入訓練好的系統進行測試。3個測試集檢測實驗表明，本文方法具有良好的識別能力，與不同實驗方法相比，本文方法能有效提高檢測率。

圖像處理；LeNet-7系統；單幀紅外圖像；檢測率

0 引言

行人檢測是機器視覺領域的重要分支，目前已經得到廣泛應用，紅外視頻監控作為當今社會安防的重要手段，采用行人檢測技術對其進行分析與捕捉具有極高的應用價值。對紅外視頻的行人檢測就是對組成視頻的單幀紅外圖像行人檢測。由于人體在圖像中的大小和出現的位置都無法確定，所以在行人檢測研究的早期，往往采取對圖像進行多尺度遍歷搜索的方式檢測是否存在人體目標。例如，Nanda等[1]通過人體亮度分布概率設計了一種亮度概率模板，但由于人體姿態的多樣性，該方法仍需在不同尺度下使用多個模板進行匹配。Bertozzi等[2]構建了基于正面人體對稱性的形態學人體模型，并對人體在圖像中的大小進行了預估，然后在圖像中進行多尺度的搜索以確定可能存在人體的候選區域，最后將候選區域與構建的人體模型進行匹配完成紅外圖像中的行人檢測。這兩種方法雖然不易出現漏檢，具有較好的魯棒性，但在實時性上都大打折扣。因此，之后的紅外行人檢測方法中，都采用了感興趣區域分割和目標識別的方法，以避免對圖像進行多尺度遍歷搜索，提高系統的實時性。例如，Gao等[3]采用基于立體視覺的方法獲取ROI，根據提取行的位置和姿態對其分類，用于檢測路面、障礙物等，然而，該方法對獲取的ROI進行分類仍然依賴人工，準確率較低。

隨著2012年神經網絡在計算機科學技術方面的應用，其高效的網絡結構和識別能力得到廣泛公認。學者們嘗試將神經網絡應用于行人檢測領域，其中，Girshick等[4]提出基于建議區域ROI獲取的卷積神經網絡（Convolution Neural Network，CNN）行人檢測方法，利用CNN網絡代替了傳統的人工分類檢測。許茗等[5]采用包含12個卷積層的CNN將感興趣區域圖像輸入網絡，由行人目標概率圖生成紅外圖像中的行人目標標記框，用以訓練和檢測CNN。譚康霞等[6]提出基于YOLO模型的紅外圖像行人檢測方法，利用23個卷積層和5個池化層構成卷積神經網絡，對實際道路采集的紅外數據進行訓練與測試。陳恩加等[7]將CNN網絡和再識別模塊聯合，采用64個卷積層的全卷積網絡實現紅外圖像的行人檢測。上述方法雖然能有效完成行人檢測，但是均采用多層卷積的網絡對ROI特征進行分類，網絡包含參數過多、容易過擬合，在環境較差的單幀紅外圖像行人檢測中正確率相對較低。

基于前人的研究基礎和上述文獻的缺陷，本文提出一種基于LeNet-7的卷積神經網絡對單幀紅外圖像行人檢測的方法。引入自適應閾值的垂直和水平方向投影得到ROI的方法，將ROI圖像輸入本文構建的LeNet-7系統，該系統共包含3個卷積層、3個池化層和1個輸出層，每個卷積層所用卷積核大小和特征圖個數并不單一固定，而是以錯誤率最小的實驗試選法，通過實驗數據確定。采用波士頓大學建立的BU-TIV（Thermal Infrared Video）Benchmark熱紅外視頻數據庫訓練本文系統，俄亥俄州立大學建立的OTCBVS和Terravic Motion IR Database紅外數據庫測試系統，與不同方法進行對比，本文方法更好地提高了檢測率。

1 “方向投影”的ROI分割方法

一般而言，人體溫度高于背景溫度，人體在紅外圖像中體現為高灰度區域[8]。然而，在城市環境中，車輛發動機、熱水管和空調外機等非人體目標在紅外圖像中也體現為高灰度區域，因此僅靠目標灰度信息直接進行行人檢測是不現實的。但是，與背景目標相比較，人體在紅外圖像中灰度仍然較高，通過搜索紅外圖像中的“熱點區域”可以實現ROI的分割。因此本文采用一種“方向投影”的方法對人體可能存在的區域進行分割。

方向投影的基本方法是：首先，選擇一定的閾值對紅外圖像進行分割，將分割后的圖像向軸作垂直投影，記錄下像素點的數量，此時圖像被分割為一系列垂直的亮度帶，然后將亮度帶向軸作水平投影，最后，得到高灰度區域的垂直位置與水平位置。具體的實現過程如圖1所示。

第一步：閾值的選擇

由于不同場景中的紅外圖像的亮度分布不同，因此在設置閾值時應采取自適應的方式。本文采用的分割閾值為：

圖1 方向投影人體區域位置初定位

Fig.1 Preliminary location of human body region by directional projection

＝*max(im)＋(1－)mean(im) (1)

式中：為加權系數（0≤≤1）；im為原始圖像；max為圖像灰度的最大值；mean為圖像灰度的均值。將圖像灰度最大值和圖像灰度均值進行加權組合，可以增強分割閾值的自適應性。通過大量實驗，本文最終將的取值定為0.25。經過閾值分割以后，圖像當中灰度較低的部分以及噪聲基本被消除，如圖1(b)所示。

第二步：垂直投影

將經過閾值分割的圖像向軸作垂直投影，得到圖像的灰度垂直投影曲線，曲線記錄的是灰度值為1的像素點的數量，如圖1(c)所示。由圖1(b)可知，人體在圖像中為高灰度區域，在圖1(c)垂直投影曲線中表現為凸起的山峰，在投影曲線中凸起山峰的兩側分別尋找曲線的上升點與下降點作為一條亮度帶的起始點與結束點，可得一系列垂直于軸的亮度帶，而人體可能存在的區域則被包含在亮度帶中。

第三步：水平投影

將垂直投影得到的亮度帶向軸做水平投影。與垂直投影相似，在水平投影曲線當中也能夠得到一系列凸起的山峰，同樣將每個山峰的上升點和下降點分別作為水平亮度帶的起始點與結束點，即得到一系列平行于軸的亮度帶，結果如圖1(d)所示。

第四步：ROI的確定

將垂直投影和水平投影得到的亮度帶同時放入原始圖像中相應的位置，此時原始圖像可以被分割為許多高亮度的矩形區域，如圖1(e)所示。這些矩形區域就是本文確定的ROI，圖1(e)中一些矩形區域包含人體目標，一些高灰度區域則包含非人體目標。

本文將確定的ROI作為卷積神經網絡的輸入，利用訓練好的CNN網絡進行二分類，從而檢測出紅外圖像中的人體目標。因此接下來本文對CNN網絡的建立進行探討。

2 LeNet-7網絡的建立

2.1 CNN網絡的介紹

傳統的人工神經網絡結構中隱含層的神經元與前一層是全連通的，這意味著每一個神經元都與前一層的所有神經元存在參數關聯，從而使得傳統神經網絡計算量大、速度慢，容易過擬合[9]。而CNN是一個由單層卷積神經網絡組成的多層可訓練監督學習網絡，每個單層卷積神經網絡包含卷積、非線性變換和下采樣（池化）3個階段。若設每個神經元的輸入為x，輸出為y，每個神經元的輸入和輸出之間并非全連接，而是通過一定大小的區域相連接，同時y中的神經元通過一定大小的卷積核對這個區域進行特征提取，從而使得輸入數據的權值數量大大降低（降維），提高了網絡的訓練速度，避免了過擬合[10]。y和x之間的監督學習過程如式(2)所示：

式中：是可訓練的卷積核；b是可訓練的偏置參數。

2.2 LeNet-7系統的介紹

CNN最為經典的應用是Y. Lecun等提出的LeNet-5系統[11]，該系統設計之初主要應用于手寫數字識別，識別錯誤率僅達到0.9%。由于紅外圖像采集環境復雜，單幀圖像包含干擾目標（非行人目標）種類較多，本文將傳統LeNet-5系統直接用于單幀紅外圖像行人檢測，實驗結果并不令人滿意。因此本文對該系統進行了改進，提出7層網絡：LeNet-7系統，除去輸入層，LeNet-7系統僅僅包含3個卷積層、3個池化層和1個輸出層，具體結構如圖2所示。圖2中、、分別是各卷積層與池化層中特征圖的個數，、、、、、和、、、、、分別為各個特征圖的寬和高。如果是LeNet-5系統，則沒有C5和S6層，S4層直接全連接到輸出層。由圖2可知，影響LeNet-7系統的參數包含卷積核大小、特征圖個數，目前對于二者的參數選擇沒有明確數學標準化，大多數依賴設計者的經驗，本文采用錯誤率最小的試選法，通過實驗數據分析，對系統的卷積核大小、特征圖個數進行選取，使系統達到最佳檢測效果。

圖2 LeNet-7系統結構

2.3 LeNet-7系統參數的確定

本文采用波士頓大學2014年提供的BU-TIV（Thermal Infrared Video）Benchmark[12]熱紅外視頻數據庫訓練系統，該數據庫包含的圖像環境多樣，相對復雜，具有很高的實用性。隨機提取3000個行人樣本，2000個用于訓練，1000個用于測試；隨機提取3000個非行人樣本中，2000個用于訓練，1000個用于測試。使用時所有樣本歸一化為32×32，步長為1，激活函數為ReLU，歷經8000個epoch（訓練次數）。系統參數的選擇，采用錯誤率最小的試選法，基本思想如下：

1）在單層卷積網絡中（圖2中的C1層和S2層），估計卷積核大小的范圍，固定某一個卷積核尺寸，依次改變特征圖個數，通過實驗數據分析，選取該層最佳的卷積核尺寸和特征圖個數。

2）將上一層網絡確定的參數作為C3層的輸入，聯合C1層網絡，重復步驟1），選取C3層和S4層的最佳卷積核尺寸和特征圖個數。

3）將上一層網絡確定的參數作為C5層的輸入，聯合C1、C3層網絡，重復步驟1），選取C5層和S6層的最佳卷積核尺寸和特征圖個數。

2.3.1 C1層參數的確定

傳統LeNet-5系統用于數字識別時，在最后一層使用16張特征圖實現十分類（數字0～9），行人檢測只需實現二分類，因此本文選取特征圖范圍為1～16。一般，卷積核選取奇數，由于行人在單幀紅外圖像中目標較小，干擾目標較多，為了保證檢測的正確率，卷積核不宜選取過大，因此本文選取卷積核大小范圍為1×1、3×3、5×5、7×7、9×9。采用檢測錯誤率衡量網絡提取特征的能力，錯誤率的描述如公式(3)所示：

式中：ER為錯誤樣本個數，TOTAL為總樣本個數。錯誤率越低，網絡提取特征的能力越強，錯誤率為0.5表示系統無法收斂。

本文首先構建單層卷積網絡（只保留圖2中的C1層和S2層）進行實驗，結果如表1所示。由于網絡前向傳播時特征圖廣度逐層減小，后一卷積層中的卷積核大小不應大于上一卷積層中卷積核的大小，因此，C1層的卷積核選擇3×3、5×5、7×7、9×9。由表1可知，除個別情況外，大部分不收斂（錯誤率0.5000）情況出現在左下角呈階梯狀分布，大部分收斂（錯誤率較小）情況出現在右上角。由此可知，卷積核過小時，增大特征圖個數使得系統輸出錯誤率過大，無法收斂；卷積核過大時，特征圖個數過大，也會使系統無法收斂。其中，9×9卷積核對應的6個特征圖時，單層網絡的錯誤率最低，因此，C1層卷積層參數確定為9×9，6個特征圖。一般，該層卷積網絡特征圖尺寸為[13]：

map＝(－＋1)×(－+1) (4)

式中：為該層網絡的輸入圖像尺寸；為該層卷積核尺寸，因此，C1層×＝24×24，池化層S2中×＝12×12。經過池化后系統的廣度（特征圖的尺寸）減小到原有的1/4，而數據的深度不變，系統的參數個數減小到了75%，計算量大大降低，池化層：S4層、S6層也是如此。

表1 C1層不同卷積核和特征圖對應錯誤率

2.3.2 C3層參數的確定

聯合C1層網絡，再次通過實驗試選法進行C3層參數的確定。其中，C3層卷積核大小選取1×1、3×3、5×5、7×7、9×9。由表1可知大部分不收斂的情況出現在特征圖個數大于10的時候，因此本次實驗選取特征圖范圍為1～10。實驗結果如表2所示，由表2可知，在非單層卷積網絡中，特征圖個數和卷積核大小并無規律可尋，5×5卷積核對應5個特征圖時，系統的錯誤率最低，因此，C3層卷積層參數確定為5×5，5個特征圖，C3層×＝8×8，池化層S4中×＝4×4。

2.3.3 C5層參數的確定

聯合C1層、C3層網絡，最后通過實驗試選法確定C5層參數。一般，后一層的卷積核尺寸不大于上一層卷積核尺寸，因此本次實驗選取卷積核大小為1×1、3×3、5×5，特征圖個數選取1～10，實驗結果如表3所示。由表3可知，卷積核3×3時7個特征圖對應的錯誤率最小，此時C5層×＝2×2，×＝2×2。因此，C5層卷積核大小確定為3×3，特征圖個數為7。最終，LeNet-7系統參數確定為：9×9、6個特征圖；5×5、5個特征圖；3×3、7個特征圖。

表3 C5層不同卷積核和特征圖對應錯誤率

3 LeNet-7系統應用于單幀紅外圖像

3.1 行人檢測流程

通過第1、2章的探討，本文建立了“方向投影”的ROI分割方法和7層的卷積神經網絡，單幀紅外圖像行人檢測的具體方法為：將分割得到的ROI依次送入訓練好的LeNet-7系統，經由系統二分類，最終輸出檢測率數值。具體流程如圖3所示。

圖3 單幀紅外圖像行人檢測流程

需要指出的是：

1）數據庫的選擇

為了避免測試時ROI中出現訓練系統所用BU-TIV數據庫中的人體目標，本文采用俄亥俄州立大學提供的OTCBVS Benchmark Dataset數據庫[14]和Terravic Motion IR Database數據庫[15]對LeNet-7網絡進行測試。這樣固然可以避免測試集和訓練集相互重合，但是對深度卷積神經網絡的場景遷移能力提出了挑戰。

2）人體目標的大小

本文訓練樣本來自BU-TIV（Thermal Infrared Video）Benchmark數據庫，根據數據庫提供的ground truth文件可以發現大部分人體目標大小為22×32，有一些特殊姿態的（如騎自行車或摩托車）的人體樣本，給出的目標大小則為32×32。在制作訓練樣本集和測試樣本集時，本文將所有的樣本統一歸一化為32×32。為了保證訓練好的系統有效用于測試，本文將ROI全部歸一化為32×32，以此保證測試集與訓練集大小相同。

3.2 實驗結果與分析

采用3個不同的紅外圖像測試集進行紅外行人檢測實驗，測試集1來源于俄亥俄州立大學的OSU Thermal Pedestrian Database數據庫，測試集2來源于OSU Color-Thermal Database數據庫，測試集3來源于Terravic Motion IR Database數據庫。其中，測試集1由23副圖像組成，共含有101個人體目標，為多人體測試集；測試集2由54副圖像組成，每幅圖像含有一個人體目標，為單人體測試集；測試集3共有127幅攜帶武器的圖像，每幅圖像中含有2個人體目標，共含有254個人體目標。實驗結果如圖4所示。

圖4 不同測試集行人檢測結果 (a)測試集1；(b)測試集2；(c)測試集3

由圖4可知，3個測試集的圖像經過自適應閾值方向投影后得到的ROI中存在大量的非人體目標，經過本文構建的LeNet-7系統進行分類后，人體目標能夠很好地被分離，這表明本文提出的LeNet-7系統對單幀紅外圖像的人體檢測效果良好。為直觀反映檢測效果，采用檢測率（accuracy rate，AR）和虛警率（false alarm rate ，FAR）作為衡量指標，具體描述如下[16]：

式(5)和式(6)中：TP為正確檢測的人體目標數量；FP為未被正確檢測的人體目標數量；FN為被誤判為行人的非人體目標數量。將本文方法所得檢測結果與傳統“HOG＋Fisher”(文獻[17])方法、文獻[6]方法對比，結果如表4所示。其中，文獻[17]對ROI的檢索性能受限于手動設計的行人特征, 而且滑動窗并未實現對于不同數據集的可伸縮性。文獻[6]構建的卷積神經網絡包含23個卷積層和5個池化層，參數多，計算復雜。

由表4可知，本文構建的LeNet-7系統在3個測試集中的檢測率均高于其他方法，這表明基于LeNet-7系統的卷積神經網絡針對行人檢測系統具有很好的正確率、遷移性。在單人體測試集2中，本文方法檢測率達到100%，同時沒有產生虛警；測試集1和3中本文方法存在部分人體目標未被正確檢測的問題，但虛警率為0%。經過分析，原因是沒有正確檢測的ROI中行人之間存在較為嚴重的相互遮擋，導致系統無法正確判斷人體目標的個數。在以后的工作中，本文將進一步研究。

表4 不同方法的實驗結果

4 結論

本文提出一種基于LeNet-7的卷積神經網絡對單幀紅外圖像行人檢測的方法。首先，采用自適應閾值分割圖像，然后將分割后的圖像向軸方向投影，再向軸投影，最后將得到的ROI圖像輸入訓練好的LeNet-7系統進行測試。該系統僅包含3個卷積層，避免了全卷積神經網絡參數多、計算量大等問題，每層的參數以錯誤率最小的試選法進行確定，避免了依賴經驗選擇參數的盲目性。其中，訓練系統的6000個隨機樣本來自于BU-TIV數據庫，測試樣本來自于OTCBVS和Terravic Motion IR Database數據庫。3個不同測試集的實驗結果表明，本文方法具有很高的紅外圖像行人檢測率，與傳統“HOG＋Fisher”方法、采用多個卷積層的神經網絡對比，本文算法的檢測率更高，虛警率更低，具有較高的實用性。然而，本文方法還有進一步改進的空間，當ROI圖像中行人之間存在較為嚴重的相互遮擋時，系統無法正確判斷人體目標，在接下來的工作中，將進一步提高行人遮擋圖像ROI的分割精度，提升系統的識別能力，為更深層、更復雜的序列紅外圖像行人檢測作鋪墊。

[1] Nanda H , Davis L. Probabilistic template based pedestrian detection in infrared videos[C]//,, 2002: 7712599.

[2] Bertozzi M, Broggi A, Grisleri P, et al. Pedestrian detection in infrared images[C]//,, 2003: 7883392.

[3] GAO Y , AI X , WANG Y , et al. U-V-Disparity based Obstacle Detection with 3D Camera and steerable filter[C]//,, 2011: 12095161.

[4] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//, 2014: 580-587.

[5] 許茗, 于曉升, 陳東岳, 等. 復雜熱紅外監控場景下行人檢測[J]. 中國圖象圖形學報, 2018, 23(12): 1829-1837.

XU M, YU X S, CHEN D Y, et al. Man detection in complex thermal infrared monitoring scenes[J]., 2018, 23(12): 1829-1837.

[6] 譚康霞, 平鵬, 秦文虎. 基于YOLO模型的紅外圖像行人檢測方法[J]. 激光與紅外, 2018, 48(11): 1436-1442.

TAN K X, PING P, QIN W H. Infrared image pedestrian detection method based on YOLO model[J]., 2018, 48(11): 1436-1442.

[7] 陳恩加, 唐向宏, 傅博文. Faster R-CNN行人檢測與再識別為一體的行人檢索算法[J]. 計算機輔助設計與圖形學學報, 2019, 31(2): 332-339.

CHEN E G, TANG X H, FU B W. Pedestrian Search Method Based on Faster R-CNN with the Integration of Pedestrian Detection and Re-identification[J]., 2019, 31(2): 332-339.

[8] 劉智嘉, 賈鵬, 夏寅輝, 等. 基于紅外與可見光圖像融合技術發展與性能評價[J]. 激光與紅外, 2019, 49(5): 633-640.

LIU Z J, JIA P, XIA Y H, et al. Development and performance evaluation of infrared and visible image fusion technology[J]., 2019, 49(5): 633-640.

[9] 吳志洋, 卓勇, 李軍, 等. 基于卷積神經網絡的單色布匹瑕疵快速檢測算法[J]. 計算機輔助設計與圖形學學報, 2018, 30(12): 2262-2270.

WU Z Y, ZHUO Y, LI J, et al. Fast detection algorithm of monochrome fabric defects based on convolution neural network[J]., 2018, 30(12): 2262-2270.

[10] 歐攀, 張正, 路奎, 等. 基于卷積神經網絡的遙感圖像目標檢測[J]. 激光與光電子學進展, 2019, 56(5): 74-80.

OU P, ZHANG Z, LU K, et al. Remote sensing image target detection based on convolution neural network[J]., 2019, 56(5): 74-80.

[11] Y. Lecun, L. Bottou, Y. Bengi, et al. Gradient-based learning applied to document recognition[J]., 1998, 86(11): 2278-2324.

[12] ZHENG Wu, Nathan Fuller, Diane Theriault, et al. IEEE Conference on Computer Vision and Pattern Recognition[DB/OL].(2014-6-24)[2019-12-18].http://csr.bu.edu/BU-TIV/BUTIV.html.

[13] 呂永標, 趙建偉, 曹飛龍. 基于復合卷積神經網絡的圖像去噪算法[J]. 模式識別與人工智能, 2017, 30(2): 97-105.

LU Y B, ZHAO J W, CAO F L. Image denoising algorithm based on compound convolution neural network[J]., 2017, 30(2): 97-105.

[14] Riad I. Hammoud. OTCBVS Benchmark Dataset Collection[DB/OL].(2014-6-22)[2019-12-18].http://vcipl-okstate.org/pbvs/bench/.

[15] Riad I. Hammoud. Terravic Motion IR Database[DB/OL].(2014-6-22)[20192-12-18].http://vcipl-okstate.org/pbvs/bench/Data/05/download.html.

[16] 蘇育挺, 陳耀, 呂衛. 基于近紅外圖像的嵌入式人員在崗檢測系統[J]. 紅外技術, 2019, 41(4): 377-382.

SU Y T, CHEN Y, LU W. Embedded on-the-job detection system based on near infrared image[J]., 2019, 41(4): 377-382.

[17] XU Y L, MA B P, HUANG R, et al. Person search in a scene by jointly modeling people commonness and person uniqueness[C]//22nd, 2014: 937-940.

A Method of Pedestrian Detection Based on Improved CNN in Single-frame Infrared Images

CUI Shaohua，LI Suwen，HUANG Jinle，SHAN Wei

(College of Physics and Electronic Information, Huaibei Normal University, Huaibei 235000, China)

We proposed an improved method of pedestrian detection in infrared images based on the LeNet-7 system, to address the problems of large computation and low detection rates in traditional methods based on a full convolution neural network. The system consists of three convolution layers and three pooling layers. The trail selection method with the smallest error rate is used to determine the parameters of each layer, while the BU-TIV database, established by Boston University,is used to train the system. Firstly, theObject Tracking and Classification in and Beyond the Visible Spectrum(OTCBVS) and Terravic Motion IR Database, established by Ohio State University,areused to test images. Then, the region of interest (ROI) is obtained by vertical and horizontal projection with adaptive thresholds. Finally, the ROI is input into the trained system for testing. Experiments on three test sets demonstrate that the proposed method has good recognition ability. Compared with different experimental methods, the proposed method can effectively improve the detection rate.

image processing, LeNet-7 system, single-frame infrared image, detection rate

TP391

A

1001-8891(2020)05-0238-07

2019-06-25；

2019-12-18.

崔少華（1983-），女，碩士，講師，主要從事信號去噪、圖像處理等方面的研究。E-mail：flower0804@126.com。

國家自然科學基金面上項目（41875040）；安徽省教育廳項目（2018jyxm0530，2017kfk044，KJ2017B008）。