基于遠紅外成像技術的車載夜間行人檢測方法

林浩，馬可可，牛阿云，莊家俊

（仲愷農業工程學院計算科學學院，廣州510225）

0 引言

夜間行車僅約占行車總量的25%，但卻有超過50%的交通事故發生于夜間，給行人等脆性目標帶來了嚴重的威脅[1]。得益于惡劣環境適應性強的優點，紅外成像特別適合于在能見度差的夜間場景中執行行人檢測任務[2]。基于紅外成像的行人檢測方法通常包含感興趣區域（Regions of Interest，RoIs）提取和行人識別兩個主要環節。劉瓊等人[3]提出一種融合行人區域顯著性的雙閾值圖像分割算法，實現了多尺度紅外行人分割，但該算法包含較多的模型參數。Dollar 等人[4]提出描述行人目標的聚合通道特征（Aggregated Channel Feature，ACF），結合集成學習方法，提高了光學圖像中的行人檢測準確性，但由于色彩信息的缺失，ACF 算子無法直接應用于紅外行人檢測。崔少華等人[5]采用包含若干個卷積層和池化層的LeNet-7 框架，提出了一種基于卷積神經網絡的紅外行人檢測方法；許茗等人[6]在頻率域中生成紅外行人區域的顯著性熱圖，以行人目標概率圖為期望輸出，提出了一種全卷積網絡行人檢測方法；上述基于深度學習的行人檢測方法雖能顯著提高紅外行人識別準確性，但依賴于專屬GPU 硬件設備。筆者結合遠紅外行人目標的成像特性，提出一種基于遠紅外圖像序列的行人檢測方法，結合全局和局部圖像分割策略快速準確定位潛在目標區域，在AdaBoost 集成學習框架下引入多目標跟蹤機制，以提高夜間行人檢測系統的魯棒性。

1 實驗數據

在長城小轎車上搭載了一顆熱像儀（廣州颯特紅外股份有限公司NV-628），于廣州大學城和廣州大道上采集了6 段遠紅外視頻，視頻采集時間段為晚上7-8點之間，轎車行駛速度范圍為20-60 km/h，視頻采集幀率為25 f/s、分辨率為352 像素×288 像素；通過間隔2幀的數據采樣方式從6 段視頻中提取了6087 幅遠紅外圖像，并隨機將其分成訓練數據集和測試數據集兩個部分（各包含3 段視頻），其分別包含2934 和3153幅圖像；將訓練數據集中從包含行人目標的圖像（共2493 幅）中提取了10804 個行人目標區域，對于部分行人目標經過鏡像得到額外的4079 個行人目標，共14883 個行人目標區域組成正訓練樣本，圖1 給出了正訓練樣本寬高比分布圖，將剩余僅包含背景目標的圖像（共441 幅）作為負訓練樣本的篩選來源；以最小外接矩形的方式標注了測試數據集中所有的行人目標區域（共4463 個行人），以作為算法驗證的客觀標準。

圖1 行人目標成像尺度分布圖

2 遠紅外行人檢測方法

提出的遠紅外行人檢測方法包含感興趣區域（RoIs）提取、行人特征表達與識別和行人跟蹤三個主要部分。

2.1 RoIs提取

設計一種基于改進雙閾值分割策略的RoIs 提取算法，分別從全局和局部圖像閾值分割兩個層面獲取潛在的遠紅外人體區域，并通過區域合并機制抑制圖像過分割效應，以產生更精確的RoIs，具體步驟如下：

（1）圖像全局閾值分割

如圖2 所示，遠紅外人體區域表現出成像灰度值普遍高于周圍多數背景目標的特點，鑒于全局閾值分割通常具有處理速度快的優點，首先通過公式（1）獲取能有效濾除大多數背景區域的全局圖像分割閾值TG

其中，μ和σ分別為輸入圖像的灰度平均值和標準差，λ為擾動參數。圖3（b）給出了一幅遠紅外圖像的全局閾值分割效果。由分割結果可以看出，全局閾值化后已得到大部分前景，但仍有部分較亮的背景區域也被分割出來，易導致干擾背景與行人區域產生粘連現象，故以此為基礎，進一步采用局部閾值分割濾除與行人相互粘連的背景區域。

圖2 遠紅外行人區域灰度分布拓撲圖

圖3 遠紅外圖像全局閾值分割

（2）圖像局部閾值分割

遠紅外圖像中目標的成像灰度值與其散發的熱輻射有較大的關聯，道路交通場景中可能存在一定數量的干擾熱源，使得其難以在全局閾值圖像分割環節中被有效濾除，為避免干擾熱源對圖像全局閾值分割效果的影響，采用局部閾值圖像分割獲取局部人體區域。

鑒于站立人體的圖像區域一般呈現寬高比數值較低的特性，通過指定尺度的矩形窗口限制圖像的局部區域，據此計算對應的局部分割閾值。由圖1 所示行人訓練樣本的寬高比分布于1:3 前后，且樣本集中行人目標成像尺度面積約為400 像素，故采用大小為13 像素×41 像素、步長為1 像素的滑動窗口進行潛在行人目標區域的局部遍歷，并通過公式（2）獲取圖像局部分割閾值：

其中，I 為輸入圖像，h 和w 分別表示局部區域中像素點的縱坐標為（20+j）的橫坐標范圍以及橫坐標為（6+i）的縱坐標范圍，γ是局部分割閾值擾動系數。進一步，采用公式（3）所示的決策規則實現圖像局部閾值分割，圖3（c）給出圖3（a）所示圖像的局部閾值分割效果。

相比于圖像的全局滑窗法，以全局閾值分割結果為基礎進行前景區域的局部滑窗掃描方式可有效降低RoIs 提取環節的計算開銷。此外，由圖3 可以看出，從全局和局部兩個層面進行前景區域分割，還能獲得更高的分割準確率。

（3）區域合并與RoIs 生成

圖4（a）給出了基于圖3（c）所示閾值化分割圖像的RoIs 生成結果，可以看出，部分人體區域存在一定程度的過分割效應，導致獨立人體區域被劃分成若干子區域，為提高RoIs 生成結果的精確度，結合區域合并策略將臨近的兩個子區域（如上下或左右毗鄰）重組成一個完整區域，要求臨近兩個子區域在歐氏空間中的距離小于閾值5 像素（該參數通過訓練樣本集確定），圖4（b）給出了基于區域合并策略的RoIs 生成結果。

圖4 RoIs生成

2.2 行人特征表達與識別

（1）行人特征表達

雖然遠紅外圖像缺乏目標的色彩信息，但行人區域與其余背景目標區域在亮度、紋理和形狀等外觀表征方面仍存在較為顯著的差異性，而聚合通道特征（Aggregate Channels Feature，ACF）[4]有利于從多種不同特征通道中提取出表征人體不同外觀特性的描述特征，故通過LUV 色彩空間轉換后分離出獨立于色彩信息的亮度分量，以此為基礎采用ACF 算子提取具有7個特征通道的行人描述特征，圖5 給出了一幅遠紅外行人圖像的聚合通道梯度特征提取效果。

圖5 遠紅外行人目標的ACF特征表達

（2）行人識別

ACF 特征中仍可能存在一定的冗余性，而通過集成學習方法有利于從中訓練針對性的魯棒行人識別模型。故采用AdaBoost 算法對提取所得的ACF 特征進行訓練，其中基礎分類器的數量設為2048 個，而訓練基礎分類器的算法為分類與回歸樹CART；由于行人檢測屬于“稀有事件”檢測問題[7]，為提高后層基礎分類器的魯棒性、同時避免類別偏斜問題，將集成學習過程中的每層正負訓練樣本數量比例設置為1:5。

2.3 行人跟蹤

基于靜態/單幀圖像的檢測方式容易產生較多的目標漏識別現象，為進一步提高行人識別結果的準確性，采用尺度自適應跟蹤算法（Discriminative Scale Space Tracker，DSST）[8]在連續多幀的動態圖像序列中跟蹤已識別到的行人目標，以濾除行人識別環節中錯誤檢測的大量干擾背景。DSST 算法可通過相關濾波器預測目標尺度，適合于多尺度目標跟蹤任務，此處結合訓練數據集設置相關濾波器的維數為33，以行人識別環節判定結果的區域質心為基準，獲取了33 個不同尺度的目標圖像，并提取對應目標的梯度累計特征（源自ACF特征），從而形成一個33 維的空間域特征金字塔。在預測過程中，將空間域特征金字塔的第t 維特征歸一化成1×t 大小的特征向量（t≤33），結合一維離散傅里葉正反變換在頻率域中對第t 維特征（共33 維）進行相關運算并映射回空間域，其中具有最大響應值所對應的尺度即為預測的目標尺度，具體跟蹤流程如圖6 所示。

圖6 基于DSST的行人跟蹤流程圖

2.4 評估指標

采用漏檢率（Miss Rate，MR）和誤檢率（Error-detection Rate，ER）來評估行人檢測結果的準確性，其定義分別見公式（4）和（5），式中TP 為真陽性樣本數量，FN 為假陰性樣本數量，FP 為假陽性樣本數量。

3 實驗結果與討論

在配備Intel Core i5 6300HQ CPU（2.3GHz）、8GB RAM 和NVIDIA GTX 1050 GPU（2GB）的MATLAB R2019a 平臺上開展行人檢測算法的驗證與分析。

3.1 RoIs提取結果分析

為了評估所提算法的前景分割性能，圖7 給出了不同RoIs 提取算法對潛在遠紅外行人目標的提取效果示例。由圖7（b）可以看出，文獻[9]采用的水平線局部雙閾值分割策略未能很好地過濾更多的干擾背景區域，而本文算法能獲得更精確的中近景潛在目標提取結果（如圖7（c）所示），有利于減少后續行人識別與跟蹤結果中由干擾背景引入的誤差；此外，文獻[9]的方法需要遍歷遠紅外圖像中的所有像素，具有較高的計算時間復雜度，而本文方法事先通過全局閾值分割策略濾除了大部分背景像素點，在隨后選取局部分割閾值時，只需要遍歷全局閾值化結果中潛在前景區域的像素點，有利于提高RoIs 提取環節的計算效率。

圖7 RoIs提取效果對比

3.2 行人識別與跟蹤結果分析

由于數據集中的行人尺寸差異較大，在行人識別環節，根據行人樣本區域面積大小分布，將行人分為遠景、中景和近景目標，分別為每一類目標訓練一個Ada-Boost 分類器；遠景分類器尺寸為138 像素×44 像素、中景分類器尺寸為110 像素×36 像素、近景目標尺寸為70 像素×24 像素。在441 幅僅包含背景目標的圖像中通過Bootstrap 策略共富集了40625 個負訓練樣本。采用針對紅外目標表達的ACF 描述子和AdaBoost 訓練策略，在測試數據集上的MR 和ER 分別為25.49%和13.91%。結合具有尺度估計的DSST 多目標跟蹤模塊后，在測試數據集上的MR 和ER 分別降低為11.63%和3.34%，可以看出，多目標跟蹤算法的引入有利于進一步提高行人檢測結果的準確性，這是因為常規的行人識別僅針對單幀圖像中的目標檢測問題，而無法獲取目標在連續多幀圖像中的運動參數信息，部分誤檢的干擾背景容易在單幀圖像中出現，但一般難以在連續若干幀圖像中持續出現，其運動參數（如軌跡）顯著有別于行人目標，一定程度上可被多目標跟蹤濾波器濾除，從而達到提高行人檢測結果魯棒性的目的。

圖8 給出了不同道路場景中的部分行人識別結果，其中黃色矩形標識正確識別的行人目標、品紅色矩形標識被誤檢的干擾背景目標（如圖8（e）所示）、紅色矩形標識被漏檢的行人目標（如圖8（f）所示）。值得指出的是，在測試數據集上出現的漏檢行人絕大多數是被標注為遠景目標的一類測試數據，然而，遠紅外圖像中的多數遠景目標通常表現為模糊小目標，這類目標甚至難以通過人工方式準確標注，往往這類目標被評估為歧義性目標，而隨著汽車的前向運動，這類歧義性目標將逐漸成為信息量更豐富的中近景目標，故中近景行人是汽車駕駛輔助系統中更為關注的運動目標[10]。

圖8 部分行人檢測結果示例

4 結語

提出一種基于遠紅外成像技術的車載夜間行人檢測方法，主要結論如下：

（1）通過全局閾值分割可濾除大量明顯不包含遠紅外行人目標的圖像子區域，提高RoIs 區域提取的計算效率，以此為基準結合局部閾值分割和區域合并機制能抑制潛在目標區域的過分割，提高RoIs 提取結果的精確度；

（2）從遠紅外圖像亮度分量中提取的ACF 特征能有效表達行人目標的局部形狀和邊緣輪廓，結合Ada-Boost 學習算法和訓練樣本數量約束策略有利于緩解“稀有事件”檢測對行人識別準確性的影響；

（3）通過DSST 多目標跟蹤策略過濾大量基于單幀圖像的錯誤行人識別結果，可提高行人檢測結果的魯棒性。