人類視覺機制與ROI 融合的紅外行人檢測

王玉萍，曾 毅

(鄭州科技學院信息工程學院，河南 鄭州 450064)

0 引 言

紅外圖像在國防和生活領域有著廣泛的應用，例如夜視、監視、輔助駕駛系統、天氣預測、搜救、跟蹤與入侵檢測等。在這些應用中，紅外行人檢測在國防領域中得到了更多的關注[1]。然而，由于紅外圖像中行人的以下特點，讓檢測過程變得困難：1）行人的背景會被未知噪聲所污染，并且行人和背景之間的對比度很低；2）小行人目標缺少紋理信息，特征提取較為困難。因此，紅外圖像中行人目標的檢測是一項有挑戰性的任務。

近些年，許多研究者提出了大量紅外圖像中的行人檢測方法。這些方法被分為基于濾波、基于閾值、基于模板[2]和基于顯著性[3]的檢測方法。基于濾波的方法由于圖像雜亂以及行人之間遮擋，并不能很好地檢測行人。基于閾值方法的缺點是結果圖像中存在不連續像素，因此導致誤報率增加，不能對行人很好地檢測。基于模板的方法不能檢測到行人的確切形狀。而顯著性檢測方法在有干擾的圖像上檢測特征圖是很困難的。

Meng 等[4]提出了一種改進的離線訓練、在線檢測的行人檢測方法。但此種方法所采用的HOG特征在檢測過程中如果存在圖像分辨率不高的情況會導致檢測失敗。Li 等[5]提出了一種使用雙密度復小波變換和小波熵的穩健行人檢測。但小波方法未考慮多個行人遮擋。文獻[6]提出了使用梯度直方圖（HOG）和平均對比度幾何特征的行人檢測方法。這種方法在溫度較高的環境中不能檢測到行人。Lu 等[7]提出了一種改進的低維度紋理特征來在紅外圖像中跟蹤運動物體目標。

但是以上算法并沒有能很好地解決在檢測過程中存在的紅外背景復雜問題。針對上述問題，本文提出一種基于人類視覺機制和ROI 融合的紅外行人檢測方法。實驗結果表明，該方法具有較高的精度與召回率，且具有較快的檢測速度，優于現有方法。

1 行人檢測系統

本文提出的紅外圖像行人檢測框架如圖1 所示，其步驟包括：預處理、行人候選區域生成、特征提取、分類。

圖1 行人檢測框架

1.1 預處理

在冬季，行人的體表溫度會很低，其在紅外圖像中會與周圍環境幾乎融為一體。而在夏季，行人和周圍物體會釋放出大量的熱，在紅外圖像中同樣不好分辨[8]。而在彩色圖像序列中，處理過程就不受季節及溫度條件限制。由于這些原因，在紅外圖像中減少背景的同時進行行人檢測很有挑戰性。為了減少背景并且增加行人信息，應用了均值濾波和改進的LoG 濾波。

1）均值濾波

均值濾波可以將不必要的目標與背景相結合。為了抑制輸入圖像中的背景像素信息，將其分成塊。每個塊的大小為m×n，其中m=2a+1 且n=2b+1 且a，b>1。這里，a和b的值設為2。隨后將塊中的每個像素值與整個塊整體像素進行比較。從實驗中觀察到均值濾波在所有方面都能更好地抑制背景。因此，對圖像塊使用順序統計均值濾波器，即，通過將塊中的每個像素與塊的平均值（μ）進行比較來完成局部處理。上述情況如下式所示：

其中 IP(x,y)是 輸入圖像I(x,y)的一小塊區域。此外，它將使圖像平滑并將圖像像素中的任何噪聲或其他信息與背景合并[9]。

2）LoG 濾波

在紅外圖像中，由于種種原因，拍攝中的遠處行人變得模糊。為此，設計了人類視覺機制模型。人類視覺機制[10]基于物體和背景之間的對比度感知物體，如果它們具有相似的對比度，則兩個物體被認為是近似的。人類視覺機制的主要特性是對比機制，多尺度表示和尺寸適應過程。對比機制是人類視覺機制最基本，最重要的特征。利用加入視覺對比機制的LoG 濾波[11]來區分對象與背景。LoG濾波的表達式為

其中σ 為圖像中的變量。

二維高斯函數有著循環對稱性，此屬性可以使濾波器偏向任何方向。該濾波器類似于人類視覺系統的成像。由于行人是發熱物體，因此可以使用此濾波器檢測到行人。如果周遭的環境溫度比較低，行人產生的熱會被外部環境的溫度降低。在這個情況下，LoG 濾波器會感知變化。另外，σ 的值用四階標準中心距的峰度和正切函數來自適應地計算。

峰度是概率密度函數形狀的度量的描述符，因此它被用作圖像濾波的參數。峰度的普遍定義是四階累積量除以二階累積量的平方。對于輸入圖像I，峰度 γ2的定義如下式所示：

由于數字圖像本質上是離散的，因此使用數字近似來定義導數。為了分辨人類視覺系統的預處理圖像，使用雙曲正切函數，類似于sigmoid 函數的平滑曲線表示。式（3）中的σ 在式（4）～（6）中定義。

LoG 濾波的過程定義為

式中：I Px(x,y)——LoG 濾波圖像；

*——對圖像進行卷積。

1.2 行人候選區域生成

1）熱分析

基于熱信息的行人ROI 提取是根據行人會釋放出熱量這一屬性來提出的。僅基于他們的熱特性在每個圖像幀中提取行人候選區域。圖像根據閾值θTA被二值化，目的是得到與行人候選區域相關的像素點[12]。由于該閾值，得到包含熱斑的圖像區域，此區域可能是行人。閾值 θTA根 據圖像I的均值I?和標準偏差 σI計算：

之后對二值化圖像進行形態學處理（先進行開操作，之后進行閉操作）來消除噪點，處理后僅保留連通域面積大于Amin的連通域作為候選連通域，記為Rt。其中，Amin為相機到圖像中最遠行人的測量距離。

2）運動分析。某些環境條件會對熱紅外光譜中的視覺對比度產生負面影響。例如，在場景溫度與人體溫度相似的溫暖環境中很難找到行人。然而，如果在場景中使用運動信息來分析，就可以在其中找到行人，因為他們在長時間內不會是靜止的。因此，進行運動分析以利用場景中的運動信息。

前一幀圖像I（t–1）和當前圖像I（t）以每秒5 幀的速率截取，這確保了行人足夠的移動距離并能夠實時處理所有圖像幀。接著，對這些幀執行圖像差值運算和閾值處理。閾值θmov經過多次實驗確定為256 灰度級圖像最大值的16%。如果出現以下情況，則計算出像素（x，y）為“候選像素”：

現在，大于Amin并且“候選像素”比例大于ROI面積的5%的區域被提取到Rm列表中。

3）ROI 融合

將得到的Rf和Rm融 合為一個ROI 區域Rf，分為3種情況：對于Rf中 的與Rm的沒有任何的交集ROI，加入到Rf中；對于Rm中 的與Rf的沒有任何的交集ROI，加入Rf中 ；Rm和Rf中有交集的ROI，將其所有像素點構成一個新的ROI，加入到Rf中。

4）寬度調整

在得到Rf之 后，首先在像素級別按列掃描Rf，得到在ROI 中每個像素對應的灰度值。由此獲得直方圖H[i]（如式（10）所示），其顯示當前ROI 中熱量集中的區域：

由于在一個ROI 中可能包含幾個彼此足夠接近的行人，因此直方圖有助于將行人群體（如果有的話）分成單個行人。當在直方圖內查找最大值和最小值時，可以區分實際存在于特定ROI 中的行人。

因此，如果直方圖H[i]存在于該ROI 中，則掃描直方圖H[i]以將分在同一ROI 中的行人分開。在直方圖列中搜索局部最大值和局部最小值來確定ROI 中的熱源，并據此確定新閾值。在其中尋找60%的像素低于Rf的平均灰度值的列，因為這些區域可能屬于兩個人之間的間隙。這樣，列表Rf將形成子ROI——名為 sRf的新列表。在這里，如果每個Rf包含一個行人，則 sRf將等于Rf。

5）行人確認

現在，列表 sRf的每個ROI 需要確認候選區域是否真的是行人。實際上，由于其熱性質，圖像中的一些白熾斑點（例如白熾燈泡）在某些情況下仍然可能與人類混淆。因此，驗證其是否為行人是重要的一步。

如果行人候選區域的高度大于其寬度，則檢查ROI 灰度的標準差。如果相反，則將其剔除出ROI列表。這是由于諸如白熾燈等熱源的標準差很低，因為它們的熱分布是均勻的。相反，人體的身體部位有不同的熱量集中，例如頭部比身體其他部位放熱量更高。通過實驗確定行人ROI 的標準差必須大于12。

可以看到，經過信息融合的行人候選區域生成，圖像中的關鍵信息得到了最大程度的保留，并去除了許多干擾內容。為之后的特征提取及分類奠定了基礎。

1.3 特征提取

1.3.1 HOG特征

梯度直方圖特征(histogram of oriented gradient,HOG)是目標檢測領域常見的特征。HOG特征背后的主要思想是通過使用邊緣方向的分布來描述對象外觀和形狀，并對單元的每個像素，計算梯度方向和邊緣方向的直方圖。

1.3.2 OCS-LBP特征

局部二值模式（LBP）是一種在檢測紅外圖像目標時常用的特征，但由于局部二值模式（LBP）會產生較長的直方圖，影響檢測的速度。因此，提出了一種新的OCS-LBP特征[13](Oriented center symmetric local binary patterns)，用于紅外圖像下的目標檢測。相比于原始的LBP特征，OCS-LBP特征減少了計算量，保持了其灰度不變性等特點，對于紅外圖像中的灰度變化以及噪聲具有更好的魯棒性。圖2為OCS-LBP特征的計算原理圖。

圖2 OCS-LBP特征計算原理示意圖

從圖中可以看出，在OCS-LBP特征提取過程中，將梯度方向分為8 個方向。梯度方向及幅值信息通過計算兩個中心對稱像素點灰度值之差確定。

從上節提取的行人檢測感興趣區域（ROI）中獲取OCS-LBP特征直方圖，實現圖2 的計算過程，整個計算過程的數學公式描述為：

式(11)分段函數s(x)中的閾值T是其函數中的比較閾值，閾值T的值需要通過實驗來確定。通過對閾值T賦予不同值的方式來提升目標特征的魯棒性。當選中的中心對稱的兩個像素點灰度值差值大于或等于所設置的閾值T時，則將其差值記錄在所對應梯度方向的直方圖中。在式(12)與式(13)中，(xc,yc)表 示鄰域內中心像素點的坐標值，ni和ni+(P/2)與ni和ni?(P/2)表示一組以P為等間隔，對半徑為R的圓形區域進行分割后的一組像素點的灰度值。k表示對應的梯度方向，其取值范圍為0～7。

1.4 隨機蕨分類器

隨機蕨分類器(random ferns,RFs)[14]稱為半樸素貝葉斯(semi-na?ve Bayes)分類器，它是由貝葉斯分類器發展而來。原理是從特征集合中隨機抽取一組特征子集，一組子集被稱為一個隨機蕨。設每組子集包含s個特征：

假設每個隨機蕨都是條件獨立的，因此所有特征的聯合似然分布可由下式計算：

相應的隨機蕨分類器為：

RFs 分類器中的樣本特征值獲取方法為：從圖像中隨機選取多個像素點對，將每對像素點提取HOG特征，即可得到該樣本的特征值。盡管使用HOG特征可以對外觀的變化具備一定的魯棒性，由于紅外圖像的特性，往往會有背景噪聲或是出現相似目標混淆的情況，使得其對紅外目標描述能力變弱。梯度信息在環境或目標屬性出現變化的時候，通常可以表現出更高的穩定性，因此，可以利用OCSLBP特征作為分類器的候選特征。

設OCS-LBPx為在輸入圖像中以x位置的像素點為中心的直方圖，設F(f1(x),f2(x),···,fL(x))為L維向量，fk(x)的取值為：

其中，i和j表示在OCS-LBP特征直方圖中隨機選取的不同的bin。從式中可以看到，每一個RFs 的特征可以利用二進制描述出2L種不同的觀測值。

2 實驗結果和效果分析

2.1 應用的數據集

為了評估所提出的行人檢測方法的性能，選用OSU 紅外行人數據集。該數據集包含6 類284 個行人圖像，588 個行人對象。這些圖像是在不同的天氣環境下使用高精度紅外攝像機拍攝的，例如晴天、小雨、多云和霧霾。圖像的尺寸為360×240。數據庫中的每個像素由8 位表示，即256 個灰度級。每個圖像序列集合的詳細信息如表1 所示。

表1 OSU 紅外行人數據集

2.2 效果評估方法

精度矩陣用于性能評估。TP、FP、FN 分別表示“真陽”（模型預測為正的正樣本），“假陽”（模型預測為正的負樣本）和“假陰”（模型預測為負的正樣本）。召回率用于評估行人檢測的完整性。其中高召回率值對應于高檢測率，即召回率表示檢測率的穩健性。

準確率是衡量保真度的標準。它在式（19）中定義。高準確率表示檢測到的“假正”數量低，即準確率表示檢測的準確性。

2.3 實驗結果

文章中的實驗平臺為Matlab2016b，計算機配置及參數為Intel i7-7300HQ CPU，內存16GB。HOG單元尺寸與塊尺寸分別設置為8×8 和2×2。OCSLBP特征中參數半徑R=3，間隔P=9，閾值T=2。行人目標紅外視頻序列使用IRJ-CT 型紅外照相機來拍攝，此相機的焦距為8 mm，水平視角為50°(HFOV)，相機的基準線為120 mm，感光的波長范圍為9～14 μm，圖像分辨率為1024×768。實驗結果分為兩個階段。第一個階段：預處理結果；第二個階段：所提出的行人檢測方法與其他常用且效果好的行人檢測方法進行比較。

預處理結果如圖3 所示。均值濾波使圖像平滑并且可以抑制背景信息。因此，經過均值濾波的圖像質量要比輸入圖像質量好。LoG 濾波的結果在圖3(c)中顯示。LoG 濾波器結果圖像表示行人和背景之間的對比度。根據該結果，注意到LoG 濾波器感知來自圖3(b)中的對比度信息，這基于人類視覺機制。

圖3 預處理結果

行人候選區域生成結果如圖4 所示。閾值分割結果如圖4(a)所示。圖4(b)顯示了熱分析與運動分析融合后得到的Rf。在執行寬度調整后，將兩個靠在一起的行人用兩個候選區域分開得到 sRf，結果如圖4(c)所示。最終生成的行人候選區域如圖4(d)所示。

圖4 行人候選區域生成結果

不同特征的分類性能如表2 所示。由表中的數據可知，在都應用SVM 分類的情況下，使用HOG+OCS-LBP特征檢測達到了最高的檢測精度與召回率；而在都應用HOG+OCS-LBP特征的情況下，使用隨機蕨分類器（RFs）分類使檢測精度與召回率基本不變的情況下使檢測時間縮短了3.7 s，將速度提升了近一倍。四種實驗方法結果的ROC 曲線如圖5所示。

表2 不同特征的分類性能比較

圖5 ROC 曲線圖

在分類過程中，特征描述子起著重要的作用。為了選取與分類過程匹配的特征描述子，使用不同特征進行實驗，如局部二值模式（LBP），方向中心對稱局部二值模式（OCS-LBP），梯度方向直方圖（HOG）特征。通過實驗明顯表明HOG+OCS-LBP方法優于其他方法。

圖6 顯示了所提方法的一些樣本分類結果與HOG+OCS-LBP特征和其他特征方法的比較，標識為行人的TP 與FP 對象方框。從結果可以看出，所提出的HOG+OCS-LBP 方法在檢測行人方面的性能優于其他的方法。

圖6 樣本分類結果的比較

3 結束語

本文提出了一種運用人類視覺對比機制和ROI融合的紅外圖像行人檢測方法。這種方法首先將輸入的紅外圖像進行預處理，并通過ROI 的兩類信息融合來生成行人候選區域，增加行人信息與抑制背景信息，增強了行人與背景之間的對比度。此外，針對行人目標在紅外圖像中存在較多干擾的問題，提出一種改進的低維度紋理特征OCS-LBP，將其作為HOG 的候選特征來進行分類。實驗結果表明，與其他不同的特征提取方法和其他流行的紅外圖像行人檢測方法相比，在檢測時間、檢測精度方面都有所提升。但此方法在街景較為復雜與光照昏暗的條件下，效果不是很理想。下一步的研究工作需要將此方法的分類階段與深度學習結合，創建一個應用于紅外行人檢測的神經網絡。