熱紅外視頻監控下行人目標前景區域提取

張玉貴，沈柳青，胡海苗

（北京航空航天大學 計算機學院，北京 100083）

視頻監控在公共安全、刑偵破案、災難救援中具有重要的作用，尤其在公安視頻監控中對行人目標的準確檢測更為重要，從而保障了公安辦案人員事前預警、事中干預、事后留證［1-3］。然而，在實際現實世界中，由于夜間低照度光照、霧霾、陰雨天氣等的影響，使得充足光照的時間不到全年總時間的二分之一。夜間低照度光照、霧霾、陰雨天氣等光照條件，嚴重影響基于可見光的視頻監控環境中行人目標檢測的準確性，并且影響后續視頻智能化分析處理。因此，研究基于夜間低照度下的行人目標的準確檢測，并保障視頻監控的全天時準確檢測，是公安視頻監控中重要的應用［4-9］。在低照度下行人目標的運動前景區域準確提取是行人目標準確檢測的基礎。為此，本文重點研究了低照度下基于熱紅外成像來實現行人目標前景區域的準確提取。

熱紅外傳感器成像是根據任何物體表面的溫度超過絕對零度（-273.15℃）時會輻射出不同的紅外線電磁信息。這些紅外線電磁信息載有物體的特征信息，因此可用于判別不同目標物的熱分布場及溫度的高低。利用紅外光電技術，熱成像攝像機通過測量目標與背景或目標各部分之間的輻射差異，將物體輻射的功率信號轉換成電信號，經過放大處理形成視頻圖像，也即是利用熱成像攝像機的作用，將物體發出的不可見紅外能量轉變為人眼可識別的熱圖像［9-10］。由于熱圖像是基于熱輻射成像，也即紅外是基于物體表面的溫度來成像的，因此不會受到低照度光照、陰雨天氣、霧霾、大雪、大風等光照條件的影響。例如，正常情況下，人體的溫度要比周邊環境的溫度要高，在熱圖像成像上人體目標就會以高亮成像；但在夏天，環境溫度較高的情況下，人體溫度低于周圍環境溫度，人體目標的成像會不明顯，甚至以暗色成像，因此在這種情況下，就會產生圖像像素值反轉的問題，這為行人目標的檢測帶來困難。同時，熱紅外成像技術還受到夜間的路燈、汽車的車燈、樓宇中長明燈的光亮影響，導致行人目標檢測的精度降低、誤檢率或虛警率高，影響后續的智能化分析水平［11］。

現有主流的基于熱紅外下行人目標前景區域的提取方法有以下3類。第1類方法主要使用熱圖像的底層視覺特征，例如目標的紋理、邊緣等特征，但這類方法中的熱紅外圖像沒有顏色信息，導致不能夠有效地檢測到行人目標的紋理特征和顏色特征［12］。第2類方法主要利用視頻序列中的時域信息來獲取運動區域，主要有幀差法［13］、背景減法［14］和光流法［15］。幀差法基于圖像序列中相鄰幀差分來獲得運動區域，該類方法對于動態環境有一定的適應性，但在目標運動過慢時，容易產生較大的“空洞”。背景減法是將當前圖像與背景圖像進行差分以獲得運動區域，該類方法能獲得比較完整的運動區域，但在實際應用中難以有效地建立準確的背景模型。光流法是基于視頻序列中運動目標隨時間變化的光流場特性，但該方法計算復雜，容易受噪聲影響，不利于實時處理。第3類方法主要利用視頻序列中運動目標的時域運動信息在熱紅外圖像中生成若干疑似包含人體目標的感興趣區域，后續對感興趣區域提取特征并使用分類器，來驗證是否為行人目標，進而來排除誤檢目標［16］。這3類方法盡管在一些特定場景和特定應用上具有較好的檢測精度，但對其他場景和環境，尤其是在熱紅外視頻監控中出現灰度值反轉的情況下，其適應性與魯棒性仍有待提升。因此，在熱紅外視頻監控中出現灰度值反轉的情況下，對行人目標的前景區域的準確檢測具有重要意義。

針對上述問題，本文提出了一種基于行人目標的邊界特征和運動特征來提取行人目標前景區域的方法。所提方法建立了有效結合行人目標本身的底層特征和中高層特征的機制，克服了環境中的溫度變化所帶來的灰度值反轉，因此對各類環境的變化有一定魯棒性。

1 相關工作

近年來，針對熱紅外圖像中行人目標前景區域的提取，研究學者們提出了諸多算法框架與解決方案。一些研究利用圖像的視覺底層信息（例如輪廓和紋理信息）來實現行人目標的前景區域的準確提取。Shaik和Iftekharuddin［17］提出了基于頻域相關性和貝葉斯概率技術來實現目標的檢測和跟蹤，所提出的算法適合于靜態或運動目標的實時檢測和跟蹤，同時在一定程度上能夠去除雜波和背景噪聲所帶來的背景干擾。Davis和Sharma［18］提出了一種基于輪廓的背景檢測技術來檢測變化很大的熱圖像中的行人目標，該技術首先利用背景減法識別局部感興趣區域，其次在每個感興趣的區域內，將前景和背景中的信息組合起來以形成輪廓顯著圖，并利用分水嶺邊界的路徑約束搜索用于完成任何破碎的輪廓線段連接，最后填充輪廓圖像以產生完整輪廓。Sad jadi［19］提出了基于小波多分辨率紋理的算法，該算法使用圖像的小波分解子帶的概率密度函數。這些概率密度函數在聚類算法中用于從背景雜波中分割目標。該算法估計了一組多維預測分析性能模型，這些模型涉及算法內部參數、目標像素數、目標背景干擾比、目標干擾比和局部熵度量。這些模型可用于在沒有可用數據的情況下預測區域的性能，并在具有已知場景和度量條件的區域中通過選擇最佳參數和恒定的虛警值來優化性能。

同時，為了進一步提升紅外視頻監控中行人目標前景區域的提取精度，許多研究者利用了行人目標的運動特征。Lei和Geng［20］提出了一種將三幀差分法與背景差分法相融合的紅外人體運動目標檢測方法，并采用混合高斯模型進行背景建模，結果表明，該方法在運動目標檢測中比單獨使用三幀差分法和背景差分法更好。付裕等［21］提出了一種基于高斯模型的運動目標檢測方法，該方法利用基本的預處理技術對紅外圖像做了預處理，隨后引入高斯模型，建立背景圖像的自適應模型，仿真結果表明，該方法可以準確地檢測紅外監控圖像中的人體運動目標，較好地避免了人體運動速度過快或過慢所產生的拖尾或空洞現象。Viola等［22］提出了一種將圖像強度信息與運動信息集成在一起的行人目標檢測系統，其中使用了一種檢測樣式算法，該算法在視頻序列的兩個連續幀上掃描檢測器，并使用AdaBoost對檢測器進行訓練，該方法可以以非常小的比例檢測出行人，并且誤檢率非常低。Javed等［23］提出了一種背景減除方法，該方法包括3個不同的級別：像素級別、區域級別和幀級別，并且使用了多個線索以在背景干擾的條件下魯棒地檢測出目標，該方法能夠解決實際應用中的一些常見問題，例如快速照明改變、靜態背景目標的重新定位以及場景中存在運動目標的背景模型的初始化等。

因此，利用熱紅外圖像的底層視覺特征和運動特征能夠在一定程度上解決行人目標前景區域提取的問題，但當熱紅外圖像出現灰度值反轉時，上述方法不能夠有效地解決該類問題。

2 本文方法

針對在實際熱紅外視頻監控中，由于熱紅外成像受環境溫度的影響，可能會出現圖像灰度值反轉的問題。然而，不論是行人溫度高于周圍環境溫度，還是周圍環境溫度高于行人溫度，行人目標和背景之間總會存在明顯的目標邊界?；诖?，本文提出了一種在熱紅外視頻監控下提取行人目標前景區域的方法，該方法基于熱紅外圖像行人目標的邊界特征提取并融合行人目標的運動特征，包括以下步驟：

步驟1利用圖像梯度來提取當前幀圖像的邊界信息，并對邊界信息進行區域填充，將邊界特征提取的前景區域位置映射到原始圖像中的對應位置，并利用熱紅外行人目標分類器模型進行誤檢排除，從而獲得最終的邊界特征提取結果。

步驟2利用幀差法來獲取相鄰幀圖像的運動特征，對運動特征進行形態學處理，將運動特征獲取的前景區域位置映射到原始圖像中的對應位置，并利用熱紅外行人目標分類器模型進行誤檢排除，從而獲得最終的運動特征提取結果。

步驟3對所獲得的邊界特征提取最終結果和運動特征提取最終結果進行融合以獲取行人目標前景區域結果。

其中，熱紅外行人目標分類器模型是在LSI熱紅外行人目標分類數據集［24］上使用文獻［24］中的SVM線性模型進行訓練得到的，在訓練時所使用的行人正負樣本比例是1∶4。本文方法總體流程如圖1所示。

圖1 行人目標前景區域提取的方法流程Fig.1 Method flow for extraction of pedestrian object foreground area

2.1 邊界特征提取

基于目標與背景之間的顯著性差異來進行邊界特征提取。Zhang等［25］利用運動目標光流場和背景光流場之間的差異來提取運動目標的邊界。Liu和Xue［26］首先通過自適應邊界特征提取算法來獲取可見光視頻序列中的目標邊界，然后利用三幀差分法的檢測結果進行邊界補充，并進行形態學處理獲得運動目標。

圖像梯度是指相鄰2個像素在水平方向或者垂直方向上的差值。在本文中，對圖像梯度分別在水平方向和垂直方向上進行絕對值運算，以提取行人目標和背景之間的邊界信息。相關計算見式（1）～式（3）。

式中：gradient（I）為熱紅外圖像I的梯度；d x（i，j）和d y（i，j）分別為圖像在位置（i，j）處在水平方向和垂直方向的梯度絕對值；I（i，j）為當前圖像在（i，j）位置處的像素值。

為了去除部分干擾噪聲，降低目標檢測的誤檢率，將所獲取的圖像在水平方向的絕對值梯度和在垂直方向的絕對值梯度進行閾值處理，并將經閾值處理后的水平方向梯度絕對值和垂直方向梯度絕對值進行算術疊加，從而得到目標的邊界信息。將所獲得的目標的邊界信息進行區域填充而得到邊界前景特征提取結果，將邊界特征提取獲取的前景區域映射到原始圖像中的對應位置，并利用行人目標分類器模型來進一步排除邊界特征提取中可能出現的誤檢目標，從而獲得最終的邊界特征提取結果。將水平方向的梯度絕對值和垂直方向的梯度絕對值進行疊加得到的邊界信息為

式中：Iboundary（i，j）為圖像在位置（i，j）處的邊界信息；d xth（i，j）和d yth（i，j）分別為在圖像位置（i，j）處經過閾值處理的水平方向和垂直方向的梯度信息。邊界特征提取及行人目標分類器模型在邊界特征提取過程中的各階段結果如圖2所示。

圖2（a）是輸入的原始熱紅外圖像；圖2（b）是通過對圖2（a）在水平方向和垂直方向上分別經過絕對值梯度運算、閾值處理和疊加而獲得；圖2（c）是通過對圖2（b）進行區域填充并經過行人目標分類器模型排除誤檢而得到的最終結果。

圖2 邊界特征提取的結果Fig.2 Results of boundary feature extraction

2.2 運動特征提取

幀差法是一種利用連續的2幀熱紅外圖像的差值來判斷背景像素和運動像素的檢測方法。Wirayuda等［27］提出了一種通過在每個像素中使用運動方差來創建自適應閾值來進行運動特征提取的方法。

本文使用幀差法來獲取目標的運動特征。對連續幀之間的差異，通常需要進行閾值處理以檢測是否發生了運動。為了判斷視頻序列中的運動像素和背景像素，首先使用式（5）來計算2幀熱紅外圖像的差值絕對值：

式中：It（x，y）和It-1（x，y）分別為當前幀和上一幀的熱紅外圖像在（x，y）位置處的像素值；difft（x，y）為2幀熱紅外圖像的差值絕對值。

其次，基于式（5）的幀差結果，設定閾值T來判斷背景像素或運動像素，具體如下：

式中：diffres（x，y）為幀差結果經過閾值判斷之后的結果，其值為1表示運動點，其值為0表示背景點。

對經閾值判斷的結果進行形態學處理以獲取運動特征提取結果。將運動特征提取結果中的行人前景區域映射到原始圖像中的對應位置，并使用行人目標分類器模型來排除運動目標檢測中可能出現的誤檢目標，從而獲取最終的運動特征提取結果。運動特征提取結果如圖3所示。

圖3（a）和圖3（b）是視頻序列中相鄰2幀熱紅外圖像數據；圖3（c）是經幀差處理的結果，白色區域表示運動目標，黑色區域是背景；圖3（d）為經形態學處理及行人目標分類器模型排除誤檢后的最終結果。

圖3 運動特征提取的結果Fig.3 Results ofmotion feature extraction

3 實驗結果與分析

3.1 數據集

本文采用OSU 熱紅外行人目標檢測數據集［28］和LSI熱紅外行人目標檢測數據集［24］來檢驗所提方法。在OSU熱紅外行人目標檢測數據集的采集中，使用安裝有75mm鏡頭的雷神300D熱傳感器來獲得不同天氣條件下（包括晴天、陰雨天）總計284幅熱紅外圖像，包括10個固定監控視角下的熱紅外圖像序列。LSI熱紅外行人數據集［24］是使用駕駛的車輛在室外城市場景中采集的，其中使用Indigo Omega成像儀獲取圖像。它分為行人目標分類數據集和行人目標檢測數據集，其中行人目標分類數據集分為訓練集和測試集，圖像分辨率均為64像素×32像素，寬高比均為1/2，訓練集包含10 208個行人正樣本和43 390個行人負樣本，而測試集包含5 944個行人正樣本值和22 050個行人負樣本。本文的行人目標分類器模型使用LSI熱紅外行人分類數據集的訓練集進行訓練。LSI熱紅外行人目標檢測數據集是在13個不同的場景中獲取的，每個場景中包含不同數量的圖像。它總共包括15 224個14位單通道圖像，圖像分辨率為164像素×129像素。該行人目標檢測數據集中的訓練集包含6 159張圖像，測試集包含9065張圖像。本文使用上述2個熱紅外行人目標檢測數據集序列中具有運動信息的相鄰幀來評估所提方法的有效性。

3.2 評價指標

本文使用如式（7）～式（10）所示的精確度（Pr）、召回率（Re）、誤檢率（FPR）和F-度量函數（F-measure）指標來評估檢測方法的性能［29-30］。

式中：精確度Pr為真目標像素量相對于所有目標像素量的比率；TP為真目標的像素量；FP為誤檢的像素量。

式中：召回率Re為檢測到的真目標像素量相對于所有的真目標像素量的比率；FN為漏檢的像素量。

式中：誤檢率FPR為提取的假目標像素量相對于假目標像素量和背景像素量總和的比率；TN為背景像素的像素量。

式中：F-measure度量函數為精確度和召回率的加權平均值。

TP、FP、TN和FN是使用二值掩碼和Ground-Truth計算得出的。

3.3 結果與分析

在OSU熱紅外行人目標檢測數據集［28］中，序列3存在明顯的圖像灰度值反轉問題，序列8和序列9的圖像灰度值反轉不明顯。所有圖像的分辨率為360像素×240像素，選擇其中51組具有運動信息的圖像序列來驗證所提方法的有效性。LSI熱紅外行人目標檢測數據集總共有13個視頻序列，其中6個序列是在攝像機靜止下拍攝的，其余是在攝像機移動下拍攝的視頻序列，選擇在攝像機靜止下拍攝的6個序列來驗證所提方法的有效性。

3.3.1 OSU熱紅外行人目標檢測數據集的實驗結果

在OSU熱紅外行人目標檢測數據集［28］上，將本文方法與顯著性檢測方法［31］和幀差法［13］在視覺效果和性能指標兩方面分別進行了比較。所得實驗結果如圖4所示，其中在圖4（a）和圖4（c）中，人體溫度高于周圍環境溫度，因此不存在灰度值反轉的問題，而在圖4（b）中，周圍環境溫度高于人體溫度，存在熱紅外圖像灰度值反轉；此外，在圖4（d）中，人體溫度和周圍環境溫度相近，使得路燈存在明顯的干擾。

在圖4中，第1行是原始圖像，第2行是熱紅外圖像所對應的GroundTruth，第3行是顯著性檢測方法［31］所得的實驗結果，第4行是幀差法［13］所得的實驗結果，第5行是本文方法的實驗結果。從視覺效果上看，相比于顯著性檢測方法和幀差法，本文方法能夠更準確地檢測行人目標前景區域，尤其是對于存在灰度值反轉的情況，如圖4（b）所示。此外，本文方法還能夠降低由其他不具有運動特征的路燈或不具有完整目標邊界的汽車燈等所帶來的噪聲，如圖4（c）和4（d）所示。顯著性檢測方法利用了圖像的顏色信息，然而熱紅外圖像缺少顏色信息，導致檢測精度低。幀差法會產生許多噪聲，并存在明顯的誤檢和漏檢情況。本文方法主要利用了受圖像灰度值影響較小的邊界特征和運動特征，同時，使用熱紅外圖像中的行人目標分類器模型進行誤檢排除，最后通過融合邊界特征提取的最終結果和運動特征提取的最終結果來實現OSU熱紅外監控中行人目標前景區域的準確提取。

圖4 OSU熱紅外行人目標檢測數據集實驗效果Fig.4 Experimental results on OSU thermal infrared pedestrian objects detection dataset

下面從性能上分析本文方法的有效性。性能評價指標主要是依據文獻［29-30］針對前景區域提取所提供的精確度、召回率、誤檢率和F-度量函數評價指標。性能評價結果如表1所示。

從表1可以看出，在OSU熱紅外行人目標檢測數據集上，相比于顯著性檢測方法［31］和幀差法［13］，本文方法具有更高的精確度、召回率和F-度量函數，和更低的誤檢率。因此，本文方法利用邊界特征和運動特征的融合能夠有效解決熱紅外圖像中由灰度值反轉所帶來的檢測精度低的問題，同時能夠排除由于實際監控中路燈和汽車燈等其他光源所引起的誤檢問題。因此，本文方法能夠有效地在熱紅外視頻監控下提取行人目標前景區域。

表1 OSU熱紅外行人目標檢測數據集性能評價指標Tab le 1 Perform ance evaluation indexes of OSU therm al infrared pedestrian ob jects detection dataset

3.3.2 LSI熱紅外行人目標檢測數據集的實驗結果

在LSI熱紅外行人目標檢測數據集［24］，將本文方法與顯著性檢測方法［31］和幀差法［13］在視覺效果和性能指標兩方面分別進行了比較。所得實驗結果如圖5所示，其中在圖5（a）和圖5（c）中，人體溫度高于周圍環境溫度，因此不存在灰度值反轉的問題，而在圖5（b）和圖5（d）中，周圍環境溫度和人體溫度相近，使得圖像灰度值發生反轉，并且圖像序列中背景相似對行人目標的前景區域的檢測產生干擾，不利于區分行人目標的前景和背景。

圖5 LSI熱紅外行人目標檢測數據集實驗效果Fig.5 Experimental results on LSI thermal infrared pedestrian objects detection dataset

在圖5中，第1行是原始圖像，第2行是熱紅外圖像所對應的GroundTruth，第3行是顯著性檢測方法［31］所得的實驗結果，第4行是幀差法［13］所得的實驗結果，第5行是本文方法的實驗結果。從視覺效果上看，相比于顯著性檢測方法和幀差法，本文方法能夠更準確地檢測行人目標前景區域，尤其是對于存在灰度值反轉的情況，如圖5（b）和圖5（d）所示。此外，本文方法還能夠降低由其他不具有運動特征的建筑物和路燈等所帶來的噪聲，如圖5（a）和圖5（c）所示。本文方法主要利用了受圖像灰度值影響較小的邊界特征和運動特征，同時，使用熱紅外圖像中的行人目標分類器模型進行誤檢排除，最后通過融合邊界特征提取的最終結果和運動特征提取的最終結果來實現LSI熱紅外監控中行人目標前景區域的準確提取。

下面從性能上分析本文方法的有效性。性能評價結果如表2所示。

表2 LSI熱紅外行人目標檢測數據集性能評價指標Tab le 2 Perform ance evaluation indexes of LSI therm al in frared pedestrian ob jects detection dataset

從表2可以看出，在LSI熱紅外行人目標檢測數據集上，相比于顯著性檢測方法［31］和幀差法［13］，本文方法具有更高的精確度、召回率和F-度量函數，和更低的誤檢率。因此，本文方法利用邊界特征和運動特征的融合能夠有效解決熱紅外圖像中由灰度值反轉所帶來的檢測精度低的問題，從而有效提取在熱紅外視頻監控下行人目標前景區域。

4 結 論

本文提出了一種提取行人目標前景區域的方法，并在公開數據集上對所提方法進行了實驗驗證。實驗結果表明：

1）所提方法能夠有效降低外界環境溫度改變對熱紅外圖像灰度值的不利影響。

2）所提方法能夠有效地降低行人目標前景區域提取的誤檢率。