紅外視頻圖像的行人檢測算法

王 姮,游斌相,劉桂華,張 進

(1.西南科技大學信息工程學院，四川 綿陽 621010;2.國網重慶市電力公司電力科學研究院,重慶 401123)

紅外視頻圖像的行人檢測算法

王 姮1,游斌相1,劉桂華1,張 進2

(1.西南科技大學信息工程學院，四川 綿陽 621010;2.國網重慶市電力公司電力科學研究院,重慶 401123)

在光照不足、對比度較低的夜晚，紅外輻射成像技術具有較好的成像效果。一個魯棒性好、可靠性強的紅外環境行人檢測方法，對拓展紅外成像技術的應用具有重要意義。對此，提出了一套高效可行的紅外環境下行人檢測方案。首先，使用高斯混合模型進行圖像分割，獲取前景區域。高斯混合模型具有對運動敏感的特征，在運動目標檢測過程中不僅可以實時更新背景，而且還能有效地消除陰影區域。然后，提取方向梯度直方圖(HOG)特征。HOG是在圖像的局部方格單元上操作的，所以它對圖像幾何、光學的形變都能保持很好的不變性；HOG可以允許行人有一些細微的肢體動作，這些細微的動作可以被忽略而不影響檢測效果。最后，使用Adaboost算法進行分類識別。試驗結果表明，該方法在紅外環境下的行人識別率高達99%，能較好地滿足應用需求。

行人檢測； 高斯混合； 運動目標檢測； 方向梯度直方圖； Adaboost算法； 二分類； 識別率

0 引言

紅外圖像雖然分辨率較低，但其具有不受環境影響的優點，在夜間也可檢測并分割出諸如行人等目標溫度高于環境溫度的前景目標。其在安全監控、自動駕駛以及軍事等領域有著廣泛的應用，在安全監控報警領域的應用尤為廣泛；但是目前大多報警裝置仍使用觸發報警模式，誤報率較高。

近年來，國內外已有不少關于紅外環境下的行人檢測[1-3]方法。Lin等[4]使用背景幀差法分割前景移動目標，提取幾個輪廓特征點并計算相關系數，最后用神經網絡進行分類。Lakshmi等[5]利用行人特征分割出感興趣區域后，采用曲波變換來獲取特征數據，最后使用支持向量機(support vector machine，SVM)對這些數據作分類處理。王路杰[6]在針對紅外圖像行人檢測算法中，利用不同區間的亮度直方圖(different bins histogram of intensity，DBHOI)和亮度直方圖(histogram of intensity，HOI)作為行人特征描述子，然后采用Adaboost的分類方法對描述子進行分類檢測。芮挺等[7]采用多層網絡構建深度卷積神經網絡實現對行人的檢測。楊陽等[8]利用直方圖統計顯著性映射算法獲取紅外圖像的顯著圖，統計關注點的分布，然后確定分割閾值，并結合先驗概率構建基于形狀的級聯模版樹，最后在分割圖像上根據匹配值確定行人的位置。

雖然各個模型在人形檢測上都有不錯的表現，但大多是以犧牲計算時間為代價。本文以混合高斯作分割，然后提取方向梯度直方圖(histogram of oriented gradient，HOG) 特征，最后使用Adaboost進行分類。

1 系統檢測流程

紅外環境下的行人檢測總體流程如下：①獲取紅外圖像；②對原始紅外圖像進行濾波處理；③進行圖像前景分割；④對分割出來的區域進行特征提取；⑤對提取出來的特征進行分類識別，判別其是否是行人。

本文利用高斯混合背景建模進行分割，然后提取HOG特征，最后使用Adaboost分類器來檢測行人。從相機獲得圖像后，首先通過混合高斯模型檢測運動目標，然后計算運動目標區域的HOG特征。使用Adaboost分類器對獲得的HOG特征進行分類。若分類器分類結果是行人，則生成檢測日志；若分類器結果不是行人，則獲取下一幀圖像進行處理。

1.1 圖像分割

圖像分割就是把圖像分成若干個特定的、具有獨特性質的區域。同時圖像分割也是一種基本的計算機視覺技術，是運動分析和運動跟蹤的基礎。

圖像分割算法有很多種，Jeon等[9]首先連續取十幀圖像構建出一個背景圖像，然后將獲取的新圖像與背景圖像相減，從而獲得前景圖像。Lin等采用幀間差分法進行圖像的分割[4]。Zhao等[10]利用輪廓顯著圖作分割。Wang等[11]使用高斯混合背景建模來分離前景和背景。背景消除法與幀間差分法類似，適用于背景較為固定不變的場景，多用于室內。輪廓顯著圖需要對輪廓進行多次計算，運算量較其他方法大得多。高斯混合模型利用當前幀和視頻序列中的當前背景幀進行加權平均來更新背景，魯棒性強且適用范圍廣。

1.2 高斯混合模型

在高斯混合背景模型中，認為像素之間的顏色信息互不相關，對各像素點的處理都是相互獨立的。對于視頻圖像中的每一個像素點，可將其值在序列圖像中的變化看作不斷產生像素值的隨機過程，即用高斯分布來描述每個像素點的顏色呈現規律。在馬義德等[12]的研究中，在模型學習方面,均值與方差采用了不同的學習率。其中，均值更新采用自適應的學習率,方差的學習率取固定值，引入權值均值概念；結合權值進行像素點的前景和背景分類，并利用了背景圖像消除陰影。較傳統方法而言，該方法具有更好的學習能力。

高斯模型由均值和方差這兩個參數完全決定,對均值和方差的學習,采取不同的學習機制,將直接影響模型的穩定性、精確性和收斂性。文獻[12]采用式(1)對均值更新：

(1)

方差的更新方程為：

(2)

式中：ρσ=0.002為學習率。

該學習機制使均值收斂快而準，方差收斂相對較快、比較平穩。

雖然高斯混合能有效地消除陰影區域，但其對運動比較敏感的特性也會對結果造成干擾。特別是在夏天，環境溫度較高，若遇大風引起某些背景移動的情況，背景很容易被誤認為是前景。所以后期的特征提取和分類識別是很有必要的。

1.3 特征提取

在提取出紅外圖像的熱點區域后，必須進一步確認熱點區域是否為行人。這就需要對每個區域進行描述，獲得該區域的特征向量，并使用分類器來分類。為了便于后續的統一計算，且考慮到紅外圖像分辨率較低的情況，先將提取出來的目標前景區域縮放至64×128像素，再提取HOG特征。HOG是目前用于人形描述最常用的特征方法之一。

HOG特征計算首先對圖像作灰度化處理，接著使用式(3)作歸一化處理。其目的是調節圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響，同時可以抑制噪聲的干擾。

P(x,y)=I(x,y)γ

(3)

式中：I(x,y)為當前像素值；P(x,y)為歸一化后的像素值。

根據式(4)～式(7)，計算每個像素點的梯度，可有效地捕獲輪廓信息，同時進一步弱化光照的干擾。

Gx(x,y)=P(x+1,y)-P(x-1,y)

(4)

Gy(x,y)=P(x,y+1)-P(x,y-1)

(5)

(6)

(7)

式中：Gx(x,y)、Gy(x,y)、G(x,y)和α(x,y)分別為像素點(x,y)的水平方向梯度、垂直方向梯度以及梯度幅值和梯度方向。

接下來，將圖像劃分成若干個小細胞，統計每個細胞的梯度直方圖，可獲得每個細胞的特征描述。然后將多個細胞構成一個塊，把塊內每個細胞的特征描述串聯到一起，即可獲得該塊的特征描述。最后將圖像內所有塊的特征表述串聯起來即可得到整幅圖像的HOG特征。

1.4 Adaboost算法

分類是識別系統中極為重要的一環，分類的好壞直接關系到整個識別系統的好壞。Adaboost是目前最好的二分類算法之一，最早由Freund等提出[13]。其核心思想是針對同一個訓練集訓練不同的弱分類器，然后把這些弱分類器集合起來，構成一個強分類器。Adaboost使用各種方法構建子分類器，并給各子分類器分配一個適當的權值，最后將其總和作為一個完整的分類器。Adaboost分類器構造簡單、精確度高。其數學表達式一般為：

(8)

式中：αt為每個弱分類器對應的權重值；ht為弱分類器；T為迭代次數。

Adaboost迭代算法大致可分為初始化權重、弱分類器的訓練以及強分類器的合成3個步驟。首先初始化訓練數據的權值分布。如果有N個樣本，則每一個訓練樣本最開始時都被賦予相同的權重1/N，接著訓練弱分類器。在具體訓練過程中，如果某個樣本點已經被準確地分類，那么在構造下一個訓練集中，它的權重就被降低；否則，它的權重就得到提高。權重更新后的樣本集被用于訓練下一個分類器，整個訓練過程如此迭代地進行下去。最后，將各個訓練得到的弱分類器組合成強分類器。

2 試驗結果分析

在獲取原始紅外圖像后，首先對其進行灰度化處理，然后使用高斯混合背景建模的方法提取出前景移動目標，接著計算提取出來的目標區域的HOG特征向量，最后使用Adaboost來分類。采用高斯混合背景建模，運動目標提取前后的對比圖如圖1所示。

圖1 運動目標提取前后對比圖

在使用Adaboost分類前，首先需要對分類器進行訓練。試驗中的樣本庫均為實際采樣。其中負樣本主要有水杯、窗簾飄動等其他干擾產生的噪聲圖片；正樣本有正常行走、跑動、正面、側面、半身等各種情況的圖片。

樣本學習數量越大，訓練出來的分類效果也越好。通過試驗，比較了多種特征與分類算法，其結果如圖2所示。

圖2 行人識別率結果曲線

在使用Adaboost作為分類器的情況下，低樣本時，識別率隨著訓練樣本數量的增加而增高。當樣本數量大于1 500時，識別率增加緩慢。同樣，在使用SVM作為分類器的情況下，低樣本時識別率隨著訓練樣本數量增加而增高；當樣本數量大于2 000時，識別率基本保持穩定。從試驗過程和試驗結果來看，使用本文方法來檢測紅外環境下的行人效果更好。

3 結束語

對基于紅外環境的行人檢測技術進行了研究，并提出了一種基于高斯混合模型、Adaboost算法的行人檢測方法。試驗表明，該方法對于紅外環境下的行人檢測具有良好的效果，識別率高達99.1%，證明了此方法的可行性和優越性。

[1] QI B,JOHN V,LIU Z,et al. Pedestrian detection from thermal images:a sparse representation based approach[J]. Infrared Physics & Technology,2016,76(2):157-167.

[2] LENAE K,MAUROVIE I,PETROVIE I.Moving objects detection using a thermal camera and IMU on a vehicle[C]//International Conference on Electrical Drives and Power Electronics. IEEE,2015.

[3] TEUTSCH M,MUELLER T,HUBER M,et al. Low resolution person detection with a moving thermal infrared camera by hot spot classification[C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE Computer Society,2014:209-216.

[4] LIN C F,CHEN C S,HWANG W J,et al. Novel outline features for pedestrian detection system with thermal images[J]. Pattern Recognition,2015,48(11):3440-3450.

[5] LAKSHMI A,FAHEEMA A G J,DEODHARE D. Pedestrian detection in thermal images:an automated scale based region extraction with curvelet space validation[J]. Infrared Physics & Technology,2016,76(3):421-438.

[6] 王路杰. 基于紅外圖像的行人檢測算法研究[D]. 杭州：杭州電子科技大學,2015.

[7] 芮挺,費建超,周遊,等. 基于深度卷積神經網絡的行人檢測[J]. 計算機工程與應用,2016,52(13):162-166.

[8] 楊陽,楊靜宇. 基于顯著性分割的紅外行人檢測[J]. 南京理工大學學報(自然科學版),2013,37(2):51-56.

[9] JEON E S,KIM J H,HONG H G.Human detection based on the generation of a background image and fuzzy system by using a thermal camera[J]. Sensors,2016,16(4):453.

[10]ZHAO X,HE Z,ZHANG S,et al. Robust pedestrian detection in thermal infrared imagery using a shape distribution histogram feature and modified sparse representation classification[J]. Pattern Recognition,2014,48(6):1947-1960.

[11]WANG J T,CHEN D B,CHEN H Y,et al. On pedestrian detection and tracking in infrared videos[J]. Pattern Recognition Letters,2012,33(6):775-785.

[12]馬義德,朱望飛,安世霞,等. 改進的基于高斯混合模型的運動目標檢測方法[J]. 計算機應用,2007,27(10):2544-2546.

[13]FREUND Y,SCHAPIRE R E.A decision-theoretic generalization of on-line learning and an application to boosting[C]//European Conference on Computational Learning Theory,1995:119-139.

Algorithm of Pedestrian Detection in Thermal Images

WANG Heng1,YOU Binxiang1,LIU Guihua1,ZHANG Jin2
(1.College of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China； 2.National Electricity Science Research Institute of Chongqing Electric Power Company,Chongqing 401123,China)

Infrared radiation imaging technology could reach a good imaging effect even in low illumination and contrast of night. A good robustness and reliability of the pedestrian detection method has a important significance on extending the application of infrared imaging technology. So,this paper puts forward a set of effective and feasible solutions of the pedestrian detection in infrared environment. Firstly,using gaussian mixture model for image segmentation to obtain the foreground area.Gaussian mixture model is sensitive to the motion object. It not only can update the background in real-time,but also can effectively eliminate the shadow area during moving object detection.And then,extracting the HOG feature.The HOG operates is on the local grid cells of the image,so it maintains good invariance for the geometrical and optical deformations of the image. Besides,the HOG allows pedestrians to have subtle body movements that can be ignored without affecting the detection results.Finally,using Adaboost to make classification. Experimental results show that this method recognition rate is as high as 99% in the infrared environment,and it can satisfy the market needs.

Pedestrian detection; Gaussian mixture model; Moving object detection; Histograms of oriented gradients(HOG); Adaboost; Two classification; Recognition efficiency

四川省重點實驗室開放基金資助項目(13zxtk0504)、西南科技大學校創新團隊基金資助項目(14tdtk01)

王姮(1971—)，女，碩士，教授，主要從事機器人技術及應用、自動化技術的研究。E-mail：wh839@qq.com。 游斌相(通信作者)，男，在讀碩士研究生，主要從事機器視覺、模式識別技術的研究。E-mail：744710304@qq.com。

TH86;TP391.4

A

10.16086/j.cnki.issn1000-0380.201707021

修改稿收到日期:2017-01-07