基于時空視覺顯著性特征的行人檢測

曾召華，楊新花，趙　謙

(西安科技大學 通信與信息工程學院，陜西 西安 710054)

基于時空視覺顯著性特征的行人檢測

曾召華，楊新花，趙謙

(西安科技大學 通信與信息工程學院，陜西 西安 710054)

摘要:在分析現有的行人檢測算法的基礎上，針對前景提取不完整及檢測誤差較大等不足，提出了一種基于時空視覺顯著性特征的行人檢測改進算法。在具有代表性的Itti模型的基礎上，使用更接近于人類視覺的Lab顏色空間對其顏色空間進行改進，并將運動特征及基于輪廓搜索的內部空洞填充法引入其中，生成總顯著圖。提取ROI，采用HOG特征結合SVM分類器對ROI進行行人檢測。實驗結果表明，該算法在一定程度上避免了誤檢和漏檢的發生，相比較HOG算法具有較好的檢效果。

關鍵詞:行人檢測；視覺顯著性特征；空洞填充；HOG特征

行人檢測是圖像處理與計算機視覺領域中備受關注的研究課題之一，同時也是智能交通和駕駛輔助系統的重要組成部分，快速準確的行人檢測機制能夠為智能車輛的安全駕駛和自主導航提供關鍵技術和安全保障。現有的行人檢測方法可以分為三類[1]：基于模板、基于模型和基于學習。其中，基于模板的檢測，求解人體模板的過程較為復雜；基于模型的檢測，雖采用了已建立好的模板進行匹配，但易受光照以及行人姿態變化的影響；基于學習的檢測，先提取人體各特征，后利用模式識別的方法進行分類。其中最為常用的是基于梯度方向直方圖(Histogram of Oriented Gradient，HOG)特征描述行人的方法，但該方法所提取的特征向量維數較大，使得計算量也較大，嚴重影響實時性，加上線性SVM作為弱分類器進行級聯訓練后，雖節省了時間，但卻需要在整個圖像區域內進行匹配，嚴重影響實時性與精確性。

在機器視覺領域，研究者們對視覺注意機制的興趣與日俱增，該機制可以從大量的視覺數據中確定出最相關的部分。Itti[2]等人于1998年，根據早期原始視覺系統的神經網絡結構和行為，率先提出了視覺注意機制模型的概念，并在2001年度Nature上對該模型理論作了進一步完善。文獻[1]將經典的itti模型引入到行人檢測中，在一定程度上能夠實現準確的行人檢測，該方法克服了HOG行人檢測算法加入SVM分類器之后需要對整個區域進行檢測的缺陷，但是，采用RGB顏色空間處理圖像，處理結果受到了影響。文獻[3]將背景差分法與Itti模型有效地結合在一起，實現了對海底弱小目標的檢測，相比較常規背景差分，該方法能夠更好地檢測到不清晰的目標。文獻[4]對Lab顏色空間進行了相應的介紹，并將其與其他顏色空間進行了比較，結果表明，Lab空間更接近于人類視覺機制。

針對上述不足之處，本文對Itti模型中的顏色空間進行相應的改進，獲得顏色、亮度、方向等空間特征顯著圖，同時將基于時間的運動特性引入該模型中并對前景圖采用基于輪廓搜索的空洞填充法進行處理，得到基于時空特征的總顯著圖，獲得感興趣區域(Region of Interest，ROI)。然后，在ROI內利用行人分類器進行檢測。

1基于HOG與SVM的行人檢測

HOG特征是一種局部區域特征描述，通過統計和計算局部區域上的梯度方向直方圖來構成特征，且對光照變化和小幅度的偏移不敏感。結合支持向量機(Support Vector Machine，SVM)訓練得到的弱分類器可實現人與非人物體的準確判斷。

1.1HOG特征計算

在HOG特征提取之前，首先，對圖像進行灰度化處理，然后，采用Gamma校正法對輸入圖像顏色空間進行歸一化處理，目的是調節圖像的對比度，抑制光照變化、陰影及噪聲干擾等所造成的影響。具體步驟如下：

1)在簡單梯度算子[-1,0,1]下，計算水平方向梯度值、垂直方向梯度值和梯度方向角。

2)把樣本圖像劃分為若干個像素單元(cells)，并對所有像素的梯度幅值進行直方圖統計。

3)將幾個cells組成一個block，并將block中的所有cells特征描述符串聯得到HOG特征描述子。

4)將圖像內的所有block內的HOG特征描述子串聯得到圖像的HOG特征向量。

1.2檢測過程

線性的SVM分類器是用來完成數據集分類的最簡單常用的方法之一。首先，從訓練集中提取HOG特征，將得到的特征向量作為已訓練完成的SVM分類器的輸入，在整幅圖像范圍內判斷圖像中是否有行人。對于與人體樣本相似的非人樣本，在初始訓練中很難分辨，易產生誤判，同時由于行人姿態，及外界環境中干擾的存在，即使訓練的分類器性能良好也會產生漏檢、誤檢。因此，有研究者提出先對視頻圖像做背景濾除[3]，然后再做檢測。本文正是在此基礎上引入了Itti的改進模型，并對得到的前景圖做了相應的填充。

2視覺顯著性的計算

視覺注意模型模仿的是人類的神經系統機制，通過神經網絡競爭機制及對各特征的整合得到部分感興趣區域。其中Itti 模型是該領域較為經典的檢測模型之一，因其簡單高效等特征而被研究者們普遍采用。該模型采用自底向上的機制來計算視覺顯著圖，從圖像的特征出發，不依賴于任何先驗知識。基本思想是：首先，提取圖像的顏色、亮度、方向特征，采用金字塔濾波得到各特征的尺度空間表示，然后采用中央強化周邊抑制的方法計算不同尺度空間的特征差異，最后進行歸一化，合并特征顯著圖，得到總顯著圖。

2.1提取顏色顯著性

在RGB顏色空間中采用R，G，B三種顏色來描述輸入圖像，且其亮度和顏色之間存在著一定的關系，因此人們感覺到的并不是顏色而僅僅是亮度。而Lab空間[4]將亮度和顏色分開來表示，L通道沒有顏色，a和b通道有顏色。研究表明，Lab空間更接近于人類視覺感知系統，且調節簡單，速度快。

從RGB空間轉化到Lab空間的方法如下：首先，對輸入的彩色圖像提取R、G、B三通道值，歸一化顏色值到[0,1]區間，如式(1)所示

[R，G，B]=[R，G，B]/255

(1)

令X，Y，Z，為由RGB空間向Lab空間轉化的中間變量，具體過程如式(2)～(7)所示

X=0.412 456 4×R+0.357 576 1×G+0.180 437 5×B

(2)

Y=0.212 672 9×R+0.715 752 2×G+0.072 175 0×B

(3)

Z=0.019 333 9×R+0.119 192 0×G+0.950 304 1×B

(4)

L=116.0×fy-16.0

(5)

a=500.0×(fx-fy)

(6)

b=500.0×(fy-fz)

(7)

其中，fx，fy,fz的計算詳見文獻[4]。

2.2提取亮度和方向顯著性

首先，將圖像分解為一組特征圖，從特征圖中分別提取亮度特征I，方向特征O[5]。具體計算如下

I=(R+G+B)/3

(7)

O(θ)=‖IG(θ)‖+‖IGπ/2(θ)‖

(8)

其中，R，G，B分別為彩色圖像像素的RGB值；I為通過式(7)求得的亮度值，G(·)表示Gabor濾波；θ表示局部方向；θ∈{0°，45°，90°，135°}。

顯著性區域指的是與周圍區域相比差異明顯的區域，按照中央強化四周弱化的機制對圖像的顏色、亮度、方向等特征圖進行處理。用不同尺度的圖像相減來模擬圖像四周與中心的差分，可得到不同尺度下的視覺刺激圖[6-9]。不同尺度的圖像做差分運算得到相應特征的顯著圖，如式(9)所示

M(c，s)=∣M(c)ΘM(s)∣

(9)

其中，c∈{1，2，3}，s∈{3，4，5}。“Θ”表示差分運算。首先采用插值法對不同尺度的兩幅圖像做插值得到相同尺度的圖像，再逐像素進行減法運算，然后將各特征圖歸一化。

各個尺度的特征圖相加得到相應特征的顯著圖，如式(10)所示

M=∑∑N((M(c，s))

(10)

最后采用求均值的方法將其融合為一幅圖像獲得總顯著圖，如式(11)所示

S=[N(I)+N(C)+N(O)]/3

(11)

圖1為采用上述方法得到的各特征分量的視覺顯著圖。

a　原圖　　　　　b　亮度顯著圖　　　c　顏色顯著圖

d　方向顯著性圖　　　e　總顯著圖　　　圖1　視覺顯著圖

3實現結果與分析

為了證明本文算法的有效性，選取了INRIAPerson行人數據庫中的部分行人圖片及PETS2001中的一段標準視頻在MATLAB2010b環境下進行實驗，部分仿真結果在VS2010結合Opencv2.4.1環境下完成。靜態圖片中，行人姿態各異，數量不等，使用傳統算法檢測，誤檢較大；而視頻中攝像頭和行人之間的距離隨時間變化，且行人特征包括了正面、側面以及轉身等不同情況，存在一定的檢測難度。最后，將本文算法與其他相關算法的結果相比較。 比較結果如圖2～圖3所示。

a1　原圖　 　　a2　HOG檢測結果　　　 a3　本文算法a　第一組

b1　原圖　 　　b2　HOG檢測結果　 　　b3　本文算法b　第二組

c1　原圖　　 　c2　HOG檢測結果　　　c3　本文算法c　第三組

d1　原圖　　 　d2　HOG檢測結果　　　d3　本文算法d　第四組圖2　本文算法在靜態圖像檢測結果

為便于更好地了解算法的性能，行人檢測算法通常使用漏檢率(false negative rate)和誤檢率(false positive rate)來評定算法的優劣性。誤檢率定義如式(12)

a1　第7幀　　　　　a2　第14幀　　　　　a3　第60幀

a4　第74幀　　　　a5　第83幀　　　　a6　第114幀a　傳統HOG檢測結果

b1　第7幀　　　　　b2　第14幀　　　　　b3　第60幀

b4　第74幀　　　　b5　第83幀　　　　b6　第114幀b　文獻[3]算法檢測結果

c1　第7幀　　　　　c2　第14幀　　　　　c3　第60幀

c4　第74幀　　　　c5　第83幀　　　　c6　第114幀c　基于改進的時空視覺注意機制算法檢測結果圖3　本文算法在視頻中的檢測結果

FalseNegativeRate=[FalseNegative/

(TruePositives+FalseNegative)]×100%

(12)

誤檢率定義如下

FalsePositiveRate=[FalsePositive/(TrueNegatives+

FalsePositives)]×100%

(13)

表1給出了本文算法與HOG算法在靜態圖片中的檢測性能比對信息；表2給出了本文算法與其他相關算法在視頻中檢測性能的比對信息。其中，誤檢率和漏檢率均指所有幀中的最大值。

從表中比對數據可以看出，本文算法在行人數目、姿態以及外界環境發生較大變化的情況下，相比HOG算法具有較高的準確率。

表1靜態圖片中算法的性能比對

圖片誤檢率漏檢率HOG算法本文算法HOG算法本文算法圖片133.3000圖片264.2254020圖片350000圖片48550500

表2視頻中算法的性能比對

算法視頻共139幀誤檢/幀誤檢率/%漏檢/幀漏檢率/%HOG檢測2066.61333.3文獻[3]16501850本文8幾乎沒有1650

4結語

文中引入視覺顯著性特征，提取視頻圖像的顏色、亮度、方向等特征，融合后得到總顯著圖；采用三幀差分法和基于輪廓搜索的空洞填充法對前景目標進行處理，結合總顯著圖得到ROI；最后，采用基于SVM的HOG檢測在ROI內檢測行人。實驗結果及相關分析表明，本文算法在目標發生旋轉、大小變化時相比較其他兩種算法具有更高的準確率，但對于漏檢現象效果不理想，且隨著行人數目的增多，環境的復雜化加劇。今后研究的重點會針對以上不足，結合多種有效的特征提高算法的有效性和準確性。

參考文獻：

[1]張艷軍，鄧永生，田甄. 基于視覺注意機制的行人檢測方法[J].科技視野(高校科技)，2015(15)：98.

[2]ITTI L，KOCH C，NIEBUR E. A model of saliency based visual attention for papid scene analysis[J].IEEE transactions on pattern analysis machine and intelligence，2002，20 (1)：1254-1259.

[3]王秀芬，王匯源.基于背景差分法和顯著性圖的海底目標檢測方法[J].山東大學學報(工學版)，2011，2(41)：12-16.

[4]龔濤，劉怡，黃自力，等. 基于相關配準的幀間差分算法[J]. 電視技術，2014，38(1)：195-197.

[5]周文明. 動態場景下基于空時顯著性的運動目標檢測方法研究[D].上海：上海交通大學，2011.

[6]白曉方，楊衛，陳佩珩. 一種改進的運動目標檢測與跟蹤方法[J]. 電視技術，2014，38(1)：180-182.

[7]DALAL N，TRIGGS B .Histograms of oriented grasients for human detection[C]//IEEE International Conference on Computer Vision and Patten Recognition.[S.l.]：IEEE Press，2015(1)：886-893.

[8]曲永宇，劉清，郭建明. 基于HOG和顏色特征的行人檢測[J]. 武漢理工大學學報，2011，4(40)：134-137.

[9]章春鳳，宋加濤，王萬良. 行人檢測技術研究綜述[J]. 電視技術，2014，3(38)：157-162.

責任編輯：閆雯雯

Pedestrian detection based on spatio-temporal visual significant feature

ZENG Zhaohua，YANG Xinhua，ZHAO Qian

(SchoolofCommunicationandInformationEngineering，Xi’anUniversityofScienceandTechnology，Xi’an710054，China)

Abstract:Through the analysis of the current pedestrian detection algorithm, for the disadvantage of incompletely extracting foreground and a large number of detecting error, a pedestrian detection algorithm based on spatio-temporal visual significant feature is proposed. On the basis of the typical Itti saliency model, use lab color space which is closer to human vision to improve the model’s color space and introduce into the motion feature and inner cavity filling method based on contour searching, generate saliency map.Extract ROI, then,using HOG feature in comnination with SVM to detect the ROI, in order to detect the pedestrian. The experimental results demonstrate that the approach can aviod some false nagative and false positive to a certain extent, and have better detecting effect compered with HOG detection algorithm.

Key words:pedestrian detection; visual significant feature; cavity filling; HOG feature

中圖分類號:TP391.41

文獻標志碼：A

DOI：10.16280/j.videoe.2016.02.022

基金項目：陜西省科技計劃工業科技攻關項目(2014K06-37；2015GY023)；西安市科技計劃技術轉移促進工程(CXY1440(4))；西安市碑林區應用技術研發項目(GX1311；GX1310；GX1417)；西安科技大學博士啟動金(2015QDJ015)

收稿日期：2015-07-22

文獻引用格式：曾召華，楊新花，趙謙. 基于時空視覺顯著性特征的行人檢測[J].電視技術，2016,40(2)：115-118.

ZENG Z H，YANG X H，ZHAO Q. Pedestrian detection based on spatio-temporal visual significant feature[J].Video engineering, 2016,40(2)：115-118.