基于ROI區域強分辨力HOG特征的視頻行人檢測*

張 璐，陳淑榮

（上海海事大學 信息工程學院，上海 201306）

行人檢測是計算機視覺和模式識別領域中的研究熱點，在視頻監控中有廣泛的應用。目前，用于行人檢測的方法主要分為3類：（1）基于運動信息的方法[1-2]，根據行人運動信息（如步態）實現行人檢測，實時性好但只限于運動行人；（2）基于先驗知識建模的方法[3]，利用已知先驗知識構建人體模板和待測目標進行匹配，但模板的初始參數難以獲??；（3）基于特征統計分類的方法[4-9]，根據訓練數據獲取有效分類器對輸入檢測窗口進行檢測，實現簡單且檢測效果較好，是目前靜態圖像行人檢測的主流方法，但對視頻行人檢測速度較慢。因此，如何保證視頻行人檢測的準確率，并提高檢測速度是一個急需解決的問題。

1 本文行人檢測方法

視頻錄像中行人的不同姿勢、復雜的背景變化對算法的檢測準確率和檢測速度都提出了嚴格要求。本文提出利用視頻中的運動信息獲取ROI區域，結合Fisher準則挑選強分辨力行人HOG特征，并結合SVM分類器檢測行人。其中，訓練部分采用正負樣本庫提取強分辨力HOG行人特征，并通過SVM訓練得到強分辨力HOG特征的行人分類器。檢測時利用幀間信息獲得ROI區域，通過多層次縮放ROI區域獲取所有檢測窗，并利用強分辨力行人HOG特征來表征檢測窗中行人，通過訓練好的分類器實現對視頻中行人的檢測。該算法框架如圖1所示。

1.1 視頻圖像ROI目標區域提取

視頻幀圖像中存在大量的非人區域，全局掃描需要很多冗余計算。本文采用三幀差分法獲取運動目標前景，進行二值化處理、形態學處理和前景塊擴展，獲取ROI目標區域。具體實現步驟如下。

圖1 行人檢測系統框架

（1）采用三幀差分法獲取運動目標前景。當前幀的前景幀差圖為：

其中，IL（x，y，i）、IL（x，y，i-1）、IL（x，y，i-2）分別為第 i幀、第i-1幀和第i-2幀的亮度分量，d為幀間圖像對應像素點亮度差的絕對值。

（2）對目標前景圖進行二值化處理和形態學處理。二值化處理為：

其中，D為初始閾值，D（x，y）為二值圖對應像素點的亮度值。經過膨脹、腐蝕二值圖像，獲得消除了噪聲、微小運動區域的目標前景塊。

（3）根據行人體型特征參數，對比目標前景塊，獲取有效的行人目標前景塊。通過設置行人寬高比（w∶h）特征閾值，除去過窄、過小等不符合行人特征的目標前景塊。

（4）擴展行人目標前景塊，以確保行人不出現在ROI目標區域之外。矩形擴展長度為：

其中，u是 0～1的一個值，w、h分別表示前景塊的寬、高。

（5）標記擴展后的行人目標前景塊集合，構建 ROI區域以進行后續的特征提取和檢測。ROI目標區域提取如圖2所示。

1.2 強分辨力行人特征提取

1.2.1 多尺度HOG特征

HOG特征是通過計算局部區域的梯度方向直方圖描述目標形狀特征，對光照變化和小量的偏移不敏感。DALAL N提出的基本HOG是在 64×128的檢測窗內提取105個16×16等大小的 Block特征塊，利用這些特征塊構成描述符來訓練和檢測行人。

等大小的基本HOG特征塊對描述行人較大的部位（如頭部、身體等）的整體信息能力有限，因此本文構建HOG特征時采用了多尺度[6]方法，對于 64×128檢測窗，Block 塊的大小選取依次從 16×16 到 64×128，寬高比（w∶h）分別取 1∶1、1∶2 和 2∶1， 共獲得 452 個不同尺度的 Block塊。

在特征塊提取過程中，為避免特征塊交疊而引起的重復計算，引入“積分圖[6]”思想，每個像素點的特征由9維向量表示，即：

其中，G 為像素點梯度幅度值；λ＝（0，…，jk，…0）表示像素點梯度方向，jk＝1，k為梯度方向落在的區間。HOG特征簡化為：

其中，s（x，y）表示點（0，0）到（x，y）直線上的像素向量累加，h（x，y）表示點（0，0）到（x，y）連接矩形內像素向量累加。對于矩形區域內的直方圖，統計可通過計算矩形4個頂點的值獲得。矩形區域像素值可表示為：

其中，h（x1，y1）、h（x2，y2）、h（x3，y3）、h（x4，y4）分別為矩形的4個頂點。

為了減少光照變化和陰影的影響，在計算特征時采用了L2-norm歸一化因子，即：

其中，xi為歸一化前特征值，i為 Block塊中特征數目，e為略大于0的常數。

1.2.2 基于Fisher準則的行人強分辨力特征選取

由于高維HOG特征向量存在大量冗余信息，不僅影響提取、分類速度，某些維度向量還可能降低檢測的精度。本文利用Fisher準則[5]分類特性挑選分類貢獻較大的強分辨力行人特征塊。通過計算兩類樣本特征的類間離散矩陣sb與總類內離散度矩陣 sw的比值F（j）作為輸出權值，利用直線將行人特征、非行人特征區分開來，將分類的過程轉化為特征點在直線投影的過程，根據行人Block塊特征點距離直線遠近來判斷Block塊的描述能力。Fisher準則提取強分辨力特征的實現步驟如下。

（1）遍歷檢測窗中每個 Block 塊（fi），根據式（9）～式（12），利用 Fisher準則計算每個塊的輸出權值 F（j）。

其中，mi是兩類樣本均值的均值向量，Ni是樣本類的樣本數目。

其中，Sb、Sw分別為樣品類間離散度矩陣值、總類內離散度矩陣值；F（j）為塊輸出權值，F（j）越大，Block 特征塊區分能力越強。

（2）依次對各個 Block塊的F（j）從大到小降序排列。

（3）從降序序列中挑選新特征集fselect：

逐次添加一個fi直到fselect分類結果達到預期目標。利用SVM驗證分類效果，獲得最優強分辨力行人特征f′select。

（4）對強分辨力特征 f′select進行 SVM訓練獲得分類器，用于后續ROI目標區域行人檢測。

1.3 ROI目標區域行人檢測

通常ROI目標區域采用的檢測窗大小固定，而待檢測視頻圖像中的目標位置、大小是隨機變化的。為避免行人漏檢，本文采用多層次窮盡搜索獲得檢測窗。將ROI區域按照一定的步長逐步縮放，直到達到預先設定的尺度。在不同尺度下分別進行行人檢測，并將所有結果融合處理、標記。行人檢測結果如圖3所示。

2 實驗及結果分析

本文實驗在MATLAB2008a上實現，計算機環境配置為3 GHz CPU和2 GB內存。采用的數據來源于INRIA行人數據庫和PETS2006視頻庫。在提取強分辨力行人特征時，分別將 INRIA樣本庫中的 1 000個正、負樣本用于訓練和檢測，并利用強分辨力HOG行人特征分類器對PETS2006視頻庫的視頻行人進行檢測。實驗采用libsvm工具包，選用線性SVM訓練分類器。

文中通過對單尺度基本HOG擴展，得到Block數為452的多尺度HOG，并利用Fisher準則分別對不同尺度HOG進行降維處理，獲得不同維數的強分辨力特征，結合SVM分類器驗證不同尺度、不同維度的特征檢測效果。實驗結果如表1所示。

表1 不同HOG特征塊數的檢測對比

實驗表明，擴展后的多尺度HOG特征，SVM分類準確率顯著提高；相同特征維數下 （表中只列出Block數為105、30、10的特征），多尺度特征比單尺度特征具有更高的檢測準確率且降維幅度越大，多尺度特征優勢越明顯。

文中采用設定最低檢測率來提高檢測速率，利用SVM分類的效果來選擇最佳分辨力特征。如表1所示，在多尺度下，當選取特征塊數為10時，保證了行人檢測的準確率，提取、檢測的速率比基本HOG都有所提高，檢測速率提高了9.7倍。本文取多尺度下Block數為10的特征集作為f′select，訓練分類器進行行人檢測和分類。

實驗通過ROI目標區域提取，大大降低了檢測窗口數量，并與傳統 HOG全局掃描算法、Adaboost[3，8]算法作比較。由于本文算法ROI目標區域大小直接受行人數量、大小影響，實驗選取統一的單行人視頻序列進行測試，幀像素大小為720×480。實驗結果如表2所示。

表2 幾種算法性能比較

[3，8]提到的 Adaboost算法是利用一系列弱分類器組合強分類器，根據每個樣本分類結果修改權值進行下一層分類訓練，訓練分類器時依次對每個特征集單獨訓練，耗費時間很長。本文算法采用Fisher準則提取的強分辨力行人特征訓練分類器，特征整體一次投影實現一次分類，具有優勢。

實驗證明，本文算法比全局掃描減少了檢測窗數量，顯著提高了檢測的速率；在保證準確率的前提下改進單尺度HOG，利用多尺度降維HOG進一步提高行人的檢測速率。本文算法不僅大幅度提高了行人檢測的速率，而且保證了視頻行人檢測準確率在90%以上。

本文針對傳統HOG特征在行人檢測中存在高維度計算的問題，提出一種利用視頻運動信息和強分辨力行人HOG特征相結合的視頻行人檢測算法。利用INRIA行人庫和PETS2006視頻庫驗證了算法的有效性。后續將針對夜間、雨天等復雜背景，進一步驗證和改進算法。

參考文獻

[1]劉鑫，劉輝，強振平，等.混合高斯模型和幀間差分相融合的自適應背景模型[J].中國圖象圖形學報，2008，4：729-734.

[2]王成亮，周佳，黃晟.基于高斯混合模型與 PCA_HOG的快速運動人體檢測[J].計算機應用研究，2012，29（6）：2156-2160.

[3]周晨卉，王生進，丁曉青.基于局部特征級聯分類器和模板匹配的行人檢測 [J].中國圖象圖形學報，2010，15（5）：824-829.

[4]DALAL N，TRIGGS B.Histograms of oriented gradients for human detection[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition， CVPR2005，2005，1：886-893.

[5]孫昀，劉富強，李志鵬.基于穩定區域梯度直方圖的行人檢測方法 [J].計算機輔助設計圖形學報，2012，24（3）：372-377.

[6]黃茜，顧杰鋒，楊文亮.基于梯度向量直方圖的行人檢測[J].科學技術與工程，2009（13）：3646-3651.

[7]姚雪琴，李曉華，周激流.基于邊緣對稱行和HOG的行人檢測方法 [J].人工智能及識別技術，2012，38（5）：179-182.

[8]種衍文，匡湖林，李清泉.一種基于多特征和機器學習的分級行人檢測方法 [J].自動化學報.2012，38（3）：375-381.