基于快速SIFT 匹配的行人信息檢測*

杜金輝，管業鵬，時勇杰

(上海大學通信與信息工程學院，上海 200072)

隨著現代社會各種突發安全事故的頻繁發生，人們對安全的要求也愈來愈高，同時也大大刺激了相關產業的發展。異常行為檢測就是智能視頻監控的一個重要應用。智能視頻監控就是依賴計算機視覺技術，對視頻內容進行處理。復雜場景下，人體作為非剛體，形態變化多樣，且容易發生遮擋，跟蹤起來場景變化快等，以人體為參照，所得效果會大打折扣，如何在復雜場景下對人進行檢測以及跟蹤識別，這也是目前研究的難點和熱點。目前主要的檢測方法有人頭曲率檢測幾何特征跟蹤法［1］，依據人頭曲率檢測來檢測人的頭部，并根據幾何特征來跟蹤，克服了陰影和光照，但對于相似曲率的物體容易檢測為人頭，并且跟蹤效果也因此大打折扣，誤檢率高。改進的粒子濾波檢測跟蹤法［2］，該方法最大的缺點是只能跟蹤一個物體，且跟丟的可能性很大，計算量大，費時.粒子濾波作為一種基于貝葉斯估計的非線性濾波算法，在處理非線性運動目標跟蹤問題方面有著特殊的優勢。但是當對多個目標進行跟蹤，目標如果相互遮擋時，會出現跟蹤目標的“失跟”現象。此外，多個目標之間的干擾也會影響跟蹤的準確性;能量信息人群檢測法［3］，通過自定義的能量函數來評估觀測區域的擁擠程度和異常檢測的方法，未能精確的計算個體運動信息對異常對象進行識別;三維紋理分析法［4］，算法復雜度高，且泛化能力不足，對于具有較多對象時，計算比較費時;卡爾曼濾波法［5］對于復雜背景下運動目標識別與跟蹤問題，要實現實時控制，對算法的實時性和準確性都有較高的要求。基于卡爾曼濾波器預測功能的運動目標快速跟蹤算法可以通過預測目標物體在下一幀中的位置，將全局搜索問題轉化為局部搜索，提高算法的實時性。

通常的目標識別算法都是基于像素的全局搜索方法存在以下顯著缺點:

(1)全局搜索計算量大、耗時，實時性無法滿足;

(2)全局搜索抗干擾能力差，容易受到背景中相似特征物體的干擾。

本文利用人體頭部結構比較穩定且受干擾小不易發生遮擋，干擾噪聲小等優勢，提出了一種針對人頭的檢測的快速SIFT 匹配的人體運動信息檢測方法。論文主要貢獻有以下3點:

(1)依據場景設置感興趣區域，避免對圖像的全局搜索，提高了檢測效率;

(2)利用Adaboost 級聯分類器檢測人體頭部，快速有效地檢測出人體頭部，且依據人體頭部這個剛體信息能有效區分運動個體;

(3)利用SIFT 特征僅僅對檢測到人頭部分進行匹配，得到人體的運動信息，并提出一些機制，進行有效判斷移動對象進出檢測區域。

本文主要分成以下幾個部分，第1 部分講述本文方案，第2 部分描述具體算法。第3 部分對實驗詳細描述，與相關方法進行對比。第4 部分對全文進行總結。

1 本文方案

Adaboost 分類器［6］能夠直接對分類器進行分級放大，然后在檢測區域利用不同尺寸的分類器進行搜索。從而避免了對圖像中的人體頭部進行歸一化的操作，提高了運算效率，有效解決了對于頭部距離攝像頭遠近不同造成的人頭部尺度不一致的問題。我們在本文中采用離線方法訓練Adaboost 分類器，選擇大量人的頭部樣本，提取Haar 特征和訓練得到的Adaboost 級聯分類器進行人體頭部檢測。

本文依據采集視頻的場景，其中大部分攝像頭都是在機場，公交車等場景中固定位置，可以明顯分析出大部分場合不需要對場景進行全局檢測，若要進行全屏幕檢測，在實時性上面要大打折扣。對此，我們采用背景差分的方法檢測運動前景得到感興趣區域，提取運動區域時，以前若干幀平均值作為背景，與當前幀進行差分取得運動前景，對的得到的前景區域取連通域外接邊框，并作適當擴大，避免造成檢測頭部區域的不完整。在感興趣區域內進行檢測，有效減少了檢測時的搜索時間。

通過在感興趣區域進行人頭檢測得到人體頭部的數目、大小等信息，在此基礎上，利用SIFT 特征進行不同人體頭部之間的匹配。SIFT 特征是一種具有強烈方向性及亮度性的特征，這使得它適用于人頭這種剛體。我們對相鄰幀進行快速SIFT 匹配，得到相鄰幀間同一個運動的人體頭部的具體的運動方向，運動速度等信息，結合以往若干幀得到歷史信息，進行推理判斷最終得到精確的檢測結果。

2 實時行人檢測與匹配算法

2.1 人體頭部的檢測

在公共場合，尤其是人比較多的場合，人體的遮擋很大，根據人體頭部作為檢測特征，有遮擋少，不易變化的特點［7］，把頭部作為有效的特征來衡量人群信息，相對于其他特征而言，頭部受光線、噪聲、陰影等影響較小，可以得到運動個體的有效位置信息。

Adaboost 分類器算法利用大量的分類能力一般的簡單分類器通過一定的方法疊加起來，構成一個分類能力很強的分類器，再將若干個強分類器串聯成為分級分類器完成圖像搜索檢測，串聯的級數依賴于系統對錯誤率和識別速度的要求。本文采用離線訓練Adaboost 分類器，通過大量的具有比較明顯的Haar 特征(矩形)的頭部圖像用模式識別的方法訓練出分類器。

圖1 部分人頭樣本

本文對利用幀間差分得到的感興趣區域進行檢測［8］，檢測人體頭部效果如圖2所示。通過選定的區域，能夠有效減少檢測時間，同時，對通過區域的人群有效區分。如果是背后檢測人體頭部，可能受到衣服顏色等相關方面干擾，故后期對檢測得到的頭部序列進行篩選，由于分類器是級聯的，每級都以大概相同的識別率保留進入下一級的具有物體特征的候選物體，而每一級的子分類器則由許多Haar 特征構成。識別物體的時候，同樣計算積分圖像為后面計算Haar 特征做準備，然后采用與訓練的時候有物體的窗口同樣大小的窗口遍歷整幅圖像，以后逐漸放大窗口，同樣做遍歷搜索物體。遍歷窗口大小為10×10 到40×40，故頭部尺度大小一般是10×10到40×40，超過或者小于這個區間頭部大小的檢測結果都是誤檢，如圖3所示，提高檢測的精確度。

圖2 人頭檢測效果

圖3 人頭誤檢結果

2.2 快速SIFT 匹配

SIFT 特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性，而對物體運動、遮擋、噪聲等因素也保持較好的可匹配性，從而可以實現差異較大的兩幅圖像之間特征的匹配，同時SITF特征具有獨特性好，能夠有效區分出不同對象;信息量豐富，適用于在海量特征數據庫中進行快速、準確的匹配。多量性，即使少數的幾個物體也可以產生大量SIFT 特征向量，本文只是針對檢測得到的頭部進行匹配，由于檢測區域較小，仍然能夠得到大量有效的SIFT 特征;高速性，經優化的SIFT 匹配算法甚至可以達到實時的要求;可擴展性，可以很方便的與其他形式的特征向量進行聯合。

目前對于異常行為判斷中，針對人體檢測的識別［9］，大部分方法都是集中于跟蹤預測或者提取運動軌跡判斷［10］，本文采用文獻［11］的快速SIFT 匹配算法，解決了采用跟蹤算法費時且容易跟丟的問題。本文只是針對檢測得到的頭部之間互相匹配，無需對整個相鄰幀全部像素的匹配過程，這也大大減少了匹配時間。具體匹配結果如圖4所示。

圖4 具體匹配結果

由圖4 可知，相同頭部用快速SIFT 進行匹配，有較多的匹配SIFT 特征點，可以依據此效果來有效區分不同的人頭。同時，通過連續視頻幀的檢測，也能有效地去除某一幀誤檢的人頭。

在SIFT 匹配后，僅僅以匹配點數來確定個體之間的關系，單獨取頭部進行匹配可能由于頭發的顏色相似度高，也產生較大的誤差，通過實驗驗證我們匹配時將頭部以及下方的10個像素部分包括在內進行匹配，取得較好的匹配效果。

為了更好的衡量匹配的正確率，我們用下面的公式來評估匹配效果［17］:

其中，TP 是正確匹配點的匹配點數，TN 正確匹配點的未匹配點數。FN 是錯誤匹配點的匹配數，FP 是錯誤匹配點的未匹配數。具體關系如圖5所示，由此可知，匹配點數的多寡，與檢測率呈正相關。

圖5 匹配率與檢測率關系

在本文中，相鄰幀中匹配率最高的運動對象被視為相同的運動個體。對于已匹配的個體，不再進行匹配，進一步節約算法時間。

對于利用粒子濾波［12］對人體頭部進行跟蹤，由于頭部特征相似度高，尤其是頭部區域小，當出現多個頭部交叉的時候，容易出現“錯跟”現象。本算法效果明顯優于粒子濾波。

2.3 判斷推理

在檢測過程中，人進出監控區域，會對之前匹配結果進行干擾，僅僅依據匹配點數可能導致較大匹配誤差，此時我們引入一個推理判斷機制:

(1)人頭狀態信息

(2)人頭運動的變化

(3)統計人頭匹配的基本范圍，建立拒絕域

由于檢測方面的誤差以及檢測區域的不斷變化，為了提高算法的穩定性，我們需要對過去的幀的信息進行積累來對當前幀進行判斷，在本算法中設置了一個緩沖的幀數區間，對于歷史幀信息幀數大小設置，如果過大會導致處理速度降低，其距離當前幀較遠的幀的信息影響對當前運動的推理判斷，過小信息不具有代表性，相對于人運動的速率，一般取值范圍為2 幀～11 幀，通過實驗統計，檢測率與緩沖幀值以及處理時間的關系的如圖6所示。

圖6 緩沖幀取值與檢測率

由圖6 可知，緩沖幀的取值取為6 誤差最小，檢測率達到了95.7%，，也可看出因緩沖幀過大，影響對當前的判斷推理，故本文緩沖幀取為6，若6 幀人體頭部仍然檢測不到視為消失，連續6 幀出現的視為新進入檢測區域的人體頭部。針對人頭狀態變化，設置幀數的緩沖區間，若在緩沖區新增加的數目，表示為新加入的。

在緩沖幀得到歷史信息的基礎上，對于新進入感興趣區域建立相應的新的人頭狀態信息。

其中，θn表示運動方向，(xn，yn)位頭部區域位置，vn主要表現當前的運動速率，位置以頭部的中心點為參考。運動信息主要是根據歷史幀的運動信息，來比對當前幀的對象的運動信息及相對位置每幀之間的變化。

以人頭部中心為中心點，Δτ表示相鄰兩幀中心點運動的歐氏距離，Xavg表示在X 軸方向上的中心點平均平移距離，Yavg表示在Y 軸方向上的平均平移距離，系數α、β為相鄰幀的滑動系數，通過實驗發現值分別取為0.8和0.2 得到較好的效果。表示取上述值的結果。依此為匹配前提，避免了對所有檢測結果進行匹配，進一步減少了時間。

為了進一步提高算法的穩定性，依據匹配率的大小，取其最大值不足以表現匹配結果。需要對匹配的設置判斷機制［15］。

其中p(Xt|Statet)表示當前人頭的匹配模型，p(Xt|Statet－1)為動態匹配模型。

綜合以上3個推理判斷準則，能夠很好地解決運動對象進出檢測區域的問題，得到運動對象的準確信息。

3 實驗及結果分析

本文算法實驗選擇主要的配置為:CPU為Intel Pentium E5300，主頻為2.6GHz，2G 內存，Windows XP 操作系統，在VC++6.0 平臺下，使用OpenCV 視覺庫作為主要的圖像處理工具進行實驗。

同時，為了更好的評估本算法，本文同文獻所提HOG 法［15］、粒子濾波［18］進行兩個方面的對比:(1)檢測誤差，(2)運算速率。

我們采用CAVIAR 測試視頻庫，分別取其中的走廊、商場、通道三個視頻進行匹配和跟蹤實驗。在對比中，我們在同等條件下，針對多場景以及多人的檢測匹配。通過下面誤檢率和漏檢率來判定頭部檢測效果［13］:

其中，Rateerror誤檢率，Nerror為誤檢人數，Ntotal為監控中出現總人數。

其中，Rateleak誤檢率，Nleak為誤檢人數，Ntotal為監控中出現總人數3個視頻的檢測率。為了更好的評估本方法的檢測效果，我們與通用的HOG 檢測人的方法［16］和粒子濾波的方法［18］進行對比。

表1 視頻人體頭部的檢測率及匹配率

在人頭部檢測中，針對3個視頻中出現的人的次數，誤檢的情況有以下幾個方面:

①人的頭發顏色以及身體某部分衣服;

②旁人遮擋頭部情況;

③頭戴裝飾品比較明顯，或者遮擋住頭部。

可以明顯得出本算法比粒子濾波算法在精度上有了明顯的提高，并且檢測識別后進行匹配比識別跟蹤效果精度要高。

對于算法的效率，我們同樣利用一個實驗平臺，檢測時間利用式(7)來對各算法進行對比:

其中，ti是第i 幀視頻的處理時間，ˉt 表示每一類幀的平均處理時間，對3 類視頻的檢測結果，見表2。

表2 視頻每幀平均處理時間 單位:ms

從表2 可以知道本算法平均處理時間比PF和HOG 效果要好，檢測效率高，具有良好的實用性。

4 結論

本文提出了一種基于快速SIFT 匹配的行人檢測算法，對于各種場景都有較好的檢測效果，且檢測精度高，具有一定的實用意義。

當然還存在一定的不足，后期工作還需要劃分感興趣區域改成運動區域的選擇，然后對運動區域進行檢測，以及對運動信息的向更高層次的建模來對行為進行判斷，還有對于幀間相關信息的獲取。相關參數的自適應獲得等方面還有大量工作需要進行。隨后工作需要對人群人數估計和運動方向分布的評價，利用人群人數變化和運動的混亂程度為人群異常檢測提供基礎。

［1］Chee B C.Detection and Monitoring of Passengers on a Bus by Video Surveillance［C］//Proceedings of 14th International Conference on Image Analysis and Processing，2007:143－148.

［2］Han H，Ding Y，Hao K.A New Immune Particle Filter Algorithm for Tracking a Moving Target［C］//Proceedings of 6th International Conference on Natural Computation，2010:3248－3252.

［3］Zhong Z，Xu Y.Crowd Energy and Feature Analysis［C］//Proceedings of IEEE International Conference on Integration Technology，2007:144－150.

［4］Elhabian S，Ali A，Farag A.Face Recognition at-a-Distance using Texture Sparse-Stereo and Dense-Stereo［C］//International Conference on Multimedia Technology，2011:6690－6695.

［5］Czyzewski A.Examining Kalman Filters Applied to Tracking Objects in Motion［C］//Proceedings of the 9th International Workshop on Image Analysis for Multimedia Interactive Services，2008:175－178.

［6］Talele K T，Kadam S.Face Detection and Geometric Face Normalization［C］//Proceedings of IEEE Region 10 Conference，2009:1－6.

［7］Li M，Zhang Z，Huang K，et al.Estimating the Number of People in Crowded Scenes by MID Based Foreground Segmentation and Head-Shoulder Detection［C］//Proceedings of International Conference on Pattern Recognition，2008，1:1－4.

［8］Fan H，Zhu L L，Tang Y D.An Extended Set of Haar-Like Features for Rapid Object Detection ［C］//Proceedings of IEEE International Conference on Image Processing，2002，1:900－903.

［9］Guo L，Ge P S，Zhang M H，et al.Pedestrian Detection for Intelligent Transportation Systems Combining AdaBoost Algorithm and Support Vector Machine ［J］.Expert Systems with Applications，2012，39(4):4274－4286.

［10］Nguyen N T，Phung D Q.Learning and Detecting Activities from Movement Trajectories Using the Hierarchical Hidden Markov Models［C］//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005，2:955－960.

［11］Li K.A Fast SIFT Feature Matching Algorithm for Image Registration［C］//Proceedings of International Conference on Multimedia and Signal Processing，2011，1:89－93.

［12］Guo C.Tracking of Human Head with Particle Filter［J］.Journal of Harbin Institute of Technology，2009，16(2):269－274.

［13］Seemann E，Fritz M，Schiele B.Towards Robust Pedestrian Detection in Crowded Image Sequences［C］//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2007:1－8.

［14］Han Q L.An Automatic Pedestrian Detection and Tracking Method:Based on Mach and Particle Filter ［C］//Proceedings of International Conference on Network Computing and Information Security，2011，1:385－389.

［15］Li M，Zhang Z，Huang K，et al.Estimating the Number of People in Crowded Scenes by MID Based Foreground Segmentation and Head-Shoulder Detection［C］//Proceedings of International Conference on Pattern Recognition，2008，1:1－4.

［16］Wang X Y，Han T X.An HOG-LBP Human Detector with Partial Occlusion Handling［C］//Proceedings of IEEE 12th International Conference on Computer Vision，2009:32－39.

［17］Xia L.Human Detection Using Depth Information by Kinect［C］//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops，2011:15－22.

［18］Sherrah J.Particle Filter to Track Multiple People for Visual Surveillance［J］.IET Computer Vision，2011，5(4):192－200.