基于改進型LBP特征的監控視頻行人檢測

劉璨，孟朝暉

（河海大學 江蘇 南京211100）

基于改進型LBP特征的監控視頻行人檢測

劉璨，孟朝暉

（河海大學 江蘇 南京211100）

對圖像和視頻中的不同類別的對象的檢測是計算機視覺研究的基本任務。行人檢測是一個熱門的研究課題。行人是交通系統中的主要參與者，所以對視頻監控系統中的行人檢測對智能交通系統的研究和應用有著重要的意義。由于光線，顏色，尺度和姿勢等各方面的差別，行人檢測是一個具有挑戰性的問題。有效特征的提取是這個問題的關鍵。本文提出了一種基于改進型的局部三值模式（LTP）特征的行人檢測方法，提取的特征中包含梯度信息，紋理和尺度信息，采用前景分割的方法完成了檢測任務。CAVIAR序列實驗證明用此方法提取的特征結合支持向量機可以有效地檢測出真實場景監控視頻中的行人。

視頻監控；行人檢測；局部三值模式；特征提取

在智能視頻監控，輔助駕駛系統，人機交互，軍事應用和智能數字化管理等這些大量的應用中，行人檢測是第一步。由于光線，顏色，尺度，姿勢和著裝等各方面的差別，行人識別是一個具有挑戰性的問題。在圖像上檢測行人已經有了很長的歷史，在過去的十年里，人們對行人檢測有著巨大的興趣。

如今進入了一個視頻監控的社會，生活中的視頻監控現象隨處可見。人們對視頻監控中的行人檢測算法的興趣也日益劇增。隨著現代化城市中的交通問題日益嚴重，對智能交通系統（ITS）的研究和應用已經成為全球的熱點話題。視頻監控系統，是一種感知交通世界的工具，它是智能交通系統中的重要模塊。行人是交通系統中的主要參與者，所以對視頻監控系統中的行人識別對智能交通系統的研究和應用意義重大。

1　相關工作

在文中，我們重點對單個行人進行檢測，得到他們的準確位置。從廣義上來說主要有兩種行人檢測方法：基于模型的方法以及基于特征分類的方法。這兩種方法模式分類上分別對應生成模型和判別模型。在基于模型的行人檢測方法中，首先需要定義精確的行人模型。然后用算法搜索與模型匹配位置的視頻幀，檢測行人。基于部分模型的方法在計算機視覺領域中對一般物體的檢測和行人探測有著很長的歷史[1-3]。基于部分的模型有兩個主要成分。第一個是使用低級別的特征或分類器來模擬行人的各個部分。第二個是模擬行人的拓撲[4]。這種方法是可行的，但部分檢測本身是一個困難的任務。這種方式的實現遵循處理圖像數據的標準程序：創建一個密集采樣圖像金字塔，在每個比例下計算特征，在所有可能的位置進行分類，最后執行非最大抑制方法，生成一組最終的包圍盒。基于特征分類的方法第一步是從視頻幀中提取行人檢測窗口，（通常是滑動窗口搜索）[5]，下一個特征從所提取的檢測窗口提取。基于大量訓練示例訓練分類器，使用該分類器用特征向量劃分行人類或非行人者類。

2　系統架構

圖1是我們的系統概述，輸入視頻幀被分割，以確定前景。該檢測系統掃描圖像的所有相關位置和尺度以檢測行人。該特征部件編碼行人的視覺外觀，分類器組件確定每個獨立滑動的窗口中是否包含行人。

圖1　我們的行人檢測系統

為了訓練我們的系統，我們收集了一組2 500灰階行人樣本圖像正例，連同其左，右反射。正例已經對齊，并調整尺寸為128×64。行人的圖像取自公共行人數據集和監控視頻。我們做了一個包含6 000非行人圖像的反樣本數據集。為了提高性能，我們把如電線桿，樹木，路牌等2 000個垂直結構增加到負樣本。垂直結構在行人識別中是常見的誤報檢測。

2.1前景分割

這里采用混合高斯背景建模的方法來進行前景分割[6]。詳細算法流程如下：

1）每個新像素值Xt同當前K個模型按下式進行比較，知道找出匹配新像素值的分布模型，即同該模型的均值偏差在2.5σ內。

2）如果所匹配的模式符合背景要求，則該像素屬于背景，否則屬于前景。

3）各模式權值按如下公式更新，其中α是學習速率，對于匹配的模式Mk，t=1，否則Mk，t=0，然后各模式的權重進行歸一化。

4）未匹配模式的均值μ與標準差σ不變，匹配模式的參數按照如下公式更新：

5）如果第一步中沒有任何模式匹配，則權重最小的模式被替換，即該模式的均值為當前的像素值，標準差為初始較大值，權重為較小值。

6）各模式按照ω/α2按降序排列，權重大，標準差小的模式排列靠前。

7）選前B個模式作為背景，B滿足下式，參數T表示背景所占的比例。

2.2局部三值模式（LTP）

局部二元模式 （LBP）是一種簡單但非常有效的紋理算子。在一個3×3的窗口中，以窗口中心點的灰度值為閾值對窗口內其它像素作二值化處理[7]，然后根據像素不同位置進行加權求和得到的二進制數作為該窗口的LBP值[8]。在文中，我們提出了將LBP擴展為具有三值編碼形式，即LTP，LTP公式定義如下：

LTP將中心像素值的鄰域寬度±t范圍內的像素值量化為0值，大于此鄰域寬度的像素值量化為1，小于鄰域寬度的像素值量化為-1。并且t是用戶定義的閾值，以下是LTP編碼的計算公式為：

LTP編碼過程如圖2所示，這里t設為5，即規定0值編碼的像素值范圍為[36，48]。

圖2　LTP算子計算過程示意圖

多尺度局部三值模式的方法是基于改變LTP的半徑R以及結合所得直方圖的簡單原理。鄰域用兩個參數P，R來描述，R={R1，R2，...，Rnr}，其中nr是計算過程中所用的半徑的數量。在多尺度局部三值模式圖像中每個像素都用nr的值描述。對于不同值R={R1，R2，...，Rnr}的多尺度局部三值模式直方圖由H（1），H（2），...，H（nR）向量的和決定，為得到連貫的描述，在H計算之前，需要對空間增強直方圖H（1），H（2），...，H（nr）做歸一化處理。

其中，fx和fy分別代表輸入圖像像素的水平和垂直尺寸。H（i）由公式（10）得出。

2.3特征提取

特征提取的關鍵步驟如下：

1）我們對輸入圖像的灰度級進行歸一化處理，以減少不同圖像中的光照差別。

2）每個檢測窗口分為大小相等的重疊塊。檢測窗口的尺寸是64×128，塊的尺寸為16×16。

3）在每個像素中計算多尺度的LTP值。它們被位于塊中心尺寸為σ=0.5×塊寬度的高斯窗口加權。然后從每個塊中獨立提取出多尺度LTP直方圖。然后組合直方圖，形成行人的全局描述。我們使用以下參數描述多尺度LTP：P=8，R={1，2，3}，nr=3。

4）不是所有的直方圖成分在分類過程中都同樣重要。所以要根據重要性來調整全局LTP直方圖塊的權重[9]。在INRIA行人數據集上實驗證明，所提出的與支持向量機[10]和徑向基函數[11]結合的多尺度LTP特征效果很好。

3　實驗結果

我們對 CAVIAR序列進行了實驗，比較了 Dalal and Trigg提出的HOG+SVM系統[12]，Lie提出的HOG+Adaboost系統[13]，Papageorgiou提出的Haar+SVM系統[5]，Monteiro提出的Haar+AdaBoost系統[14]，HOG+IKSVM系統[15]，PHOG+HIKSVM系統[15]，以及我們提出的系統總共7個系統。從結果可以看出我們可以建立一個強大的和判別性的特征，顯著減少錯誤檢測率。7個系統的速度和準確率如表1所示。我們比較了在384×284分辨率下的不同系統的檢測率和誤檢測率。從表1中，可以看出我們的算法準確度達到了先進水平，基于Haar特征的檢測算法有著較高的檢測速度。圖3是對CAVIAR數據集的檢測示例。

表1　不同系統的速度和準確率比較，分辨率為384×284

圖3　CAVIAR數據集檢測示例

也用戶外監控攝像頭的監控視頻中的視頻幀測試了的行人檢測系統。實驗結果如圖4所示。

圖4　戶外視頻檢測示例

4　結　論

在文中，我們提出基于多尺度LTP特征的行人探測算法并顯示其實驗結果。首先，進行前景分割，然后提取特征，最后分類進行行人檢測。CAVIAR序列的實驗結果表明，該行人檢測算法的性能優于HOG特征。我們比較了我們的算法和其他先進水平的基于滑動窗口的行人檢測算法并且展示了行人檢測的一些示例。結果表明，我們的檢測算法檢測行人的效果良好。此外，也有一些方面需要我們進一步的研究，比如如何將我們提取的LTP特征與其他特征進行融合以及行人遮擋問題。

[1]Felzenszwalb D，Huttenlocher D.Fine particles，thin films and exchange anisotropy[C]∥CVPR，2010：812-825.

[2]Forsyth D，Fleck M.Body plans[C]∥CVPR，2009：768-775.

[3]Leibe B，Seemann E，Schiele B.Pedestrian detection in crowded scenes[C]∥CVPR，2005：878-885.

[4]Seemann E，Leibe B，Schiele B.Multi-aspect detection of articulated objects[C]∥CVPR，2006：1582-1588.

[5]Papageorgiou C，Oren M，Poggio T.A general framework for object detection[C]∥ICCV，1998：555-562.

[6]王典.基于混合高斯的背景建模與陰影抑制算法研究[D].西安：西北工業大學，2006.

[7]安寧，林樹忠，劉海華，等.圖像處理方法研究及其應用[J].儀器儀表學報，2006，8（2）：15-21.

[8]Ahonen T，Hadid A，Pietikainen M.Face recognition with local binary patterns[C]∥ECCV，2004：469-481.

[9]Sanya.Pedestrian detection based on HOG-LBP feature[C]∥Ninth International Conference on Computational Intelligence and Security，2013：1184-1187.

[10]Liu Min，Zhu Kai，Cong Li，et al.Based on rough set and support vector machine（SVM）in Jilin province power distribution network transformation project evaluation[C]∥DCABES，2013：312-318.

[11]Li Shu-Ling，Li Xiao-Lin.Application of radial basis functions to evolution equations arising in image segmen-tation[J].Chinese Physics B，2014，21（2）：10-15.

[12]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]∥CVPR，2005：886-893.

[13]Lie G，Ping-shuG，Yi-bingZ，et al.Pedestrian detection based on HOG features optimized by Gentle AdaBoost in ROI[J].Journal of Convergence Informa-tion Technology，2013，8（2）：33-40.

[14]Monteiro G，Peixoto P，Nunes U.Vision-based pedestrian detection using Haar-like features[J].Robotica，2006，24：46-50.

[15]Maji S，Berg AC，MalikJ.Classification using intersection kernel support vector machines is efficient[C]∥CVPR，2008：1-8.

Pedestrian detection in surveillance videos based on improved LBP features

LIU Can，MENG Zhao-hui
（HoHai University，Nanjing 211100，China）

Detecting different categories of objects in an image and video content is one of the fundamental tasks in computer vision research.Pedestrian detection is a hot research topic.Pedestrians are key participants in transportation systems，so pedestrian detection in video surveillance systems is of great significance to the research and application of Intelligent Transportation Systems（ITS）.Pedestrian detection is a challenging problem due to the variance of illumination，color，scale，pose，and so forth.Extraction of effective features is a key to this task.In this work，we present the multi-scale Centersymmetric Local Binary Pattern feature for pedestrian detection.The proposed feature captures gradient information and some texture and scale information.We completed the detection task with a foreground segmentation method.Experiments on CAVIAR sequences show that the proposed feature with support vector machines can detect pedestrians in real-time effectively in surveillance videos.

video surveillance；pedestrian detection；LTP；feature extraction

TN701

A

1674－6236（2016）21-0048-03

2015-11-06稿件編號：201511058

劉 璨（1992—），女，安徽阜陽人，碩士研究生。研究方向：計算機視覺，圖像處理。