基于分塊特征組合的視域盲區行人匹配

吳盈，陳懇，吉培培

(寧波大學 信息學院，浙江 寧波 315211)

基于分塊特征組合的視域盲區行人匹配

吳盈，陳懇，吉培培

(寧波大學 信息學院，浙江 寧波 315211)

各相機間通常存在監控視域以外的非重疊區域，即相機視域盲區，它的存在對多相機多行人匹配帶來了挑戰性工作。提出了一種基于分塊特征組合的多攝像機視域盲區行人匹配的方法。在單攝像機視域中首先通過HOG特征訓練而成的判別訓練部件模型對行人進行檢測，在其Hue分量上分別提取COLOR、SIFT和LBP分塊特征，從而通過實驗找出最佳組合特征實現行人的匹配。提出的最佳組合特征和已有文獻中的匹配方法進行比較，結果表明匹配速率有很大的提高。

視域盲區；分塊特征；最佳組合特征；行人匹配

0 引言

在多數公共區域監控中，整個監控范圍由數個子區域構成，單相機只負責監控其中一個子區域，在相鄰2個相機所監控區域(即“視域”)之間，通常存在著“視域盲區”(即非重疊區域)。在視域盲區多攝像機監控環境下，行人在不同攝像機視域下的時空信息通常是離散和不連續的，導致不同攝像機獲取的行人運動信息通常是不起作用的。為此，一系列的方法被人們所研究和應用，文獻［1－3］利用單一的顏色和SIFT視覺特征分別建立外表模型來研究無重疊視域多行人的匹配，由于多攝像機視域中各攝像機之間容易受到光照、攝像機參數以及行人姿態等因素的影響，一些研究者嘗試組合一種或多種特征來獲得更高的準確性。文獻［4－6］采用顏色為基礎的LBP和SIFT特征的多特征融合方式對行人進行建模，文獻［7－9］采用LBP為基礎的HOG和顏色特征建立了各種行人模型，以上都是基于視覺特征建模缺乏時空信息的約束;文獻［10］將運動行人與時空因素發生關聯，將外觀相似度與行人進入位置和進入時間進行融合，但行人的外表信息一旦發生變化，匹配精確度將會受到很大的影響。最終文獻［11］提出了顏色，SIFT特征分別進行匹配適合的場景并指出以一定方式融合效果更佳。

針對上述現有技術根據自己用的視頻序列提供了一種新的視頻監控中跨盲區行人匹配方法，該方法對人體姿態變化以及光照的變化具有較強的魯棒性。

1 基于判別訓練部件模型的行人檢測

本文主要利用Pedro Felzenszwalb［13］提出的基于統計學習方法的判別訓練部件模型對行人進行檢測。判別訓練的部件模型與傳統的模板不同，利用具有二維旋轉不變性的HOG特征來獲取行人的特征模板，此模板由一個大體上覆蓋整個行人的粗糙的根濾波器和覆蓋行人的幾個高分辨率的部件濾波器以及每個部件相對于根的空間位置模型構成。

圖1 人體模型

2 分塊特征提取及組合

2.1 Hue分量上的圖像分塊及特征抽取

傳統彩色圖像的直方圖檢索技術基于RGB空間，但研究發現，這種表示法并不符合人眼視覺系統特征，而HSV空間更加接近人們對顏色的主觀認識，它主要用色度H、飽和度S和亮度V3個分量表示顏色。本文主要對Hue分量做直方圖，在直方圖中代表了不同H分量值出現的概率或像素個數。

這樣可以對檢測到的每幅圖像重復進行上述處理從而得到相同的橫縱軸分塊分配，即得到一個每列有14個互相重疊的正方形圖像分塊，總共6列的正方形圖像分塊矩陣如圖2所示，其中圖2(a)為檢測到的RGB圖像，圖2(b)為通過轉化后的HSV圖像的H通道的正方向圖像分塊結果，“+”所表示的即為分割的正方形圖像分塊中心。

圖2 圖像分塊圖

2.1.1 Hue分量上的COLOR分塊特征

所謂COLOR正方形圖像分塊特征指的是圖2(b)正方形圖像分塊上的顏色直方圖。通過實驗選取了16個顏色區間(bins)分別對每塊正方形圖像分塊提取顏色直方圖特征從而得到一個直方圖矩陣，對直方圖矩陣中的數值按大小轉化為不同的顏色，并在坐標軸對應位置處以這種顏色染色，最終得到其可視化顏色特征。

2.1.2 Hue分量上的SIFT分塊特征

SIFT特征描述符作為顏色直方圖的互補特征來處理視點和光照的變化，如式(1)所示，m( x，y)和θ( x，y)分別為(x，y)處梯度的模值和方向。與抽取COLOR分塊特征設置相似，同樣的分塊在Hue分量的密集網絡上被分割，把每個分塊分割成4×4的單元，對每個單元的局部梯度方向進行歸一化處理成8 bins，這樣就能獲得一個4×4×8=128維的SIFT特征。

2.1.3 Hue分量上LBP分塊特征

LBP分塊特征是計算Hue分量上的顏色投影圖像上每個正方形圖像分塊的LBP(局部二進制模式)紋理顏色直方圖，LBP紋理特征的計算方法如式(2)所示。

式中，P為鄰域像素的數目;R為中心像素與其相鄰像素的距離;gc為中心點的灰度值;gp半徑為R的鄰域內第p個相鄰點的灰度值，t為閥值，用來控制噪聲的影響。為了形成旋轉不變的編碼模式，讓有同一編碼格式經旋轉后產生的編碼結果編碼為同一值，即旋轉結果中的最小值，采用的則是這種36個旋轉不變的編碼模式，分別計算每個正方形分塊的LBP特征。

2.2 行人特征的相似度計算

通過上述得到的分塊特征，就可以對檢測到的行人進行相似度測量了，首先運用判別訓練部件模型任選兩幀對行人檢測，如圖3為任意選取兩幀進行匹配的結果。a和d為檢測結果，分別對檢測出的行人進行顏色歸一化和縮放處理形成大小均為64×32個像素大小的圖像如圖3(b)和(e)所示;假設幀a中行人i的第p個分塊特征為xi，p，幀a'中行人j的第q個分塊特征為yj，q，且行人i和行人j可能是同一個人也可能是不同的人，其中p的范圍為1～84，分塊特征包括COLOR、SIFT、LBP單一特征以及它們的組合特征。

圖3 幀間相似度匹配過程

通過計算xi，p與yj，q之間的歐氏距離d(xi，p，yj，q)如式(3):

然后通過高斯分布函數把距離值轉換為相似度得分s(xi，p，yj，q)如式(4):

式中，σ是高斯分布函數的帶寬，并定義行人i和行人j的相似度Sim(i，j)為所有分塊相似度得分平均值如式(5)所示:

n為正方形分塊的總數;以幀a中的行人i為參考模型，計算它與幀a’中所有的行人j的相似度，其中最佳匹配相似度為S=arg max{ Sim(i，j)}，此時的j即為此時i的最佳匹配對象，圖3中(c)和(f)即為匹配結果。

3 實驗結果與分析

3.1 單一特征和組合特征的比較

通過平均CMC［14］(Cumulative Matching Characteristic，CMC)曲線分別對單一特征和組合特征進行評估，此方法是以自己在園區拍攝的盲區視域環境下(攝像機A和攝像機B)以及采用CVLAB中的Campus sequences(cam．1和cam．2)進行實驗的，其中cam．1和cam．2中檢測到的行人圖像中集中到一起包含3個不同的人298個圖像，然后對每個人任意抽取一副圖像作為畫廊集，剩下的均作為探針集;讓畫廊集分別和每個探針集圖像進行匹配，如圖4所示。縱軸為不同特征方法(單一特征和組合特征)通過上述提到的最佳匹配相似度計算的CMC下rank1的匹配率，橫軸為相似度計算所對應的不同特征;然后用單一分塊特征進行帶權值的組合具體步驟如下:設幀a中行人i的第p個分塊的待組合的COLOR，SIFT，LBP單一特征分別為αxi，p，βxi，p，γxi，p;其中α，β，γ為組合特征中各組合特征的權值，p的取值范圍均為1～84;則幀a中行人i的第p個分塊的組合特征可表示為Lxi，p= αxi，p，βxi，p，γxi，p[ ]，從圖4中可以看出COLOR分塊特征對行人匹配的結果貢獻最大，SIFT分塊特征次之，LBP分塊特征的貢獻最小;由此令。最后通過相似度匹配求取組合特征的匹配率。從圖4中可看出經過多特征組合后匹配率均有所提高，COLOR和SIFT分塊特征的組合匹配率達到了最高，且此時的COLOR特征組合權值α=0．8，SIFT特征組合權值β=0．2，LBP的特征組合權值γ=0，所以所選取的最佳組合特征為COLOR和SIFT分塊特征的組合。

圖4 不同方法下的rank1的匹配率

3.2 視域盲區行人之間的匹配

對于不同攝像機存在視域盲區行人之間的匹配，實驗中的每一組圖像的選取是在存在盲區的不同攝像機(cam.1和cam.2以及攝像機A和B)下的不同光照、不同姿態和不同視角下采集的。

圖5(a)所示分別為任意選取的攝像機A和攝像機B以及攝像機B和攝像機A視頻測試序列匹配結果;圖5(b)為任意選取的攝像機cam.1和攝像機cam.2以及任意選取的攝像機cam.2和攝像機cam．1視頻測試序列匹配結果;其中圖5(a)、(b)的左側圖中矩形框所包圍的區域均為測試行人，并在方框內對不同的測試行人進行標記;右邊為任意選取的對應視域盲區攝像機的待匹配序列，矩形框所包圍的區域均為候選行人。每個測試行人和候選行人通過最佳組合特征進行相似度測量，并對其最佳匹配對象在方框內進行相同的標記，同時對于找不到匹配對象的候選行人不作任何標記，匹配結果如圖5所示。

圖5 視域盲區攝像機行人匹配結果

3.3 組合算法的評估

用提出的算法和文獻［12］提出的算法分別對匹配速率和匹配率的評估進行大小比較。首先，在檢測到的圖像進行圖像處理后形成64×32大小像素的HSV圖像上的H通道上進行正方形分塊處理，形成84個大小為10*10個像素大小的正方向圖像分塊，然后對每個分塊分別提取144維的最佳組合特征，而文獻［12］在其給出的同樣大小的RGB圖像上進行分塊處理，形成同樣的84個大小相同的正方形圖像分塊上分別提取了672維特征，故相比較而言，提出的組合特征大大降低了組合特征的維數使匹配速率大大提高;匹配速率結果如表1所示。

表1 2種算法匹配速率的比較

其次，使用CMC累計匹配曲線和文獻［12］的算法通過10次實驗進行了比較;圖6即為CMC曲線評估對比結果，從圖中可以看出提出的算法的匹配率有所下降，這是由匹配速率大大的提高為代價的。

圖6 兩種算法匹配結果比較

4 結束語

提出了一種基于分塊特征組合的視域盲區行人匹配算法，通過提取的單一特征和組合特征的相似度測量分別對匹配率進行評估從而獲得最佳組合特征，最終本文通過最佳組合特征實現了視域盲區的行人匹配。

［1］Javed O，Shafique K，Rasheed Z et al．ModelingInter-Camera Space-Time and Appearance Relationship aor Tracking Across Non-Overlapping Views[J]．Computer Vision and Image Understanding，2008，109(2):146－162．

［2］Luis F，Teixeira，Luis C R．Video Object Matching Across Multiple Independent Views Using Local Descriptors And Adaptive Learning[J]．Pattern recognition letters，2009，30(2):157－167．［3］林國余，楊彪，張為公，等．在非重疊視域監控網絡中的人體行人跟蹤[J]．東南大學學報:英文版，2012，28 (2):156－163．

［4］呂曉威，孔慶杰，劉允才，等．無重疊視域攝像機間人行人匹配的特征融合算法［C］∥2008年全國模式識別學術會議論文集，2008:73－78．

［5］范彩霞，朱虹．非重疊多攝像機行人識別方法研究[J]．西安理工大學學報，2013，29(2):138－143．

［6］衡林，朱秀昌．無重疊視域的多攝像機之間的行人匹配[J]．計算機工程與應用，2014(8):188－193．

［7］Deng Yi，Lu Jian-guo，Qu Xi-long．Video Object Matching BasedonSIFTandRotationInvariantLBP[J]．TELKOMNIKA:Indonesian Journal of Electrical Engineering，2013，11(10):112－117．

［8］Tian Lu，Wang Sheng-jin，Ding Xiao-qing et al．HumanDetection and Tracking using Apparent Features under Multi-Cameras with Non-Overlapping［C］∥2012 International conference on audio，language and image processing．IEEE，2012:1082－1087．

［9］Zhang Ying，Li Shu-tao．Gabor-LBP Based Region Covariance Descriptor for Person e-identificaion［C］∥2011 Sixth International Conference on Image and Graphics．v．1，2011:368－371．

［10］劉紅海，侯向華，黃旭，等．無重疊視域中多行人最優路徑集合的數據關聯[J]．光電工程，2014，(4):15－20．

［11］戴玥，陸小鋒，朱民耀，等．多攝像機場景下的行人匹配比較研究[J]．電視技術，2013，37(19):219－223．

［12］Zhao R，Ouyangand W，Wang X．Unsupervised Salience Learning for Person Re-Identification［C］∥IEEE International Conference on Computer Vision and Pattern Recognition(CVPR)．Portland，2013:221－225．

［13］Felzenszwalb P F，Girshick R B，McAllester D．Discriminatively Trained Deformable Part Models[DB/OL]．http:∥www.CS.uchicago.edll/～pff/latent/.

［14］Wang X，Doretto G，Sebastian T，et al．Shape and Appearance Context Modeling［C］∥ICCV，2007:152－157．

Human Matching Based on Block Fusion Features for Blind Areas

WU Ying，CHEN Ken，JI Pei-pei
(Faculty of Electrical Engineering and Computer Science，Ningbo University，Ningbo Zhejiang 315211，China)

The non-overlapping regions of different monitoring cameras，calledblind area of the camera，pose challenges to matching the humansamong the cameras．This paper presents a method of human matching based on block features fusionfor blind areas of multiple cameras．First the discriminative training component model trained by HOG features is used to detect humans within the field of view of a single camera，then COLOR，SIFT andLBP square block features are extracted from the Hue component of the detected target to find the best fusion features through experiments for matching the humans．Experiments show the proposed matching method with the best fusion features has higher speed than the method in the literature．

blind areas;square block features;the best fusion features;human matching

TN919．8

A

1003－3114(2015)05－46－4

10.3969/j.issn.1003－3114.2015.05.12

吳盈，陳懇，吉培培．基于分塊特征組合的視域盲區行人匹配［J］．無線電通信技術，2015，41(5):46－49，89．

2015－05－20

寧波市自然科學基金項目(2014A610065);寧波大學學科項目(XKXL1308)

吳盈(1988—)，女，碩士研究生，主要研究方向:視頻行人跟蹤及圖像處理。陳懇(1962—)男，副教授，主要研究方向:圖像與視頻處理、多媒體通信、智能控制。