基于重疊條紋特征融合的行人再識別

王琳琳 王微 梁鳳梅

摘 ?要： 針對行人再識別過程中，光照、攝像機設置等因素影響行人圖像顏色以及在提取圖像特征時丟失部分圖像細節的問題，提出一種基于重疊條紋特征融合的行人再識別方法。在提取特征前，對圖像進行重疊條紋分割，對所分割的條紋提取HSV顏色直方圖和Gabor紋理特征直方圖，HSV顏色直方圖可以增強圖像顏色信息的鑒別性，而重疊條紋分割方法解決丟失圖像細節問題，Gabor紋理特征對圖像的邊緣敏感，增加圖像的細節信息，融合所提取的圖像特征，形成特征描述子;然后用交叉視角邏輯度量學習算法進行識別;最后在VIPER和GRID圖像庫上進行實驗，rank1分別達到了31.68%和16.32%，rank10和rank20也有明顯提高。結果表明所提方法能夠提高行人再識別的識別率。

關鍵詞： 行人再識別; HSV顏色直方圖; Gabor紋理特征直方圖; 重疊條紋; 特征融合; 交叉視角邏輯度量學習

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）10?0175?04

Pedestrian re?identification based on feature fusion of overlapped stripes

WANG Linlin， WANG Wei， LIANG Fengmei

（Taiyuan University of Technology， Jinzhong 030600， China）

Abstract： In allusion to the problems that the pedestrian image color is influenced by the factors of illumination and camera settings during the pedestrian re?identification process， and image details are partially lost during image feature extraction， a pedestrian re?identification method based on feature fusion of overlapped stripes is proposed. The segmentation of overlapped stripes is conducted for images before feature extraction. The HSV color histogram and Gabor texture feature histogram are extracted for the segmented stripes. The HSV color histogram is used to improve the identification performance of image color information. The overlapped stripe segmentation method is used to solve the lose problem of image details. The sensitivity of the Gabor texture feature to image margin increases the detail information of images. The extracted image features are fused to form feature descriptors， so as to conduct image identification by using the cross?view logical metric learning algorithm. The experimental results of the VIPER and GRID image libraries show that the rank1 can reach 31.68% and 16.32% respectively， and the rank10 and rank20 are also significantly improved， which indicate that the proposed method can improve the identification rate of pedestrian re?identification.

Keywords： pedestrian re?identification; HSV color histogram; Gabor texture feature histogram; overlapped stripe; feature fusion; cross?view logical metric learning

行人再識別的方法主要有兩類：基于特征設計法和基于機器學習法。基于機器學習的方法是學習行人再識別模型的優化參數，或者從訓練數據中學習有效的特征分類來減少不同行人圖像間的相似度[1]。基于特征設計法一般從兩方面來研究：特征描述和距離學習。特征描述是尋找對光照和視角變化具有魯棒性的特征。常用的特征有顏色特征[2]、紋理特征[3]、形狀特征[3?4]及多種特征的融合特征[5?6]。文獻[5]提取圖像稠密的局部塊特征，在局部塊內提取LAB通道的32維顏色直方圖特征和128維的SIFT特征進行融合得到行人圖像特征[5]。文獻[6]用gBiCov特征來描述行人特征。距離學習是學習特征之間的最佳距離來識別不同的行人，使得同一行人在不同攝像機下的樣本相似度大于不同行人之間的樣本相似度。ZHENG W S等人引入了一種新穎的概率相對距離比較（PRDC）模型[7]，不同于大多減少類內距離的距離學習方法，它旨在使得一對真正的匹配對比一個錯誤匹配對的距離更小。

為了解決行人再識別面臨的問題，本文提出一種基于特征融合的方法。該方法首先通過Retinex算法[8]對原始圖像進行處理，減少光照對行人圖像的影響;然后提出一種分割方法，對行人圖像進行11條水平條紋分割;對所分割的條紋提取HSV顏色直方圖和Gabor紋理特征直方圖進行特征融合，形成特征描述子;用距離學習算法進行識別。最后在2個圖像庫上進行實驗，由結果表明可以得到本文方法能提高行人再識別的識別率。

1 ?重疊條紋特征提取及融合

本文提出一種基于重疊條紋融合的特征提取的行人再識別方法。對圖像進行重疊條紋分割，對所分割的條紋提取HSV顏色直方圖和Gabor紋理特征直方圖。HSV顏色直方圖可以增強圖像顏色信息的鑒別性，Gabor紋理特征對圖像的邊緣敏感，重疊條紋分割方法解決丟失圖像細節問題。

1.1 ?HSV顏色特征提取

與別的視覺特征相比，顏色特征對圖像自身的尺寸、方向、視角的依賴性比較小，所以具有較高的魯棒性。顏色直方圖描述的是不同色彩在整幅圖像中所占的比例，并不關心每種色彩所處的空間位置，也就是無法描述圖像里的對象[1]。HSV顏色空間是一個均勻的顏色空間，更接近于人們對顏色的主觀認識[1]。

采用HSV空間對圖片進行描述，物體色彩的明暗及色調能夠直觀的表達出來，而且對光照變化不敏感，方便進行顏色之間的對比。HSV的三個分量分別代表色彩（Hue）、飽和度（Saturation）和值（Value），這三個分量是獨立不相關的。

1.2 ?紋理特征提取

Gabor紋理特征是一種使用較為廣泛的紋理特征，它在圖像檢索，圖像處理以及人臉識別方面都有著重要的應用[9]。該特征是基于Gabor濾波器發展而成的，Gabor濾波器提取目標的局部空間和頻率域信息方面有良好的特征，對圖像的邊緣敏感，能夠提供良好的方向選擇和尺度選擇特征，而且對于光照變化不敏感，能夠提供對光照變化良好的適應性，其處理的數據量較少，計算較為簡單[9]。Gabor 紋理特征提取是首先將彩色圖像轉換為灰度圖像，然后再使用Gabor濾波器對其進行濾波得到紋理圖像，Gabor濾波器的公式為：

[G（x，y，f，Sx，Sy）=exp-x2Sx+y2Sy2cos（2πfx）x=xcos θ+ysin θ，y=-xsin θ+ycos θ] （1）

式中，[Sx]和[Sy]控制濾波器作用區域的大小;[f]控制濾波器的頻率;[θ]控制濾波的方向。將 Gabor 濾波器的參數（[Sx，Sy，f，θ]）設置為（1，2，0.35，0）。

1.3 ?基于重疊條紋的特征提取

由于光照等原因，同一行人在不同的攝像機下的圖像顏色也會發生很大的變化，對所提取的顏色特征有很大的影響，所以引入Retinx變換[8]，在提取顏色特征直方圖之前先用Retinx對行人圖像進行處理。經過處理后的圖像通常包含生動的顏色信息，特別是在陰影區域的增強細節方面有很好的表現。

同一行人在不同的攝像機下的視角不同，如在一個攝像機下為正面圖像，在另一個攝像機下為側面圖像。因此，視角改變是行人再識別的一個難題。為了解決這個問題，文獻[10]提出把行人圖像平均分成6塊水平條紋，在每塊水平條紋中計算一個直方圖。這一方法在解決視角改變方面取得了一定的成功，但在對圖像分割時會丟失一些圖像細節，所以本文中提出重疊條紋的方法來解決這一問題。在把行人圖像分為6塊水平條紋之后，再把這一行人圖像的頂部和底部去掉，剩余的部分平均分為5塊水平條紋，最后提取11塊水平條紋的圖像特征。對于每一塊水平條紋，提取Gabor紋理特征直方圖和8×8×8?bin的HSV顏色特征直方圖。

1.4 ?特征融合

為了使所得到行人圖像特征更具魯棒性，本文融合圖像的HSV顏色特征直方圖和Gabor紋理特征直方圖描述行人圖像。具體為串聯HSV顏色特征直方圖和Gabor紋理特征直方圖這2種特征，形成行人圖像特征描述子[11]。

2 ?相似度度量函數的學習

本文采用半正定約束的邏輯度量學習方法進行相似度度量函數的學習[12]。有一個交叉視圖訓練集{X，Z，Y}，[X=x1，x2，…，xn∈Rd×n]表示d維空間中一個視角上包含n個樣本，[Z=z1，z2，…，zm∈Rd×m]表示d維空間的另一個視角上包含m個樣本，[Y∈Rn×m]是X和Z之間的匹配標簽，[yij=1]表示[xi]和[zj]是用一類，[yij=-1]則表示不是同一類。當[y=1]時，把（X，Z）稱為正樣本對;[y=-1]，則為負樣本對。本文的目的是想要學習一個馬氏距離函數[12]來度量交叉視角樣本之間的距離，馬氏距離函數表示為[D2Mx，z=x-z2M=x-zTMx-z]，[M≥0]是一個半正定矩陣。為了學習上述度量函數[D2M]，采用一個損失函數[fMx，z=log1+eyD2Mx，z-μ]，總體損失函數為[FM=i=1nj=1mωijfMxi，zj] ，如果[yij=1]，則[ωij=1Npos]，否則[ωij=1Nneg]，[Npos]和[Nneg]分別為正采樣對數和負采樣對數。交叉視角邏輯度量學習問題表達為：[minMFM]，[M≥0]。應用近端梯度快速解決方法[12]解決得出[FMt-FM?≤2γLM0-M?2Ft+12] ，[M?]為式（2）的最優解，即得到所需的度量函數矩陣[M]。

3 ?實驗及結果分析

本節利用2個常用行人再識別圖像數據庫，分析本文方法在2個圖像庫上的識別性能[12]。每次在相同的條件下重復進行10次實驗，取10次實驗結果的平均值作為測試結果，并用累積匹配特性（CMC）曲線進行評價。

3.1 ?行人再識別圖像庫

VIPER圖像庫[13]是最有挑戰的行人再識別圖像庫之一，包含632對行人圖像，由2個攝像機在戶外拍攝。VIPER中的圖像同一行人在背景、光照和視角方面有很大的不同，所有的圖像規格都為128×48像素。

GRID圖像庫[8]包含250對行人圖像對， 每一對都是來自不同相機視圖的同一個人的兩張照片，此外，還有775幅不屬于250人的圖像，用來擴大圖像庫。該圖像庫是從一個地下站的8個不相交的攝像機中獲取得到的。行人圖像的分辨率較低，而且光照和視角有較大的變化，所有的圖像規格都歸一化為128×48像素。

3.2 ?實驗結果

VIPER上的632對圖像隨機選取一半做訓練，另一半做測試，訓練和測試的行人數相同。為驗證融合特征的性能，表1給出使用單一特征和融合特征的實驗對比。

從表1的實驗數據可以看出，只使用Gabor紋理特征直方圖比只使用HSV特征直方圖rank1提高了4%，rank10和rank20也有明顯提高;本文算法使用兩種融合特征直方圖rank1，rank10和rank20分別達到31.68%，73.96%和86.20%，識別率有了明顯的提高。

為了驗證11塊水平條紋分割方法對本文算法的影響，表2給出6塊水平分割和本文方法的實驗對比。從表2的實驗數據可以看出，使用重疊條紋分割比均勻分割rank1，rank10和rank20分別提高了2.79%，3.71%和1.47%，識別率有了一定的提高。

為驗證本算法的性能，將其與較有代表性的算法進行比較，根據各算法繪制CMC曲線如圖1所示。

圖1 ?各方法在VIPER圖像庫上的CMC曲線

采用GRID圖像庫中的125對圖像做訓練，剩下的125對圖像和775幅圖像做測試，為了驗證本算法的性能，將其與比較有代表性的算法進行比較，根據各算法繪制CMC曲線如圖2所示。

圖2 ?各方法在GRID圖像庫上的CMC曲線

表3給出了各個方法在2個圖像庫上的rank1，rank10和rank20的識別率。從表3可以看出，與其他方法相比較，本文方法在2個圖像庫上的識別效果均達到最好，rank1分別達到了31.68%和16.32%。文獻[5]提取圖像的LAB顏色直方圖和SIFT特征，KISSME算法提取圖像的HSV和LAB顏色直方圖，LBP紋理直方圖，兩種算法在提取特征時都是將圖像分為圖像塊，提取圖像塊的特征，相比于本文算法，破壞了圖像局部細節，使得識別率低于本文算法;PRDC提取圖像RGB，YCbCr，HSV顏色特征和Schmid，Gabor紋理特征，在提取特征時，將圖像平均分為6塊水平條紋，破壞了圖像細節，識別率較低;文獻[6]提取圖像的gBicov特征，LMNN算法提取圖像單一特征，所提取的圖像特征較少，識別率低于本文識別率。

4 ?結 ?語

本文提出一種基于重疊條紋的顏色和紋理特征融合的行人再識別方法，融合HSV顏色特征直方圖和Gabor紋理特征直方圖形成特征描述子對行人進行再識別。在提取特征時采用重疊條紋分割方法，在2個行人再識別圖像庫上對本文方法進行實驗，結果表明，重疊條紋分割方法可提高識別率，本文方法在VIPER圖像庫和GRID圖像庫上的rank1分別達到31.68%和16.32%，提高了行人再識別的性能，具有實用價值。本文在對圖像特征進行提取時，所提取的特征較少，以后的工作可以融合多種顏色特征和紋理特征對行人圖像進行再識別。

參考文獻

[1] 陳瑩，霍中花.多方向顯著性權值學習的行人再識別[J].中國圖象圖形學報，2015，20（12）：1674?1683.

CHEN Ying， HUO Zhonghua. Person re?identification based on multi?directional saliency metric learning [J]. Journal of image and graphics， 2015， 20（12）： 1674?1683.

[2] FARENZENA M， BAZZANI L， PERINA A， et al. Person re?identification by symmetry?driven accumulation of local features [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 2360?2367.

[3] BAK S， CORVEE E， BREMOND F， et al. Person re?identification using spatial covariance regions of human body parts [C]// Proceedings of 7th IEEE International Conference on Advanced Video and Signal Based Surveillance. Boston： IEEE， 2010： 435?440.

[4] IODICE S， PETROSINO A. Salient feature based graph matching for person re?identification [J]. Pattern recognition， 2015， 48（4）： 1074?1085.

[5] 霍中花，陳瑩.基于多顯著性融合的行人再識別[J].光電工程，2015，42（9）：41?47.

HUO Zhonghua， CHEN Ying. Person re?identification based on multi?salience fusion [J]. Opto?electronic engineering， 2015， 42（9）： 41?47.

[6] MA B， SU Y， JURIE F. Covariance descriptor based on bio?inspired features for person re?identification and face verification [J]. Image and vision computing， 2014， 32（6）： 379?390.

[7] ZHENG W S， GONG S， XIANG T. Re?identification by relative distance comparison [J]. IEEE transactions on pattern analysis and machine intelligence， 2013， 35（3）： 653?668.

[8] LIAO S， HU Y， ZHU X， et al. Person re?identification by local maximal occurrence representation and metric learning [C]// Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 2197?2206.

[9] 劉皓.基于多核學習的無重疊視域多攝像機行人再識別問題研究[D].合肥：合肥工業大學，2014.

LIU Hao. Research of problems of non?overlapping multi?camera pedestrian re?identification based on multiple kernel learning [D]. Hefei： Hefei University of Technology， 2014.

[10] PROSSER B， ZHENG W S， GONG S， et al. Person re?identification by support vector ranking [C]// Proceedings of British Machine Vision Conference. Aberystwyth： [s.n.]， 2010： 1?11.

[11] 袁立，田子茹.基于融合特征的行人再識別方法[J].模式識別與人工智能，2017，30（3）：269?278.

YUAN Li， TIAN Ziru. Person re?identification based on multi?feature fusion [J]. Pattern recognition and artificial intelligence， 2017， 30（3）： 269?278.

[12] LIAO S， LI S Z. Efficient PSD constrained asymmetric metric learning for person re?identification [C]// Proceedings of IEEE International Conference on Computer Vision. Santiago： IEEE， 2015： 3685?3693.

[13] K?STINGER M， HIRZER M， WOHLHART P， et al. Large scale metric learning from equivalence constraints [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Providence： IEEE Computer Society， 2012： 2288?2295.