基于距離中心化與投影向量學(xué)習(xí)的行人重識(shí)別

丁宗元 王洪元 陳付華 倪彤光

1(常州大學(xué)信息科學(xué)與工程學(xué)院 江蘇常州 213164) 2 (西自由大學(xué)自然科學(xué)與數(shù)學(xué)系 美國(guó)西弗吉尼亞州西自由市 26074) (dzyha2011@foxmail.com)

基于距離中心化與投影向量學(xué)習(xí)的行人重識(shí)別

丁宗元1王洪元1陳付華2倪彤光1

1(常州大學(xué)信息科學(xué)與工程學(xué)院 江蘇常州 213164)2(西自由大學(xué)自然科學(xué)與數(shù)學(xué)系 美國(guó)西弗吉尼亞州西自由市 26074) (dzyha2011@foxmail.com)

現(xiàn)有的基于投影的行人重識(shí)別方法具有訓(xùn)練時(shí)間長(zhǎng)、投影矩陣維數(shù)高、識(shí)別率低等問(wèn)題.此外在建立訓(xùn)練集時(shí),還會(huì)出現(xiàn)類(lèi)內(nèi)樣本數(shù)目遠(yuǎn)少于類(lèi)間樣本數(shù)目的情況.針對(duì)這些問(wèn)題,提出了基于距離中心化的相似性度量算法.在構(gòu)建訓(xùn)練集時(shí),將同一組目標(biāo)群體特征值中心化,利用中心特征值來(lái)構(gòu)建類(lèi)間距離,而類(lèi)內(nèi)距離保持不變.這樣使得類(lèi)內(nèi)類(lèi)間樣本數(shù)目接近,可以很好地緩解類(lèi)別不平衡所帶來(lái)的過(guò)擬合風(fēng)險(xiǎn).另外在學(xué)習(xí)投影矩陣時(shí),利用訓(xùn)練集更新策略,學(xué)習(xí)若干組投影向量,使得到的投影向量近似正交,這樣既可以有效減少運(yùn)算復(fù)雜度和存儲(chǔ)復(fù)雜度,又可以使得學(xué)習(xí)到的投影向量能夠通過(guò)簡(jiǎn)單的相乘近似得到原來(lái)的投影矩陣.最后,在學(xué)習(xí)投影向量時(shí)采用共軛梯度法,該方法具有二次收斂性,能夠快速收斂到目標(biāo)精度.實(shí)驗(yàn)結(jié)果表明：提出的算法具有較高的效率,在不同數(shù)據(jù)集上的識(shí)別率都有明顯的提升,訓(xùn)練時(shí)間也比其他常用的行人重識(shí)別算法要短.

行人重識(shí)別；距離中心化；度量學(xué)習(xí)；投影向量；共軛梯度法

目前,越來(lái)越多的攝像系統(tǒng)被廣泛地布置到公共場(chǎng)所,進(jìn)行24小時(shí)不間斷的監(jiān)控,產(chǎn)生了大量的視頻數(shù)據(jù),使得主要依靠人工監(jiān)控和人工鑒別的傳統(tǒng)視頻監(jiān)控系統(tǒng)不僅耗費(fèi)大量的人力,而且效率非常低下.因此,對(duì)視頻數(shù)據(jù)進(jìn)行自動(dòng)化處理和分析對(duì)提高視頻監(jiān)控的效率有極大的幫助.視頻監(jiān)控中,當(dāng)一個(gè)行人被位于公共場(chǎng)所的某個(gè)攝像機(jī)所捕捉到,即該行人的一幀或多幀圖像被獲取后,利用現(xiàn)有攝像機(jī)網(wǎng)絡(luò)去發(fā)現(xiàn)該目標(biāo)行人下一次出現(xiàn)的場(chǎng)所的過(guò)程稱(chēng)為行人重識(shí)別.行人重識(shí)別研究近幾年獲得了較大的進(jìn)展.以往研究工作主要是利用投影矩陣的方式,將特征投影到共同子空間,以獲得更好的判別性.一些方法對(duì)于行人數(shù)據(jù)的光照條件變化、拍攝角度的不同等一些問(wèn)題具有很好的魯棒性.

近些年在行人重識(shí)別問(wèn)題上的研究涌現(xiàn)出了不少有效的算法.這些方法主要分為2種類(lèi)型,基于特征的行人重識(shí)別[1-10]和基于度量學(xué)習(xí)的行人重識(shí)別方法[11-18].而在基于度量學(xué)習(xí)的行人重識(shí)別方法中,主要以學(xué)習(xí)出“好的”度量為主要目的.其主要思想是利用機(jī)器學(xué)習(xí)的方法,學(xué)習(xí)出距離測(cè)度和分類(lèi)器,使得類(lèi)內(nèi)距離盡量小,類(lèi)間距離盡量大.該方法對(duì)特征選擇的要求較低,但具有訓(xùn)練時(shí)間長(zhǎng)、投影矩陣維數(shù)大、容易過(guò)擬合等一些問(wèn)題.

2007年,Weinberger等人提出大間隔最近鄰分類(lèi)[19](large margin nearest neighbor, LMNN)距離測(cè)度學(xué)習(xí)算法.該方法采用三元組的方式,并加入對(duì)不相似對(duì)的約束,學(xué)習(xí)使得盡可能多的三元組樣本滿(mǎn)足一定條件的最優(yōu)矩陣M.2008年,Weinberger又給出了LMNN的快速解法[20],采用激活策略的方式來(lái)避免計(jì)算所有樣本的梯度.2010年,Dikmen在LMNN基礎(chǔ)上提出改進(jìn)的算法[21](LMNN-R),并用于行人重識(shí)別問(wèn)題.2007年,Davis等人提出基于信息論方法[22](information theoretic metric learning, ITML)的度量學(xué)習(xí)算法,將馬氏度量矩陣M映射到一個(gè)高斯模型,利用信息散度來(lái)度量不同馬氏矩陣M的相似性.2011年,Zheng等人提出基于概率相對(duì)距離比較[23](probabilistic relative distance comparison, PRDC)的度量學(xué)習(xí)算法.作者采用的是logistic誤差函數(shù),因此最終的目標(biāo)函數(shù)是一個(gè)平滑的凸優(yōu)化問(wèn)題.為了避免過(guò)擬合,作者對(duì)矩陣M加入了額外約束.Kostinger等人提出的基于簡(jiǎn)單而且直接策略[24](keep it simple and straight MEtric, KISSME)的度量學(xué)習(xí)算法,通過(guò)直接的方式來(lái)對(duì)模型的參數(shù)進(jìn)行估計(jì)出度量矩陣M,該方法能夠用于大尺度數(shù)據(jù)的學(xué)習(xí),但該方法在訓(xùn)練數(shù)據(jù)不足時(shí),估計(jì)出來(lái)的參數(shù)不準(zhǔn)確.2013年,Pedagadi將局部線(xiàn)性判別分析[25](local fisher discrimination analysis, LFDA)方法用于行人重識(shí)別問(wèn)題,其對(duì)特征進(jìn)行了主成分分析(PCA)的方式,提取不同特征的主要成分.2015年,Chen等人提出了建立相似對(duì)來(lái)進(jìn)行度量學(xué)習(xí)[26],利用給定的相似矩陣進(jìn)行度量學(xué)習(xí),但該方法需要事先給定數(shù)據(jù)集中的相似矩陣,因此當(dāng)數(shù)據(jù)集規(guī)模很大時(shí),該方法會(huì)顯得非常耗時(shí).2016年,Chen等人提出了非對(duì)稱(chēng)特征投影模型[27],該方法可以針對(duì)相機(jī)屬性參數(shù)的不同學(xué)習(xí)出不同的投影矩陣,可以有效地提高識(shí)別的效率,但該方法需要根據(jù)攝像場(chǎng)景的數(shù)目分別學(xué)習(xí)出數(shù)目與之對(duì)應(yīng)的投影矩陣,這必然增加訓(xùn)練時(shí)間與存儲(chǔ)復(fù)雜度.

為解決上述行人重識(shí)別算法的種種不足，本文提出基于樣本距離中心化的相似性度量算法.首先,常用的基于距離學(xué)習(xí)的算法在構(gòu)建訓(xùn)練集時(shí),存在反例樣本數(shù)目遠(yuǎn)多于正例數(shù)目的情況.每個(gè)樣本在構(gòu)建反例時(shí)需要與所有不同樣本的特征向量求特征距離,而在此過(guò)程中會(huì)產(chǎn)生大量冗余的反例特征距離,大大地增加了訓(xùn)練的時(shí)間復(fù)雜度,而LMNN算法中利用構(gòu)建三元組的方法會(huì)丟失一些重要的訓(xùn)練特征距離.因此在求樣本的反例特征距離時(shí),對(duì)同一樣本的不同特征向量進(jìn)行中心化.這樣可以很好地緩解類(lèi)別不平衡帶來(lái)的過(guò)擬合問(wèn)題.另外,對(duì)于同一個(gè)樣本具有較多的類(lèi)內(nèi)樣本時(shí),本文采用局部距離中心化的方法,這樣可以很好地保留一些重要信息.

其次,常用的基于投影矩陣學(xué)習(xí)的方法中投影矩陣維數(shù)較高,帶來(lái)了較大的運(yùn)算和存儲(chǔ)復(fù)雜度.本文對(duì)投影矩陣進(jìn)行特征值分解,將其分解成低秩的投影矩陣.因此在訓(xùn)練時(shí),與其他常用的學(xué)習(xí)整個(gè)投影矩陣不同的是,利用本文所提出的迭代優(yōu)化策略,對(duì)樣本特征的距離向量進(jìn)行更新,獲得新的樣本分布,每次只需要利用更新后的訓(xùn)練集學(xué)習(xí)一組新的投影向量,在滿(mǎn)足目標(biāo)精度時(shí)停止更新,具有較好的降維效果,可以有效地降低運(yùn)算和存儲(chǔ)復(fù)雜度,并且該策略能夠近似地保證矩陣特征值分解后的向量之間應(yīng)該保持正交的特性.

最后,針對(duì)機(jī)器學(xué)習(xí)中常用的基于梯度下降的優(yōu)化方法收斂速度慢、運(yùn)算量大等問(wèn)題,本文在學(xué)習(xí)投影向量時(shí)采用共軛梯度法的方式,該方法只需要計(jì)算一次初始梯度,而且對(duì)于二次函數(shù)具有二次終止性,可以很快地收斂到目標(biāo)精度.

本文提出的針對(duì)行人重識(shí)別常見(jiàn)問(wèn)題的解決方法主要包括3個(gè)部分:

1) 提出(局部)樣本距離中心化的方法來(lái)構(gòu)建訓(xùn)練集；

2) 提出新的迭代策略,只需更新一組近似正交的投影向量；

3) 利用共軛梯度法來(lái)更新投影向量.

1 目標(biāo)函數(shù)的建立

本文將行人重識(shí)別問(wèn)題轉(zhuǎn)化為度量學(xué)習(xí)問(wèn)題,假設(shè)利用特征向量來(lái)代表每個(gè)行人數(shù)據(jù)，將第i個(gè)行人特征向量記為xi∈n,其中n為特征維數(shù).因此可以構(gòu)造訓(xùn)練集為X={(xi,yi),其中yi為第i個(gè)行人的標(biāo)簽,m為所有訓(xùn)練集中所包含的行人數(shù)據(jù)集數(shù)目.對(duì)于任意2個(gè)樣本數(shù)據(jù)集(xa,xb)之間的距離記作dis(xa,xb),假設(shè)樣本(xi,xj)代表同一個(gè)行人的數(shù)據(jù)集(類(lèi)內(nèi)樣本),樣本(xi,xk)代表不同行人的數(shù)據(jù)集(類(lèi)間樣本),則根據(jù)類(lèi)內(nèi)距離小于類(lèi)間距離的原則,有dis(xi,xj)

r(dpost,dnegt)=dpost-dnegt.

(1)

式(1)中的函數(shù)無(wú)界,因此在迭代時(shí)無(wú)法保證收斂,不利于之后的優(yōu)化工作,所以,將其轉(zhuǎn)化為常用的Sigmoid函數(shù),使其具有連續(xù)性：

C(dpost,dnegt)=(1+exp(dpost-dnegt))-1.

(2)

將式(2)中的所有t進(jìn)行連乘并取對(duì)數(shù),然后再取負(fù)數(shù),將式(2)轉(zhuǎn)化為求和問(wèn)題,即可使所有差值向量滿(mǎn)足以上約束：

(3)

在這里,極小化式(1)即等價(jià)于極大化式(2),而極大化式(2)又等價(jià)于極小化式(3).而由于馬氏距離中的馬氏矩陣具有很好的投影性質(zhì)和可學(xué)習(xí)性,因此這里的距離函數(shù)取馬氏距離：

dis(xi,xj)=(xi-xj)TM(xi-xj)，

(4)

度量學(xué)習(xí)就是對(duì)矩陣M進(jìn)行學(xué)習(xí),由于M是半正定對(duì)稱(chēng)矩陣,在這里,將M進(jìn)行特征值分解,將其對(duì)角化,總能找到一組正交基P,使得M=PPT,其正交基數(shù)目可以小于原矩陣M的秩,這樣可以通過(guò)學(xué)習(xí)獲得一個(gè)降維矩陣P∈n×d,該降維矩陣的每一列即可以作為每一組更新后特征空間的投影向量,其中d為降維后的正交基數(shù)目.于是:

(5)

(6)

2 樣本距離中心化與迭代策略

2.1樣本距離中心化

當(dāng)同一目標(biāo)群體里含有較多的樣本時(shí),本文針對(duì)其提出了局部距離中心化的思想,即將每一個(gè)目標(biāo)群體中的較多樣本分為若干個(gè)集合,對(duì)每個(gè)集合依次利用以上的距離中心化的方法.而求正例樣本特征距離仍利用原先的策略來(lái)求解,這樣在一定程度上能夠緩解類(lèi)別不平衡的問(wèn)題,而且不會(huì)損失太多樣本.

Fig. 1 Samples distance centralization (Dataset 3DPeS)圖1 樣本距離中心化(3DPeS數(shù)據(jù)集)

2.2投影向量學(xué)習(xí)算法

采用距離中心化策略后,可以獲得數(shù)量較為平衡的正反例樣本特征分布,以這些特征分布,利用特定的優(yōu)化算法對(duì)目標(biāo)函數(shù)進(jìn)行極小化搜索,以此來(lái)學(xué)習(xí)在這些特征分布下的投影向量,在未達(dá)到總體目標(biāo)精度之前,再利用迭代策略(即式(7))來(lái)更新得到一組新的特征分布,然后再學(xué)習(xí)一組新的投影向量,直到達(dá)到總體目標(biāo)精度為止.通常在機(jī)器學(xué)習(xí)中用的較多的優(yōu)化算法是梯度下降法,梯度下降法是用負(fù)梯度方向?yàn)樗阉鞣较虻?而梯度下降法有越接近目標(biāo)值步長(zhǎng)越小、前進(jìn)越慢等缺點(diǎn),且直線(xiàn)搜索時(shí)可能會(huì)產(chǎn)生一些問(wèn)題.共軛梯度法具有存儲(chǔ)量小、步收斂性、穩(wěn)定性高的特點(diǎn),而且不需要任何外來(lái)參數(shù),因此本文提出了基于共軛梯度法的投影向量學(xué)習(xí)方法.

(7)

則此時(shí)的目標(biāo)函數(shù)的梯度gl為

(8)

而第k步迭代后的投影向量為

(9)

qk=-gk+βk-1qk-1，

(10)

(11)

(12)

2.3特征空間的迭代更新策略

本文通過(guò)迭代更新得到新的特征距離集合(即S),可以得到一組新的特征分布,通過(guò)新的特征分布來(lái)學(xué)習(xí)得到一組近似正交的投影向量pi.這樣,在滿(mǎn)足一定精度要求的前提下可以大大減少運(yùn)算復(fù)雜度,用少量的列向量pi來(lái)構(gòu)造具有很好判別性的度量矩陣M,通過(guò)這種方式可以減少數(shù)據(jù)冗余度,即降噪的效果.

(13)

2.4具體操作步驟

本文在提取得到行人圖像的特征之后,利用2.1節(jié)所提出的局部距離中心化的方法構(gòu)建訓(xùn)練集,然后在該訓(xùn)練集上利用2.2節(jié)與2.3節(jié)的方法來(lái)優(yōu)化投影向量,最后將這些投影向量拼接成投影矩陣并輸出.

算法1. 投影矩陣學(xué)習(xí)算法

輸入:行人特征集X,正則化因子r,擾動(dòng)因子u,目標(biāo)精度εo,投影向量精度εg;

輸出:投影矩陣P=[p1,p2,…,pl];

① 用X構(gòu)建訓(xùn)練集S;

②P=p0=0,l=0;

③ 用式(6)計(jì)算f0;

④ While True

⑤l=l+1;

⑥ 用式(13)更新Sl;

⑧k=0;

⑩ While True

算法1中各個(gè)符號(hào)及字母的含義與前文含義相同，這里不再具體解釋.

Fig. 2 Pedestrian image lists of public datasets圖2 公共數(shù)據(jù)集行人圖像對(duì)

3 實(shí)驗(yàn)與分析

3.1數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

本文采用3種常用公開(kāi)數(shù)據(jù)集VIPeR[29],i-LIDs(MCTS)[30],3DPeS[31],如圖2所示,每組中上下2行代表同一個(gè)行人.其中,VIPeR數(shù)據(jù)集分辨率被規(guī)范化為128×64像素,由632個(gè)行人組成一共1 024張行人圖像,每個(gè)行人都有2張不同的圖像,這2張圖像是從不同攝像機(jī)不同角度拍攝得到的,同一個(gè)人在不同攝像機(jī)下的圖像姿勢(shì)有較大的變化.i-LIDs數(shù)據(jù)集分辨率也是128×64像素,該數(shù)據(jù)集是在機(jī)場(chǎng)入境大廳拍攝得到,一共有119個(gè)行人組成的476個(gè)行人圖像,平均每個(gè)行人有4張行人圖像,由于行人較多,因此行人圖像中不免有些遮擋以及角度等問(wèn)題.3DPeS數(shù)據(jù)集由8個(gè)不同的監(jiān)控?cái)z像機(jī)在不同時(shí)間拍攝得到的,該數(shù)據(jù)集的分辨率并不一樣,由204個(gè)行人共1 012張行人圖像組成,由于該數(shù)據(jù)集有時(shí)間跨度,因此每個(gè)行人數(shù)據(jù)集光照變化大.本文分別將VIPeR數(shù)據(jù)集、i-LIDs數(shù)據(jù)集和3DPeS數(shù)據(jù)集中的200個(gè)行人、59個(gè)行人和134個(gè)行人作為訓(xùn)練集,余下的用作測(cè)試集.

對(duì)于評(píng)價(jià)指標(biāo),本文采用行人重識(shí)別問(wèn)題常用的累計(jì)匹配特性曲線(xiàn)(cumulative match characteristic, CMC)的方式.累計(jì)匹配特性曲線(xiàn)的橫坐標(biāo)是排名(rank),縱坐標(biāo)是匹配率(matching rate),排名為r時(shí)的匹配率表示排序后前r個(gè)行人中匹配正確的概率.其中排名較靠前的匹配率大小更具有實(shí)際意義,因?yàn)樵趯?shí)際應(yīng)用中,不管用什么方法來(lái)解決行人重識(shí)別問(wèn)題,其結(jié)果都是返回若干張與該行人最相似的圖像,這幾張圖像即排名靠前的幾張圖像,因此當(dāng)排名靠前的匹配率較大時(shí),能夠在很大程度上使得返回的結(jié)果中一定有該行人的圖像,從而提高行人重識(shí)別的效率.

為了測(cè)試本文算法的計(jì)算效率,本文的評(píng)價(jià)指標(biāo)除了累計(jì)匹配特性曲線(xiàn),還對(duì)本文算法與其他常用的基于度量學(xué)習(xí)的算法的時(shí)間花銷(xiāo)進(jìn)行對(duì)比,包括訓(xùn)練時(shí)間與測(cè)試時(shí)間.

Fig. 3 Feature extraction of pedestrian images圖3 行人圖像的特征提取

3.2特征表示

本文對(duì)行人圖像分別提取RGB,YCbCr，HSV，Lab，YIQ，Gabor 6種特征,圖3給出了提取一張行人圖像的特征描述的示例.其中前5種特征為顏色空間特征,提取的是直方圖特征,即統(tǒng)計(jì)特征,RGB，YCbCr分別提取全部3組顏色特征,而HSV特征只提取色調(diào)(H)、飽和度(S)特征,Lab特征和YIQ去除像素的亮度特征(即L分量與Y分量),這些待提取的特征全部分為16維直方圖統(tǒng)計(jì)特征.而Gabor特征是一種紋理特征,根據(jù)不同波長(zhǎng)、方向、相位偏移、空間縱橫比、帶寬等分別取16組不同的Gabor濾波器，而每個(gè)濾波器同樣再提取16維直方圖統(tǒng)計(jì)特征.對(duì)于每一張行人圖像,將其在水平方向平均分為6個(gè)水平條帶.因此每個(gè)水平條帶中有28個(gè)特征通道,每個(gè)通道又被表示為16維直方圖向量,因此每幅圖像在特征空間中被表示為2 688維特征向量.

3.3對(duì)比分析

常用的基于度量學(xué)習(xí)的行人重識(shí)別的解決方法有ITML[24](information therotic metric learning)，LMNN[21](large margin nearest neighbor)，KISSME[25](keep it simple and straightforward metric)，PRDC[19](probabilistic relative distance comparison)，LFDA[20](local fisher discriminant analysis)，CVDCA[26](cross-view discriminant component analysis)，RMLLC[27](relevance metric learning method with listwise constraints)等方法.本節(jié)重點(diǎn)比較了這7種方法與本文所提出的方法,利用CMC曲線(xiàn)中的Rank 1，Rank 5，Rank 10，Rank 20所對(duì)應(yīng)的Matching Rate來(lái)比較這7種方法與本文方法的優(yōu)劣.其中,ITML，LMNN以及KISSME三種方法是基于學(xué)習(xí)高維的馬氏度量矩陣的算法,這樣不僅運(yùn)算復(fù)雜度高,而且會(huì)帶來(lái)存儲(chǔ)量較大等問(wèn)題；PRDC方法與本文方法類(lèi)似,其主要以概率相對(duì)距離比較為方法,學(xué)習(xí)出較好的馬氏度量矩陣；LFDA方法主要先利用主成分分析進(jìn)行降維,并對(duì)不同的特征賦予不同的權(quán)重,其主要思想仍然是度量學(xué)習(xí)；CVDCA方法是基于非對(duì)稱(chēng)投影的方式,綜合考慮了不同攝像機(jī)的屬性不同的情況來(lái)學(xué)習(xí)出不同的投影矩陣,但其只適用于訓(xùn)練集中只有2個(gè)攝像場(chǎng)景的情況；RMLLC方法是基于相似對(duì)的方式,可以很好地減少相似但不同行人匹配出錯(cuò)的情況.這幾種方法都未考慮類(lèi)別不平衡的情況,而且都是以學(xué)習(xí)投影矩陣為主要方法,所以這些方法仍然會(huì)有存儲(chǔ)量大、耗時(shí)長(zhǎng)等問(wèn)題.

本文實(shí)驗(yàn)在MATLAB 7.11.0平臺(tái)下完成,實(shí)驗(yàn)環(huán)境為CPU Intel CoreTMi5-4460T 1.90 GHz,內(nèi)存8 GB.在本文方法中,正則化因子r=1、擾動(dòng)因子u=10-3能夠獲得較好的結(jié)果.首先利用本文方法與其他方法在不同的數(shù)據(jù)集上分別進(jìn)行比較.本文對(duì)VIPeR，i-LIDs，3DPeS分別利用局部距離中心化,在求反例樣本距離時(shí),需中心化的同一樣本的不同圖像分別按2個(gè)行人、2個(gè)行人、3個(gè)行人為一個(gè)集合分別進(jìn)行局部距離中心化.在數(shù)據(jù)集VIPeR，i-LIDs，3DPeS上的實(shí)驗(yàn)結(jié)果分別如表1～3所示.

Table 1 Performance Comparison Among Different Methods on Dataset VIPeR (P=432)表1 各種方法在數(shù)據(jù)集VIPeR上的結(jié)果比較(測(cè)試集規(guī)模為432)

Table 2 Performance Comparison Among Different Methods on Dataset i-LIDs (P=60)表2 各種方法在數(shù)據(jù)集i-LIDs上的結(jié)果比較(測(cè)試集規(guī)模為60)

Table 3 Performance Comparison Among Different Methods on Dataset 3DPeS (P=70)表3 各種方法在數(shù)據(jù)集3DPeS上的結(jié)果比較(測(cè)試集規(guī)模為70)

對(duì)于數(shù)據(jù)集VIPeR,每個(gè)行人只有2張行人圖像,從圖2(a)可以看出,該數(shù)據(jù)集給行人重識(shí)別造成困難的因素是拍攝角度等問(wèn)題,而且每個(gè)行人的圖像較少，常用的行人重識(shí)別方法在該數(shù)據(jù)集上的表現(xiàn)一直不是很好.但通過(guò)表1可以看出,本文方法在該數(shù)據(jù)集上的表現(xiàn)比其他常用的行人重識(shí)別方法至少高出10個(gè)百分點(diǎn).除此之外,由于本文方法采用了距離中心化的思想,明顯減少了運(yùn)算量,而且由于共軛梯度法具有快速收斂的特點(diǎn),大大減少了運(yùn)算復(fù)雜度,從表1的最后2列可以看出,本文方法的訓(xùn)練時(shí)間與測(cè)試時(shí)間明顯比其他方法少.因此,本文算法在數(shù)據(jù)集VIPeR上的運(yùn)算效率有了很大的提高.

而對(duì)于數(shù)據(jù)集i-LIDs,通過(guò)圖2可以看出,該數(shù)據(jù)集中的每個(gè)行人由于有較多部分的遮擋,還有一些角度問(wèn)題,這些問(wèn)題給行人重識(shí)別問(wèn)題帶來(lái)了較大的困難,以往常用的方法在該數(shù)據(jù)集上的表現(xiàn)都很一般,而通過(guò)表2可以看出,本文方法比其他表現(xiàn)最好的方法仍然高出大約6個(gè)百分點(diǎn).而且表2中最后2列也可以看出,本文方法的時(shí)間花銷(xiāo)也比其他方法要少.此外,由于i-LIDs數(shù)據(jù)集屬于小規(guī)模數(shù)據(jù)集,對(duì)于一般常用的算法會(huì)出現(xiàn)過(guò)擬合的問(wèn)題,使得識(shí)別效果下降,但本文方法的識(shí)別效果仍然比其他方法要好,因此本文方法緩解了基于學(xué)習(xí)的算法的過(guò)擬合問(wèn)題.

在數(shù)據(jù)集3DPeS上,其對(duì)行人重識(shí)別造成困難的因素是不同攝像機(jī)所攝取的時(shí)間差,因此同一行人的不同圖像會(huì)有明顯的光照區(qū)別.除此之外,該數(shù)據(jù)集對(duì)于同一行人的不同圖像也有角度姿勢(shì)的不同等問(wèn)題.盡管如此,本文方法在該數(shù)據(jù)集上的表現(xiàn)仍然高于其他常用方法,比其他方法至少高9個(gè)百分點(diǎn).算法的訓(xùn)練時(shí)間與測(cè)試時(shí)間也明顯少于其他方法.因此本文方法在該數(shù)據(jù)集上的運(yùn)算效率也有了較大的提高.

其次,本文還在同樣的度量學(xué)習(xí)方法上,將樣本距離中心化后的識(shí)別效果與樣本距離未中心化的識(shí)別效果進(jìn)行了對(duì)比,2種不同策略在3個(gè)數(shù)據(jù)集上的CMC曲線(xiàn)如圖4所示,可以看出,由于樣本距離中心化后能夠很好地緩和過(guò)擬合的風(fēng)險(xiǎn),將樣本距離中心化后的行人重識(shí)別的效果明顯要優(yōu)于未中心化后的識(shí)別效果.可以看出,利用樣本距離中心化后在排名較靠前的匹配率明顯高于樣本距離未中心化的算法,雖然排名靠后的匹配率增長(zhǎng)幅度逐漸降低,但由前面敘述可知,樣本距離中心化后效果的提升更具有實(shí)際意義.而對(duì)于數(shù)據(jù)集中同一目標(biāo)樣本數(shù)量較多的數(shù)據(jù)集3DPeS而言,如果將同一行人的所有不同圖像的特征值全部中心化后會(huì)損失較多的類(lèi)間距離,因此會(huì)使得識(shí)別效果反而有所下降,所以利用局部距離中心化后效果提升的會(huì)比較明顯,其與未利用局部距離中心化的效果對(duì)比如表4所示：

Table 4 Performance Comparison Between Local andGlobal Distance Centralization (3DPeS)

Fig. 4 Performance comparison between feature distance centralization and non-centralization圖4 特征中心化與未中心化的效果比較

4 結(jié) 論

針對(duì)以往的方法中未考慮樣本類(lèi)別不平衡問(wèn)題,本文提出了基于樣本距離中心化的,并使用迭代策略的度量學(xué)習(xí)的行人重識(shí)別方法.相比其他基于度量學(xué)習(xí)方法,本文方法采取的樣本距離中心化能夠很好的去除較多的冗余的類(lèi)間距離,使得類(lèi)內(nèi)距離與類(lèi)間距離的數(shù)量趨于平衡,同時(shí)為了不使反例樣本損失太多,本文在同樣本因此在訓(xùn)練的時(shí)候能夠很好的緩解因類(lèi)別不平衡導(dǎo)致的過(guò)擬合的風(fēng)險(xiǎn).本文的采用的迭代策略能夠很好地減少運(yùn)算以及存儲(chǔ)復(fù)雜度,能使每次優(yōu)化得到的投影向量之間都是近似正交的.而且利用特征值分解的方法與主成分分析(PCA)方法類(lèi)似,除了能夠起到降維的作用,還能達(dá)到去噪的效果.此外,本文運(yùn)用共軛梯度法來(lái)訓(xùn)練投影向量能夠快速的收斂到目標(biāo)精度,由于共軛梯度法的特有性質(zhì),使得訓(xùn)練時(shí)所需的運(yùn)算與存儲(chǔ)復(fù)雜度大大降低.通過(guò)實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),本文提出的方法比其他基于度量學(xué)習(xí)的方法也更具有泛化性,而且訓(xùn)練時(shí)間也比其他基于度量學(xué)習(xí)的方法要短.

[1] Chen Puqiang, Guo Lijun, Zhang Rong, et al. Patch matching with global spatial constraints for person re-identification[J]. Journal of Computer Research and Development, 2015, 52(3): 596-605 (in Chinese)(陳普強(qiáng), 郭立君, 張榮, 等. 基于全局空間約束塊匹配的目標(biāo)人體識(shí)別[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(3): 596-605)

[2] Bazzani L, Cristani M, Perina A, et al. Multiple-shot person re-identification by chromatic and epitomic analyses[J]. Pattern Recognition Letters, 2012, 33(7): 898-903

[3] Ma Bingpeng, Su Yu, Jurie F. Local descriptors encoded by fisher vectors for person re-identification[C] //Proc of the 12th European Conf on Computer Vision. Berlin: Springer, 2012, 7583: 413-422

[4] Zeng Mingyong, Wu Zemin, Tian Chang, et al. Fusing appearance statistical features for person re-identification[J]. Journal of Electronics & Information Technology, 2014, 36(8): 1844-1851 (in Chinese)(曾明勇, 吳澤民, 田暢, 等. 基于外觀統(tǒng)計(jì)特征融合的人體目標(biāo)再識(shí)別[J]. 電子與信息學(xué)報(bào), 2014, 36(8): 1844-1851)

[5] Ma Bingpeng, Su Yu, Jurie F. Covariance descriptor based on bio-inspired features for person re-identification and face verification[J]. Image & Vision Computing, 2014, 32(6/7): 379-390

[6] Kviatkovsky I, Adam A, Rivlin E. Color invariants for person reidentification[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2013, 35(7): 1622-1634

[7] Fan Caixia, Zhu Hong, Lin Guangfeng, et al. Person re-identification based on multi-features[J]. Journal of Image and Graphics, 2013, 18(6): 711-717 (in Chinese)(范彩霞, 朱虹, 藺廣逢, 等. 多特征融合的人體目標(biāo)再識(shí)別[J]. 中國(guó)圖象圖形學(xué)報(bào), 2013, 18(6): 711-717)

[8] Wu Ziyan, Li Yang, Radke R J. Viewpoint invariant human reidentification in camera networks using pose priors and subject discriminative features[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2014, 37(5): 1095-1108

[9] Li Wei, Wang Xiaogang. Locally aligned feature transforms across views[C] //Proc of the 2013 IEEE Conf on Computer Vision and Pattern Recognition(CVPR). Piscataway, NJ: IEEE, 2013. 4321-4328[10]Zhao Rui, Ouyang Wanli, Wang Xiaogang. Learning mid-level filters for person re-identification[C] //Proc of the 2014 IEEE Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2014. 144-151

[11] Qi Meibin, Tan Shengshun, Wang Yunxia, et al. Multi-feature subspace and kernel learning for person re-identification[J]. Acta Automatica Sinica, 2016, 42(2): 299-308 (in Chinese)(齊美彬, 檀勝順, 王運(yùn)俠, 等. 基于多特征子空間與核學(xué)習(xí)的行人再識(shí)別[J]. 自動(dòng)化學(xué)報(bào), 2016, 42(2): 299-308)[12]Kostinger M, Hirzer M, Wohlhart P, et al. Large scale metric learning from equivalence constraints[C] //Proc of the 2012 IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 2288-2295

[13] Li Zhen, Chang Shiyu, Liang Feng, et al. Learning locally adaptive decision functions for person verification[C] //Proc of the 2013 IEEE Conf on Computer Vision and Pattern Recognition(CVPR). Piscataway, NJ: IEEE, 2013: 3610-3617

[14] Du Yuning, Ai Haizhou. A statistical inference approach for person re-identification[J]. Journal of Electronics and Information Technology, 2014, 36(7): 1612-1618 (in Chinese)(杜宇寧, 艾海舟. 基于統(tǒng)計(jì)推斷的行人再識(shí)別算法[J]. 電子與信息學(xué)報(bào), 2014, 36(7): 1612-1618)

[15] Ma Lianyang, Yang Xiaokang, Tao Dacheng. Person re-identification over camera networks using multi-task distance metric learning[J]. IEEE Trans on Image Process, 2014, 23(8): 3656-3670

[16] Lisanti G, Masi I, Bagdanov A D, et al. Person re-identification by iterative re-weighted sparse ranking[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2015, 37(8), 1629-1642

[17] Nguyen H V, Bai L. Cosine similarity metric learning for face verification[C] //Proc of the 10th Asian Conference on Computer Vision(ACCV). Berlin: Springer, 2010: 709-720

[18] Loy C C, Liu Chunxiao, Gong Shaogang. Person re-identification by manifold ranking[C] //Proc of the 20th IEEE Int Conf on Image Processing (ICIP). Piscataway, NJ: IEEE, 2013: 3567-3571

[19] Weinberger K Q, Saul L K. Distance metric learning for large margin nearest neighbor classification[J]. Journal of Machine Learning Research, 2009, 10(2): 207-244

[20] Weinberger K Q, Saul L K. Fast solvers and efficient implementations for distance metric learning[C] //Proc of the 25th Int Confe on Machine Learning. New York: ACM, 2008: 1160-1167

[21] Dikmen M, Akbas E, Huang T S, et al. Pedestrian recognition with a learned metric[C] //Proc of the 10th Asian Conf on Computer Vision. Queenstown, Berlin: Springer, 2010, 6495: 501-512

[22] Davis J V, Kulis B, Jain P, et al. Information theoretic metric learning[C] //Proc of the 24th Int Conf on Machine Learning. New York: ACM, 2007: 209-216

[23] Zheng Weishi, Gong Shaogang, Xiang Tao. Person re-identification by probabilistic relative distance comparison[C] //Proc of the 2011 IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2011: 649-656

[24] Kostinger M, Hirzer M, Wohlhart P, et al. Large scale metric learning from equivalence constraints[C] //Proc of the 2012 Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2012: 2288-2295

[25] Pedagadi S, Orwell J, Velastin S. Local fisher discriminant analysis for pedestrian reidentification[C] //Proc of the 2013 IEEE Conf on Computer Vision and Pattern Recognition (CVPR). Piscataway, NJ: IEEE, 2013: 3318-3325

[26] Chen Jiaxin, Zhang Zhaoxiang, Wang Yunhong. Relevance metric learning for person reidentification by exploiting listwise similarities[J]. IEEE Trans on Image Processing, 2015, 24(12): 4741-4755

[27] Chen Yingcong, Zheng Weishi, Lai Jianhua, et al. An asymmetric distance model for cross-view feature mapping in person re-identification[J]. 2016[2017-03-20]. http://ieeexplore.ieee.org/document/7373616/

[28] Zheng Weishi, Gong Shaogang, Xiang Tao. Reidentification by relative distance comparison[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2013, 35(3): 653-668

[29] Gray D, Tao Hai. Viewpoint invariant pedestrian recognition with an ensemble of localized features[C] //Proc of the 10th European Conf on Computer Vision. Berlin: Springer, 2008, 5302: 262-275

[30] Zheng Weishi, Gong Shaogang, Xiang Tao. Associating groups of people[C] //Proc of the 20th British Machine Vision Conf (BMVC). Piscataway, NJ: IEEE, 2009: 1-11[31]Baltieri D, Vezzani R, Cucchiara R. 3DPeS: 3D people dataset for surveillance and forensics[C] //Proc of Joint ACM Workshop on Human Gesture and Behavior Understanding. New York: ACM, 2011: 59-64

PersonRe-IdentificationBasedonDistanceCentralizationandProjectionVectorsLearning

Ding Zongyuan1, Wang Hongyuan1, Chen Fuhua2, and Ni Tongguang1

1(SchoolofInformationScienceandEngineering,ChangzhouUniversity,Changzhou,Jiangsu213164)2(DepartmentofNatureScienceandMathematics,WestLibertyUniversity,WestLiberty,WestVirginia,USA26074)

Existing projection-based person re-identification methods usually suffer from long time training, high dimension of projection matrix, and low matching rate. In addition, the intra-class samples may be much less than the inter-class samples when a training data set is built. To solve these problems, this paper proposes a distance-centralization based algorithm for similarity metric learning. When a training data set is to be built, the feature values of a same target person are centralized and the inter-class distances are built by these centralized values, while the intra-class distances are still directly built from original samples. As a result, the number of intra-class samples and the number of inter-class samples can be much closer, which reduces the risk of overfitting because of class imbalance. In addition, during learning projection matrix, the resulted projection vectors can be approximately orthogonal by using a strategy of updating training data sets. In this way, the proposed method can significantly reduce both the computational complexity and the storage space. Finally, the conjugate gradient method is used in the projection vector learning. The advantage of this method is its quadratic convergence, which can promote the convergence. Experimental results show that the proposed algorithm has higher efficiency. The matching rate can be significantly improved, and the time of training is much shorter than most of existing algorithms of person re-identification.

person re-identification; distance centralization; metric learning; projection vectors; conjugate gradient method

yuan, born in 1960.

his PhD degree from Nanjing University of Science and Technology in 2004. Professor and master supervisor at Changzhou University. His main research interests include image processing, artificial intelligence and pattern recognition.

Ding Zongyuan, born in 1991. Master candidate at Changzhou University. Member of CCF. His main research interests include image processing and pattern recognition.

Chen Fuhua, born in 1966. Received his PhD degree from Nanjing University of Science and Technology in 2003. Associate professor at Westliberty University. His main research interests include variation image segmentation and inverse problems.

Ni Tongguang, born in 1978. Received his PhD degree from Jiangnan University in 2015. Lecturer at Changzhou University. His main research interests include pattern recognition, intelligent computation and their application.

2017-01-12；

：2017-05-16

國(guó)家自然科學(xué)基金項(xiàng)目(61572085,61502058) This work was supported by the National Natural Science Foundation of China (61572085, 61502058).

王洪元(hywang@cczu.edu.cn)

TP391.41