基于熵劃分子模式典型相關分析的步態識別

羅璨，徐萬江，朱燦焰

（蘇州大學城市軌道交通學院，江蘇蘇州215137）

基于熵劃分子模式典型相關分析的步態識別

羅璨，徐萬江，朱燦焰

（蘇州大學城市軌道交通學院，江蘇蘇州215137）

步態識別的準確性容易受到衣著類型及攜帶背包等局部變化的影響。針對這一問題，首先提出一種基于局部信息熵值的子模式劃分方法；然后對正常行走和局部變化兩種狀態下的每一對子特征進行典型相關分析，得到多個最佳投影矩陣對，并將子特征分別投影到基于上述最佳投影矩陣對的特征子空間中；最后以整體相關系數作為分類依據，以減小局部變化對于整體識別結果的影響。在CASIA_B數據庫上的實驗表明在所有視角下所提算法都能取得較好的性能。

步態識別；局部變化；信息熵；子模式；典型相關分析

早期的醫學研究表明：人的步態具有24種不同的成分，如果把這24種成分都充分加以考慮，則可認為步態具有個體唯一性［1］，因此可以用于人的身份識別。相對于其他生物特征如：指紋、虹膜、人臉等，步態特征具有無侵犯性、易于采集、難以隱藏、可遠距離識別的特點。現有的步態識別方法大體可以分為兩類：模型方法和非模型方法。Hu Ng指出：模型方法為人體結構或者動作精確建模并對行走序列的每一幀圖像進行模板匹配，最后度量模型的一些參數例如軌跡等。模型方法的難點在于模板匹配和特征提取，計算代價較高。而非模型方法計算量和數據存儲量都較少，因而應用更為廣泛。

目前有很多非模型步態識別方法使用步態能量圖（GEI）表示步態特征，除此之外Bashir等人提出了步態能量熵圖（GEnI）來表示步態，該方法在最小化步態特征的靜態成分的同時最大化了動態成分的影響。在正常情況下，GEnI的效果優于GEI，但是當類內變化比較大時，GEI效果較好。一些經典的算法例如主成分分析（PCA）、線性鑒別分析（LDA）以及K近鄰分類（K_NN）等已經廣泛應用于步態識別中。

然而，當存在一些局部變化例如衣著類型變化或者攜帶物品時，步態識別的準確性將受到一定影響［2］。為了解決這一問題，Bashir等人提出了監督和非監督的特征選擇方法，用于從步態能量圖中提取出最相關和有效的特征［3］；Yu等人對未知位置的局部變化的影響進行了建模并提出了一種基于隨機子空間的分類方法［4］。此外，Ben等人提出了一種新的耦合距離度量學習方法（CML），該方法保留了局部信息，并且得到一個最佳描述潛在流型結構的特征子空間［5］。之后，Wang等人將標簽信息結合到分類標準中，改進了傳統CML方法的性能［6］。然而CML方法存在過擬合的問題，學習到的投影矩陣對不具備普遍適用性，因此當測試樣本相對于訓練樣本發生很大變化時，識別率將下降。

文中提出了使用典型相關分析（CCA）來學習同一樣本的正常行走序列與局部變化序列之間的關系。CCA方法學習到的投影矩陣對具有普遍適用性，即使測試樣本與訓練樣本差別很大，仍能獲得較高的識別率。然而在將CCA方法應用到步態識別這個高維小樣本問題時，將面臨以下幾個問題：1）小樣本特性使CCA兩組特征矢量構成的總體協方差矩陣奇異，難以直接應用；2）CCA作為一種全局線性投影方法，不能很好地描述非線性的步態識別問題；3）作為一種整體方法，當存在衣著變化或者攜帶物品等局部變化時，缺乏識別魯棒性。因此，本文將CCA方法與子模式方法相結合，解決了CCA方法在步態識別中存在的小樣本以及對局部變化缺乏魯棒性的問題。同時，根據信息熵值劃分子模式，使用每一組子特征進行局部分類，然后對多個局部相關系數進行加權得到整體相關系數，作為最終的分類依據，從而抑制了局部變化對于整體識別效果的影響，即使某個子塊存在明顯的局部變化如衣著變化或者攜帶背包等，導致識別結果錯誤的可能性也明顯降低。

1　子模式典型相關分析算法

為提高局部變化情況下步態識別的準確性，本文算法的基本思想為：首先將步態能量圖按照局部信息熵值進行分塊，每一塊作為一個子模式，將局部變化的影響局限在某一個或者某幾個子模式中；然后對訓練集中正常行走和局部變化情況下的每一對子特征進行典型相關分析，獲得最佳投影矩陣對；接著將測試集中兩種情況下的每一對子特征分別投影到基于上述最佳投影矩陣對的特征子空間中；最后使用K近鄰分類方法，將相關系數作為分類依據。算法的流程圖如圖1所示。

圖1　本文算法流程圖

1.1子模式提取

步態識別的很多現有工作都是以步態輪廓序列在一個步態周期上的平均即步態能量圖（GEI）為初始特征的。

如圖2所示，（a）、（c）、（d）和（e）中，（e）和（b）最相近，這很有可能導致識別結果的錯誤，由此可見，步態能量圖容易受到局部變化例如攜帶物體或者衣著類型變化的影響。然而由于這些局部變化只發生在一定區域內，所以可將步態能量圖進行分塊，以盡量減小局部變化對于整體識別效果的影響。

圖2　對象A在正常行走（a）、攜包行走（b）、衣著變化（c）、視角變化（d）狀態及對象B在攜包行走（e）狀態下的GEI圖

首先，本文提出一種新方法，用于表示所有樣本的步態序列在局部位置的動態變化程度。該方法計算出所有樣本的步態能量圖對應的信息熵圖，定義為：

如圖3所示，信息熵圖中像素值越大的區域包含越多的動態信息，不同樣本在該區域的可區分度越高。因此，考慮將樣本的步態能量圖按照局部信息熵值進行分塊，每一塊作為一個子模式，以盡量減小局部變化對于整體識別結果的影響。

圖3　所有樣本的步態能量圖對應的信息熵圖

如圖4所示，經過分塊后，局部變化的影響主要存在于子模式1中，導致識別結果錯誤的可能性明顯降低。

1.2子模式典型相關分析

典型相關分析方法由H.Hote11ing在1936年提出［7］。Bashir將該方法應用到了多視角步態識別中，建立了多個視角下步態特征的聯系。本文同樣采用該方法，在對正常行走狀態和局部變化情況下的訓練樣本進行子模式提取后，可以得到L對特征子集TrainiN和TrainiC（i=1，2，…，L），分別對每一對特征子集進行典型相關分析，過程如下：

圖4　根據局部信息熵值對步態能量圖進行分塊

最佳投影矩陣對定義為：

至此，最佳投影矩陣對的求解問題已轉化為求解矩陣的特征值_特征向量問題。對所有的訓練集對1，2，…L）進行典型相關分析，即可得到一組用于特征提取的最佳投影矩陣對

1.3分類

給定一個未知測試對象在局部變化情況下的步態序列，按照1.1中的方法獲得其步態能量圖V，并以同樣的方式將其步態能量圖劃分為L個子圖像，將每個子圖像重組為列向量模式，即可得L個子樣本v1，v2，…，vi（i=1，2，…，L）。

首先，分別計算測試對象第i個子樣本vi與正常行走狀態下的子樣本集中的每一個子樣本投影到對應的特征子空間后得到的低維特征矢量之間的相關系數ρij。

然后定義未知測試對象與樣本集第j個對象的相關系數為：

其中ω1，ω2，…，ωL為權重系數，如圖3所示，因為局部變化的影響主要存在于子模式1中，所以應當減小ρ1j的權重，而增加其他子模式對應的權重ω1，以減小局部變化對整體識別結果的影響。

最終，未知圖像的分類結果為：

2　實驗結果及分析

實驗在中國科學院自動化所提供的CASIA步態數據庫中的B數據集上進行［8］。CASIA（B）步態數據庫包括124個對象在0°、18°…180°等11個視角下的多個步態序列。在每個視角下，每個對象對應2個攜包序列、2個穿著大衣序列以及6個正常行走的序列，因此該數據庫覆蓋了大部分實際情況。

為了將所提算法與BEN提出的耦合距離度量學習（CML）方法［5］進行比較，首先需要保持實驗條件一致：在每個視角下選擇步態數據庫中124個對象的1個正常行走序列和1個局部變化序列構成訓練集，該正常行走序列與另外1個局部變化序列構成測試集。如圖5所示，所提算法性能與CML方法相當。而由于訓練集與測試集中的局部變化序列很相近時，分塊會對識別準確率產生一定干擾，因此在部分視角下，CML方法和CCA方法識別正確率較高。

值得一提的是，當測試集與訓練集差異很大，例如測試對象與訓練對象不同時，由于CML方法存在過擬合的問題，因此其性能將顯著下降，而本文算法仍然能夠取得較高的識別準確率。

為了將所提算法與其他經典方法進行比較，選擇前62個對象的2個正常行走序列和2個局部變化序列構成訓練集，后62個對象的2個正常行走序列和2個局部變化序列構成測試集。需要說明的是，因為正面和背面視角下的步態提供的信息很有限，所以在這兩個視角下的實驗結果可能并不能說明問題。

攜包情況下各種方法在各個視角下的識別率如圖6所示，從圖中可以看出，本文算法在各個視角下的識別準確率比較穩定，平均識別率高達70.01%，在側面視角下達到了70.96%，相對于其他算法有了明顯的提高。

圖5　所提算法與CML方法比較

圖6　攜包情況下本文算法與其他經典算法的比較

衣著變化情況下各種方法在各個視角下的識別率如圖7所示，所提算法的平均識別率為48.46%，在側面視角下識別率達到47.58%，相對于其他算法在各個視角下均有明顯的提高。

其他文章中的很多實驗都是在側面視角下進行的，因此值得一提的是，所提算法顯著提高了存在局部變化時側面視角下的識別率。總得來說，在各個視角下，所提算法都明顯提高了存在局部變化時的識別準確率。

圖7　衣著變化情況下本文算法與其他經典算法的比較

3　結束語

針對步態識別準確率會受到攜帶物品或者衣著類型等局部變化影響的問題，本文提出根據局部信息熵值將樣本的步態能量圖分塊得到多個子模式，以將局部變化的影響局限在一個或者幾個子模式中。在訓練過程中，對于訓練集中正常行走情況和局部變化情況下的每一對子樣本進行典型相關分析，得到多個最佳投影矩陣對。然后在測試過程中，將測試集中兩種情況下的每一對子樣本分別投影到基于上述最佳投影矩陣對的特征子空間中，以達到提取同一個測試對象在正常行走和局部變化兩種不同情況下的本質特征，同時剔除不同測試對象在同一種行走情況下的相同特征的目的。最后使用K近鄰分類方法進行分類，以整體相關系數作為分類依據，整體相關系數為多個局部相關系數的加權和，以減小局部變化對于整體識別結果的影響。在CASIA_B數據庫上的實驗表明在所有視角下所提算法都能取得較好的性能。

［1］Ka1e A，Sundaresan A，Rajagopa1an A N.Identification of humans using gait［C］//IEEE Transactions on Image Processing，2004，13（9）：1163_1173.

［2］Bou1gouris N V，Hatzinakos D，P1ataniotis K N.Gait recognition：a cha11enging signa1 processing techno1ogy for biometric identification［C］//IEEE Signa1 Processing Magazine，2005，22（6）：78_90.

［3］Bashir K，Xiang T，Gong S.Feature se1ection on gait energy image for human identification［C］//2008 IEEE Internationa1 Conference on Acoustics，Speech and Signa1 Processing，2008：985_988.

［4］Guan Y，C Li，Fabio R.On reducing the effect of covariate factors in gait recognition：a c1assifier ensemb1e method［C］// 2013 2nd Internationa1 Conference on Advances in E1ectrica1 Engineering（ICAEE 2013），2003：411_414.

［5］Ben X，Meng W，Yan R，et a1.An improved biometrics tech_ nique based on metric 1earning approach［C］//Neurocomputing，2012，97（1）：4_51.

［6］Kejun W.Coup1e Metric Learning Based on Separab1e Criteria with Its App1ication in Cross_View Gait Recognition. Biometric Recognition［M］.Springer Internationa1 Pub1ishing，2014：347_356.

［7］Hote11ing H.Re1ations between two sets of variates.Biometrika，1936：321_377.

［8］Yu S，Tan D，Tan T.A Framework for Eva1uating the Effect of View Ang1e，C1othing and Carrying Condition on Gait Recognition［C］//2006 IEEE Internationa1 Conference on Pattern Recognition 2006：441_444.

Galt recognltlon based on entroPy-sub-Pattern canonlcal correlatlon analysls

LUO Can，XU Wan_jiang，ZHU Can_yan
（School of Urban Railway Transportation，Soochow University，Suzhou 215137，China）

Gait recognition wou1d be great1y affected by some covariate factors inc1uding c1othing type and carrying objects. Finding an approach robust to these covariate factors is the most cha11enging prob1em.In this paper，we propose a method based on canonica1 corre1ation ana1ysis（CCA）to mode1 the corre1ation between gait sequences on two different wa1king conditions.GEIs are partitioned into severa1 parts based on 1oca1 information entropy va1ue，with each part se1ected as a sub_pattern. Each pair of sub_pattern are projected onto two 1earned feature subspaces in which the two transformed gait data sets are optima11y corre1ated based on CCA.Fina11y，to reduce the effect of the covariate factors，overa11 corre1ation strength is used as simi1arity measure.Experiment resu1ts on CASIA_B gait database show that our proposed method outperforms other c1assica1 methods over a11 views.

gait recognition；covariate factors；information entropy；sub_pattern；canonica1 corre1ation ana1ysis

TN911.73

A

1674_6236（2016）10_0001_04

2015_07_14稿件編號：201507104

國家自然科學基金項目（NSFC 61071214）

羅璨（1991—），女，江蘇淮安人，碩士研究生。研究方向：模式識別與機器學習。