視頻下的正面人體身份自動識別

賁晛燁，王科俊，馬慧，4

(1.山東大學信息科學與工程學院，山東 濟南250100;2.哈爾濱工業大學 交通科學與工程學院，黑龍江 哈爾濱150090;3.哈爾濱工程大學 自動化學院，黑龍江 哈爾濱 150001;4.黑龍江大學 電子工程學院，黑龍江 哈爾濱150086)

美國國防部高級研究項目署在2000年資助的遠距離身份識別計劃中，主要開發多模式、大范圍的視覺監控以實現遠距離人的檢測、分類與識別.國內的中科院自動化所模式識別國家重點實驗室最早就“基于步態的身份識別”問題展開研究.步態識別在門禁系統、安全監控、人機交互、醫療診斷等領域具有廣泛的應用前景和經濟價值，因此激發了國內外科研工作者的研究熱情[1].

至今未見成型的步態識別系統，現有研究僅停留在理論上.為了實現實時自動步態識別，設計了一套遠距離視頻下正面人體身份自動識別系統.步態是大范圍的生物特征，當個體與攝像機的距離較遠時，能夠獲得步態信息;人臉是小范圍的生物特征，當人臉圖像的分辨率足夠高時，人臉信息是有效的.步態和人臉都可以通過攝像機采集，都是視覺上的線索，不需要額外的傳感器設備.步態和人臉也是相互獨立的互補特征:步態特征容易受到外套變化、鞋子、負載和身體狀況的影響，而這些因素不會影響到人臉特征;人臉特征容易受到胡須、眼鏡、化妝、發型、光照、表情和姿態變化的影響，但是這些因素對步態沒有影響.因此將步態和人臉的特征進行融合可以提高身份識別的性能.考慮到Constantine等[2]使用Adaboost方法對物體檢測提出了一個整體框架，Oren等[3]使用 Haar小波進行行人檢測，P.Viola[4]提出了一種基于 Haar特征的 Adaboost算法，己達到實時的要求，并且Rainer等采用積分圖[5]進一步降低計算成本，因此本文也將Adaboost方法嵌入到自動身份識別系統中.目前已存在的步態周期檢測方法[6-11]主要是通過分析人體寬度信號或區域像素點數來實現的.但這些方法都是針對側面步態提出的，對正面步態的周期性判斷不準，因此提出根據下臂搖擺區域確定步態周期的方法，該方法對正面步態周期檢測準確、計算量小，適用于實時的步態識別系統.首先用Adaboost算法檢測行人，若檢測到，便自動開啟Adaboost人臉檢測模塊，并加以膚色驗證模塊判斷，同時對步態序列圖像進行預處理，以便進行步態周期檢測，將人臉圖像統一歸一化到32×32像素大小，步態能量圖(gait energy image，GEI)為64×64像素大小，然后分別采用核主成分分析(kernel principal component analysis，KPCA)進行特征提取，最后識別時采用計分的決策級融合方法.

1 行人檢測與人臉檢測

1.1 Adaboost檢測人臉模塊以及膚色驗證

將Adaboost與積分圖的Haar-like特征結合檢測人臉[4]，并采用矩形特征(如圖1所示).Adaboost分類器是由多層弱分類器級聯而成，從第1層分類器出來的正確結果觸發第2層分類器，從第2層出來的正確結果觸發第3層分類器，以此類推;相反，從任何一個結點輸出的被否定的結果都會導致對這個子窗口的檢測立即停止.通過設置每層的閾值，使得絕大多數人臉都能通過，非人臉不能通過，這樣靠近級聯分類器后端的層拒絕了大部分的非人臉.

檢測結果如圖2所示，正方形框為檢測到的人臉區域.這里存在檢測錯誤的情況，因為視頻場景中的某些區域類似于人臉的局部特征，眼睛部位的“黑白黑”與定標帶十分相近.若保留這些樣本，對遠距離的身份識別不利.筆者發現，錯誤檢測的人臉與真實人臉相差甚遠，人肉眼很容易區分，因此可以采用膚色模型對人臉區域加以驗證.不同種族、不同年齡、不同性別的人的膚色看起來存在差異，這個差異主要體現在亮度上，當去除亮度，膚色就具有很高的聚類性，選取YCbCr色彩空間，歸一化色度直方圖后假定膚色滿足二維高斯模型:

式中:m為均值，C 為協方差矩陣，x=[CbCr]T.

圖1 使用的矩形特征Fig.1 Rectangle features used

圖2 檢測錯誤的人臉情況Fig.2 Error face detection case

通過式(1)得到膚色似然圖像，使用Ostu法求出最佳二值化閾值，從而區分出人臉與非人臉.Adaboost算法加上膚色模型驗證的結果如圖3所示.

圖3 加入膚色驗證的檢測結果Fig.3 Detection results of adding skin color verification

1.2 Adaboost行人檢測模塊

設置Adaboost行人檢測模塊的目的在于該系統能夠觸發自動開啟正面步態周期檢測模塊和人臉檢測模塊.Adaboost行人檢測模塊的設計思想與Adaboost人臉檢測基本一致，選用的也是矩形特征，由于想要實現的是正面行人檢測，因此沒有選擇“三角特征”.單純的Adaboost行人檢測也會出現誤檢情況，如圖4所示，長方形框為檢測人體的結果，圖中支架也被檢測為人體，這是因為支架的“腿”與人的腿部形狀類似.因此需要驗證環節，鑒于步態識別的研究對象是行人的姿態，必然是運動個體，而支架始終是靜止不動的，假定室內光線不會出現急劇的變化，將相鄰2幀圖像中的人體中各像素點的RGB值按式(2)進行運算:

式中:r1、g1、b1和 r2、g2、b2分別為相鄰 2 幀的圖像中待處理像素點的RGB值.把當前圖像的E(R)和預設閾值T進行比較，當E(R)＞T時，認為其區域屬于步態區域，人體檢測的長方形框給予保留;反之，當E(R)≤T時，則認為其區域屬于非步態區域，其中E(*)表示期望.針對CASIA(B)的視頻，考慮一定的光照影響，選擇T=20.Adaboost加上差分驗證的實驗結果如圖5所示.

圖4 人體檢測錯誤的情況Fig.4 Error human detection case

圖5 加入差分驗證的檢測結果Fig.5 Detection results of adding difference verification

2 正面步態的周期檢測

步態周期定義為同一只腳連續2次腳跟觸地的時間間隔[12].在進行步態識別時，通常提取1個步態周期或多個步態周期的平均來進行分析.因為在1個周期內比較，一方面能夠消除圖像序列長度不同造成的影響;另一方面，也能夠降低特征提取、分類識別的運算復雜度.

現有的步態周期檢測方法對正面步態檢測無效.針對于此，提出一種基于人體身高比例的步態周期檢測方法.解剖學中，利用人體的正面影像抽取人體的骨架，假設H表示人體身高，則各部分肢體占人體的比例關系[13]如圖6所示.

基于人體身高比例的步態周期檢測方法是統計下臂搖擺區域的像素數目的逐幀變化.具體方法如下:設累計區域像素值為NH，找到NH的一個局部極小值(極大值)，然后按順序向后查找NH的第3個極小值(極大值)，記下這2幀圖像在序列中的幀號，則2幀中間的時間就是一個步態周期.采用文獻[14]的步態預處理方法，將人體居中，大小歸一化到64×64像素大小，進行正面步態的周期檢測.圖7為采用下臂搖擺區域(即圖像平面的第25～29行)測試正面步態周期的檢測結果.

圖6 部分肢體占身高比例Fig.6 Height ratios of the various parts of the human body

圖7 根據下臂搖擺觀測步態的周期性曲線Fig.7 Measured gait period characteristic curves based on lower swinging arm region

3 實驗結果與分析

實驗采用CASIA(B)步態數據庫上的正面視角樣本庫，該庫包含124個人，選擇正常步態作為研究對象.實驗分為2個階段:訓練階段和識別階段.訓練時，讀入視頻文件，首先采用Adaboost方法和差分驗證進行行人檢測，一旦檢測到存在運動人體，便自動開啟步態周期檢測模塊和人臉檢測模塊(包含Adaboost人臉檢測模塊和膚色驗證).由于遠距離情況下，人臉區域很小，主要以步態特征作為身份識別的依據，人臉為輔助特征.然后將人臉圖像歸一化到32×32像素大小，通過對檢測到的一個周期的步態圖像加權平均生成GEI，即

式中:Bt(x，y)為步態單幀圖像，N是步態周期的長度，t為時間，x、y為二維圖像平面坐標.

采用KPCA方法分別進行步態和人臉的特征提取，通過核映射升維，使原輸入數據在Rn空間中線性不可分的模式在特征空間F中可能變得線性可分.文中并沒有采用基于矩陣的核主成分分析方法(如核二維主成分分析 K2DPCA)，這是因為K2DPCA 定義的圖像矩陣 Ai(Ai∈Rm×n，i=1，2，…，M)的核映射為

3.1 單獨步態特征

由于CASIA(B)庫中每人有6個樣本，分別選擇前5、4、3、2個樣本和單樣本訓練，余下的樣本采用最近鄰分類器(NN)來測試識別.實驗結果如圖8所示，其中:fn表示前n個樣本訓練，sn表示單獨第n個樣本訓練.

圖8 單獨步態特征的識別結果Fig.8 Recognition results using gait features individually

從圖8中可以發現，當特征維數等于樣本數時，有最佳識別率;當保留特征的維數減少時，識別率下降;當特征維數相等時，每一類提供的訓練樣本越多，識別率就越高;單樣本訓練的識別率較多樣本訓練下降得很多，因為一個樣本存在很大的局限性與特殊性，而且如果沒有先驗知識，也很難做到通過一個樣本去擴充生成多個樣本.前5個樣本訓練時得到的識別精度為95.97%，此時的特征維數為110維;而單樣本訓練的平均識別精度為88.52%，特征維數保持在124維.

3.2 人臉特征輔助步態特征

當存在多個訓練樣本時，識別性能較好，但是一旦出現訓練樣本只有1個時，識別率會大大降低，所以針對此問題，采用人臉特征輔助步態特征進行遠距離視頻下的正面人體身份自動識別任務，分別采用KPCA對GEI和人臉灰度特征進行特征提取，識別時采用文獻[17]中的計分法對2組特征在決策級進行融合，計分方法如式(3):

式中:X是待識別樣本;Xi是待識別樣本X的第i種特征;wi是一個權值，其值來自利用第i種特征識別時的識別率，是一個先驗概率;μj(Xi)表示待識樣本X利用第i種特征對第j類的隸屬度:

式中:b＞1是一個可以控制聚類結果的模糊程度的常數，通過實驗選取b=1.5;k為總的類別數;cij為利用第i種特征的第j類的聚類中心，且cij通過K-均值聚類方法得到.若c=argjm ax Score(X，j)，則 X 屬于類c.

在單樣本訓練步態識別中，為了驗證人臉特征輔助步態特征的有效性，采用上述決策級融合方法在CASIA(B)庫上進行實驗.實驗結果如表1所示，人臉特征輔助步態特征識別與單獨的步態特征相比，正確識別率可以提高2.4個百分點.輔助人臉特征的優點在于，即使步態訓練樣本是單樣本，而人臉圖像是多個的，這樣便從另外一個角度擴充了訓練樣本的數目，有助于身份識別.

表1 人臉特征輔助步態特征識別的性能(CASIA(B))Table 1 Recognition performance using gait features assisted by face features(CASIA(B))

仍然在單樣本訓練的步態識別中驗證人臉特征輔助步態特征進行身份識別的有效性，采用上述決策級融合方法在CASIA(A)庫[18]的正面步態條件下進行實驗.該庫含有20個人，每個人4個序列，與CASIA(B)的采集環境不同:(A)庫是室外環境，(B)庫是室內環境.實驗結果如表2所示，以單步態樣本為訓練樣本的平均識別率為87.92%，融合人臉后的平均識別率為90.84%，與單獨采用步態信息相比提高了2.92個百分點.

表2 人臉特征輔助步態特征識別的性能(CASIA(A))Table 2 Recognition performance using gait features assisted by face features(CASIA(A))

3.3 與現有方法的比較

筆者在前期的工作提出了組合投影[19]、線性插值[20]、GEI[21]、子模式 GEI[14]和能量信息融合[17]等算法，現在將這些算法應用到 CASIA(B)和CASIA(A)中，測試單樣本訓練的步態識別的平均識別率.實驗結果如表3所示，可以看出，本文提出的算法的識別率遠遠高于前期工作的識別率，這是因為本文是采用的核方法來提取步態特征，核方法可以使原始空間中線性不可分的模式在特征空間中變得線性可分;除了步態特征以外，還融合了人臉特征，大大地提高了身份識別的識別性能.文獻[22-23]同樣采用了正面步態特征進行身份識別，將本文方法與以上2種具有代表性的方法——三維中心矩[22]和曲線展開[23]方法進行比較，可以看出步態識別融合人臉識別確實對身份識別卓有成效.

表3 本文方法與其他方法的比較Table 3 Comparison with other algorithms and our method

4 結束語

本文研究了視頻下人體身份自動識別系統研發中，有關檢測和識別算法等方面的關鍵性技術.提出的根據下臂搖擺區域確定步態周期的方法對正面步態周期檢測準確，克服了傳統的步態周期檢測算法只適用于分析側面視角下的步態的不足，而且所提出的算法計算量小，適用于實時的步態識別系統.本文給出了視頻下身份識別新的解決思路，即通過人臉特征輔助步態特征在決策級的計分融合方法來實現.在單樣本的步態識別中，融合人臉特征可以提高識別精度.輔助人臉特征的優點在于，即使步態訓練樣本是單樣本，但是人臉圖像是多個的，這樣便從另外一個角度擴充了訓練樣本的數目，有助于身份識別.下一步的工作重點是研究其他形式的人臉和步態特征的融合方法以進一步提高識別精度.

[1]王科俊，賁晛燁，劉麗麗.采用Radon變換和二維主成分分析的步態識別[J].智能系統學報，2010，5(3):266-271.WANG Kejun，BEN Xianye，LIU Lili.Gait recognition with Radon transform and 2-D principal component analysis[J].CAAI Transactions on Intelligent Systems，2010，5(3):266-271.

[2]CONSTANTINE P P，MICHAEL O，TOMASO P.A general framework for object detection[C]//Sixth International Conference on Computer Vision.Bombay，India，1998:555-562.

[3]OREN M，PAPAGEORGIOU C，SINHA P，et al.Pedestrian detection using wavelet templates[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos，USA，1997:193-199.

[4]VIOL P，JONES M.Rapid object detection using a boosted cascade of simple features[C]//IEEE Conference on Computer Vision and Pattern Recognition.Kauai，USA，2001:1511-1518.

[5]LIENHART R，MAYDT J.An extended set of haar-like features for rapid object detection[C]//IEEE International Conference on Image Processing.Rochester，USA，2002:900-903.

[6]CUTLER R，DAVIS L S.Robust real-time periodic motion detection，analysis，and applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8):781-796.

[7]BENABDELKADER C，CUTLER R，DAVIS L S.Stride and cadence as a biometric in automatic person identification and verification[C]//Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington，DC，USA，2002:372-377.

[8]COLLINS R T，GROSS R，SHI J B.Silhouette-based human identification from body shape and gait[C]//Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington，DC，USA，2002:366-371.

[9]SARKAR S，PHILLIPS P J，LIU Zongyi，et al.The humanID gait challenge problem:data sets，performance，and analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(2):162-177.

[10]WAGG D K，NIXON M S.On automated model-based extraction and analysis of gait[C]//Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture Recognition.Seoul，Korea，2004:11-16.

[11]KALE A，SUNDARESAN A，RAJAGOPALAN A N，et al.Identification of humans using gait[J].IEEE Transactions on Image Processing，2004，13(9):1163-1173.

[12]NIXON M S，CARTER J N，CUNADO D，et al.Automatic gait recognition[M]//BOLLE R，PANKANTI S.Biometrics:Personal Identification in Network Society.Norwell，USA:Kluwer Academic Publishers，1999:231-250.

[13]YOO J H，NIXON M S，HARRIS C J.Extracting human gait signatures by body segment properties[C]//The Fifth IEEE Southwest Symposium on Image Analysis and Interpretation.Sante Fe，USA，2002:35-39.

[14]王科俊，賁晛燁，劉麗麗，等.基于子模式的完全二維主成分分析的步態識別算法[J].模式識別與人工智能，2009，22(6):854-861.WANG Kejun，BEN Xianye，LIU Lili，et al.Subpatternbased complete two dimensional principal component analysis for gait recognition[J].Pattern Recognition and Artificial Intelligence，2009，22(6):854-861.

[15]ZHANG D，CHEN S，ZHOU Z.Recognizing face or object from a single image:linear vs.kernel methods on 2D patterns[C]//Proceedings of the Joint IAPR International Workshops on Structural and Syntactic Pattern Recognition and Statistical Techniques in Pattern Recognition.Hong Kong，China，2006:889-897.

[16]王海賢.有限混合模型、非線性二維主成分分析及其在模式分類中應用[D].合肥:安徽大學，2005.WANG Haixian.Finite mixtures of models，nonlinear twodimensional principal component analysis and their applications to pattern classification[D].Hefei:Anhui University，2005.

[17]王科俊，賁晛燁，劉麗麗，等.基于能量的信息融合步態識別[J].華中科技大學學報:自然科學版，2009，37(5):14-17.WANG Kejun，BEN Xianye，LIU Lili，et al.Gait recognition using information fusion of energy[J].Journal of Huazhong University of Science and Technology:Nature Science Edition，2009，37(5):14-17.

[18]WANG Liang，TAN Tieniu.Silhouette analysis-based gait recognition for human identification[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(12):1505-1518.

[19]王科俊，賁晛燁.基于線性插值的特征模板構造的步態識別算法框架[J].南京理工大學學報:自然科學版，2009，33(Supl.):215-219.WANG Kejun，BEN Xianye.Framework for gait recognition based on feature template construction using linear interpolation[J].Journal of Nanjing University of Science and Technology，2009，33(Supl.):215-219.

[20]王科俊，賁晛燁.基于線性插值的步態識別算法[J].華中科技大學學報:自然科學版，2010，38(2):41-44.WANG Kejun，BEN Xianye.Gait recognition using linear interpolation[J].Journal of Huazhong University of Science and Technology:Nature Science Edition，2010，38(2):41-44.

[21]王科俊，賁晛燁，孟瑋，等.基于廣義主成分分析的步態識別算法研究[J].哈爾濱工程大學學報，2009，30(9):1022-1028.WANG Kejun，BEN Xianye，MENG Wei，et al.Research on a gait recognition algorithm based on generalized principal component analysis[J].Journal of Harbin Engineering University，2009，30(9):1022-1028.

[22]MICHELA G，CARTER J N，NIXON M S.Front view gait recognition[C]//Proceedings of the 2nd IEEE International Conference on Biometrics:Theory，Applications and Systems.Arlington，USA，2008:1-6.

[23]MARICOR S，ALESSANDRA A，CAESAR S.Curve spreads:a biometric from front-view gait video[J].Pattern Recognition Letters，2004，25(14):1595-1602.