基于特征融合的步態識別算法研究

摘 要：提出一種融合步態運動中的人體形狀信息特征和下肢運動信息特征的步態識別算法：利用邊界跟蹤算法獲取人體輪廓邊界線，并采用傅里葉描述子表達人體輪廓特征；依據人體解剖學的知識定位下肢關節點，并提取下肢角度特征；分別對兩種特征進行匹配，然后采用特征融合的方法對匹配結果進行處理。實驗結果表明，本算法的性能較基于單個特征的步態識別算法有明顯的改善。

關鍵詞：生物特征識別；步態識別；特征融合；權重；傅里葉描述子

中圖分類號：TP391．41 文獻標志碼：A

文章編號：1001-3695(2008)07-2216-03



Study of algorithm for gait recognition fased on feature fusion

YANG Lu-ming，ZENG Ying，ZENG Qing-dong，SONG hong

(College of Information Science Engineering， Central South University， Changsha 410083， China)

Abstract:This paper proposed a gait recognition algorithm based on the fusion of shape feature and dynamic feature of lower limbs. Firstly， used boundary-tracked algorithm to obtain body boundary， then used Fourier-based descriptors to describe body contour. Secondly， according to the knowledge in body anatomy， computed the coordinates of joints of lower limbs， then got the angles of lower limbs. Lastly， with these features fused together to generate representative scores， then used different fusion strategies to compute them. Experimental results demonstrate that the performance of proposed algorithm is much better than those based on single feature.

Key words：biometrics; gait recognition;feature fusion; weighted;Fourier-based descriptors



0 引言

生物特征識別技術是利用每個人獨有的生理特征或行為特征進行身份識別的技術。由于生物特征不像各種證件類持有物那樣容易被竊取，也不像密碼、口令那么容易被遺忘或破解，在身份識別領域具有獨特的優勢，近年來在國際上被廣泛研究。同一種生物信息往往擁有不同的特征，任何基于單個特征的識別系統均存在一定的缺陷，一般不能取得滿意的識別效果。在此背景下，特征融合被應用于生物特征識別領域。研究人員不僅從理論上證明了特征融合對于生物特征識別的有效性，而且得出許多成功的案例。例如融合人臉的全局和局部特征的人臉識別，融合指紋的細節點特征和圖像相關特征的指紋識別等。

步態識別是一種新興的生物特征識別技術，旨在通過人行走的姿勢來識別人的身份。步態特征既包括身高、體形等基于幾何度量的特征，也包括對行為變化較敏感的運動特征，如下肢角度軌跡。直觀上，人類視覺對步態的識別很大程度上依賴于人體輪廓形狀隨時間的變化過程^[1]。基于人體輪廓特征的步態識別算法^[2，3]簡單直觀，容易實現；但輪廓特征只能間接反映步態的運動特性。理論上，基于運動關節的角度軌跡識別人^[4，5]更加充分，因為人行走時的關節角度能精確地反映運動的細微變化，更能反映步態模式的本質。但是，從視頻中精確恢復人體運動參數還存在著一定的困難。



1 步態特征提取

1．1 運動目標檢測

首先采用中值法估計圖像序列的背景幀；然后使用背景差分法檢測圖像中的運動目標，并在設定的閾值下對圖像進行二值分割。經過這種處理后的圖像會出現噪聲，使用形態學的腐蝕和膨脹算子去除噪聲點，并執行連通性分析進一步填充小的空洞。對預處理后的圖像進行邊界跟蹤，即可得到人體輪廓邊界線。運動人體輪廓檢測過程如圖1所示。

1．2 人體輪廓特征提取

傅里葉描述子是重要的物體形狀識別方法之一。Kauppien用實驗證明了基于物體輪廓坐標序列的傅里葉描述子具有最佳的形狀識別性能^[6]。因此，本文選擇傅里葉描述子表達人體輪廓特征。

計算傅里葉描述子之前，需要對輪廓圖像進行等間隔重采樣，以保證相互比較的圖像具有相同的輪廓點數。假設L表示人體輪廓線，在L上等間隔地取N個點，用復坐標形式表示為

L(k)=[x(k)-x(c)]+j[y(k)-y(c)]; k=0， 1， …， N-1 (1)

其中：x(k)和y(k)表示輪廓線上采樣點的坐標；x(c)和y(c)表示輪廓的矩心坐標；復數序列L(k)的離散傅里葉變換為

F(u)=1N∑N-1k=0L(k)exp[-j2πukN]；u=0，1，…，N-1(2)

則輪廓特征的傅里葉描述子為

D(u)=‖F(u)‖‖F(1)‖；u=1， 2， …， N-1 (3)

根據傅里葉變換的性質可知，最能反映步態特征的數據集中在傅里葉描繪子的低頻部分，故本文采用傅里葉描繪子的前30 個分量作為步態的輪廓特征，即

D′={D(1)，D(2)，…，D(30)}(4)

1．3 下肢角度特征提取

步態的運動學信息主要通過下肢的連接角表現，因此下肢的角度信息十分重要。相關文獻中的角度獲取方法大多需要建立模型，計算量較大。區別于這些方法，本文直接在二值化的人體側影圖像上利用人體解剖學的知識確定下肢關節點的位置，然后提取下肢角度，無須對人體進行建模。

1．3．1 關節點位置的確定

首先在人體輪廓圖像上定義一個能包含整個人體的最小矩形框（圖2），則人體身高即為矩形框的寬度，這里記為H。根據圖3給出的解剖學中人體下肢的比例關系^[7]，可以確定盆骨、膝、踝關節點的縱坐標分別為 Y1=0.53 H， Y2=0.285 H， Y3=0.039 H；然后確定各關節點的橫坐標。具體方法如下：

a)盆骨關節點。水平掃描輪廓圖像的第 Y1行，記錄像素值為1的點坐標。由圖2可知，這樣的點有兩個，分別位于盆骨點左右兩側的輪廓邊界線上，記做 X1l、 X1r。盆骨關節點的橫坐標可以用下式計算：

b)膝關節點。由于需要確定人體左、右兩腿的膝關節點位置，以盆骨關節點的橫坐標 X1為起始位置，分別向左右兩側對輪廓圖像的第Y2行進行水平掃描；然后按步驟a)的相同方法得到左、右膝關節點的橫坐標值。

c)踝關節點。以X1為起始位置，分別向左右兩側對輪廓圖像的第 Y3行進行水平掃描，類似于b)可得到兩踝關節點的橫坐標。



1．3．2 下肢角度獲取

確定各關節點的位置后，用直線連接相鄰關節點以代表人體下肢，如圖2所示。本文提取的下肢角度是用下肢肢體與豎直線的夾角來表示的。假設人體的左大腿、右大腿、左小腿、右小腿與豎直線的夾角分別表示為θ1、θ2、β1、β2，則下肢角度特征矢量可記為[(θ1，θ2，β1，β2]。使用下面的公式可以計算任意一個下肢角度：

2 特征融合

在生物特征識別領域的多特征融合，一般在三個層面上進行，即特征層、匹配層和決策層^[8]。根據步態特征提取的情況，本文選擇在匹配層進行特征融合。匹配層的特征融合首先要將各個特征分別進行匹配得到不同的量化值；然后對量化值進行歸一化；最后使用融合規則將歸一化后的所有量化值進行計算得到一個量化值。該量化值反映了多個特征匹配的綜合結果，并用這個量化值進行最后決策。

2．1 量化值歸一化

步態分類器產生的不同特征匹配量化值通常是測試樣本與第k個人最好匹配的參考特征向量的距離度量。這些匹配量化值擁有不同的范圍和分布，一般不能直接組合，因此必須對其進行歸一化。本文使用式(7)實現歸一化：

布。

2．2 融合規則

特征融合的過程是對各個特征的歸一化量化值進行一些規則運算，以得到一個更具代表性的量化值。常用的融合規則有以下幾種：

其中： R*i，n表示歸一化后得到的量化值(i=1，2，…，I表示不同個體的序號；n=1， 2， …， N表示不同特征的序號)； gi表示特征融合后得到的最終量化值。這三種融合規則沒有體現各種特征的差異性。

d) 基于加權的加法規則

不同的特征匹配量化值在融合的過程中可信度是不同的，所以引進權重的概念。一般衡量特征識別的準確與否可以用等錯率(equal error rate，EER)表示。EER值越高說明特征的性能越差，即該特征在融合過程中的可信度越低。用下面的函數根據不同特征的 EER生成各自的權重值：

 wn=1/∑Nn=1（1/en）/en(8)

其中：0≤ wn≤1， ∑Nn=1wn=1（n=1，2，…，N）表示不同特征的序號； ex表示基于單個特征識別的EER。可以看到，wn與EER 是一種反比的關系。基于加權的加法規則可以表示為

3 實驗結果

實驗在中國科學院自動化所提供的NLPR步態數據庫上進行。實驗數據包括20個人的80個側面視角序列(每人4個序列)，每個序列只有1個人行走，攝像機固定，幀率為25 fps。由于實驗樣本的數量有限，采用留一校驗(leave-one-out cross validation)法檢驗算法的性能。

為了比較基于特征融合的步態識別算法與基于單個特征的步態識別算法的性能，分別對基于人體輪廓特征的步態識別算法、基于下肢角度特征的步態識別算法和基于特征融合的步態識別算法進行實驗。實驗結果如表1和圖4所示。其中圖4為各個算法的ROC(receiver operating characteristic)曲線，從中可以看到等錯誤率。

由表1可知，通過特征融合以后，步態識別率得到了很大的提高。其中在基于加權的加法融合規則下，識別率達到92．5％，遠遠超過了基于單個特征的步態識別算法。從圖4的曲線可以看出，基于特征融合的步態識別算法的EER值為5％~6．2％，低于基于單個特征的步態識別算法。故其校驗性能也得到了改善。

4 結束語

本文提出一種融合人體輪廓特征和下肢角度特征的步態識別算法，在NLPR步態數據庫上的實驗結果表明，該步態識別算法的識別性能和校驗性能均顯優于采用單個步態特征的步態識別算法。這表明在合適的融合規則下，人體外觀信息和下肢運動信息能夠相互補充，使識別效果優于各單一模態的分類性能。

致謝 本文的實驗數據源于中國科學院自動化所提供的NLPR步態數據庫，在此表示感謝。



參考文獻：

［1］ 王亮， 胡為明， 譚鐵牛. 基于步態的身份識別[J]. 計算機學報， 2003，26(3):1-7.

[2]COLLINS R T， GROSS R， SHI Jian-bo. Silhouette-based human identification from body shape and gait[C]//Proc of International Conference on Automatic Face and Gesture Recognition. Washington DC: [s.n.]， 2002: 351-356.

[3]KALE A， CUNTOOR N， YEGNANARAYANA B， et al. Gait analysis for human identification[C]//Proc of the 4th International Conference on Audio- and Video-based Biometric Person Authentication. Guildford: [s.n.]， 2003: 706-714.

[4]TANAWONGSUWAN R， BOBICK A. Gait recognition from time-normalized joint-angle trajectories in the walking plane[C]// Proc ofIEEE Computer Society Conference on Computer Vision and Pattern Recognition.2001: 726-731.

[5]BHANU B， HAN J. Individual recognition by kinematic-based gait analysis[C]//Proc of International Conference on Pattern Recognition. 2002: 343-346.

[6]KAUPPIEN H， SEPANEN T. An experiment on comparison of autoregressive and Fourier-based descriptors in 2D shape classification [J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 1995， 2(5): 201-207.

[7]YOO J H， NIXON M S， HARRIS C J.Extracting human gait signatures by body segment properties[C]// Proc of the 5th IEEE Southwest Symposium on Image Analysis and Interpretation. 2002: 35-39.

[8]SNELLICK R， ULUDAG U， MINK A， et al. Large scale evaluation of multi-model biometric authentication using state-of-the-art system [J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2005， 27(3): 450-455.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。”