基于幀差能量圖遺傳算法的自遮擋步態識別

唐春林

(廣東郵電職業技術學院，廣東廣州 510630)

1.步態識別簡介

步態識別是模式識別領域中的一種新的生物特征識別技術，旨在通過人的行走方式識別人的身份，包括人的生理或行為特征等。自動識別身份的需求在許多領域持續增長，如監控、出入境管理、智能接口等［1］。眾所周知，生物特征識別是一種可靠的、強有力的可以自動識別身份的工具，現有的基于生物特征的識別技術不僅包括指紋、手形等識別方法，還包括人臉識別、虹膜識別等方法［2］。然而，這些方法或者是侵入型的，或者僅限于非限制環境下，因此，目前的人臉識別技術能夠僅僅識別正臉或者接近整個正臉的圖像。當在自然條件下識別人的身份，如在戰略區中實施自動監控識別身份時，生物識別技術(例如指紋或虹膜)便不再適用［3-5］。此外，借助于這種生物特征在夜間進行人身份識別(監控中的一個重要成分)通常是不可能的。然而，通過人的“步態”可以克服上述生物識別特征的不足之處，作為一種生物識別特征，步態的優勢之處在于它的非侵入性，并且它是某個人專屬的典型動態特征［6-8］。

步態周期［9］指一只腳從最初腳與地板接觸(足跟著地)到下一次著地之間的時間間隔，從一只腳足跟著地開始，標志著支撐相的開始，腳跟著地標志著步態周期的終止。如圖1所示為整個步態周期，腳踝彎曲使腳平放在地面上，身體重量便轉移到腳上。當腳跟離地，另一條腿便擺動到前邊，當身體重量轉移到另一只腳時，支撐它的膝蓋便彎曲。位于后邊的腳的其余部分離地便結束了支撐相。擺動相始于腳尖離地。身體重量便轉移到另一條腿上，它向前擺動在另一只腳前方接地。

圖1 步態周期

文獻［2］提出特征提取取決于多線性投射，它可采集到原始的大部分張量輸入變化。基于多線性主元分析的張量目標識別框架已應用到步態識別中。文獻［3］提出了步態表示法和識別二元輪廓的Randon變換。文獻［4］在運用異常2D特征、3D特征的基礎上提出了一種新型步態鑒別和認證方法。此外，遺傳算法用于從不同特征提取融合信息。文獻［6］提出將Garbor步態方法、常規張量判別分析方法與線性判別分析結合用于步態識別。文獻［7］提出了一種稱作步態能量圖的新的空間時間步態識別方法，通過描繪人類行走特征的步態進行身份識別。文獻［9］探索了基于矩陣表現法的步態識別，它是一種監督式算法——張量判別分析用于進一步提高分類策略。文獻［10］闡述了一種基于隱馬爾科夫模型的新型模型，與特征相模型一起改正了從影子或背景減除法產生的檢測輪廓的一般錯誤。文獻［11］提出一種基于視野利用步態來識別人身份的方法，為從圖像特征得到觀察向量，采用了間接和直接的方法。文獻［12］提出利用統計形狀分析這樣一種簡單有效的自動步態識別算法。文獻［13］提出動態步態能量圖和流形學習的步態識別方法。動態步態能量用于提取運動體輪廓的動態變異部分，它與行走序列中步態平均圖像相對應。

2 基于幀差能量圖的遺傳算法

基于上述分析，為了更好地在自遮擋步態識別中進行特征提取，提出了基于遺傳算法的自遮擋步態識別方法，所提方法的流程圖如圖2所示。首先，從視頻序列中分割出的輪廓有噪聲，需要進一步處理，于是，采用數學形態學圖像處理來填平空洞及消除噪聲，接著，利用一種稱作幀差能量圖像的新型步態模式表現法將不完整的步態圖像補充完整，最后，將自遮擋特征從輪廓圖像序列中提取出來。

圖2 自遮擋步態識別流程圖

2.1 預處理

輪廓提取:如圖3所示，輪廓通常是通過找出背景與目前圖像的不同之處或者通過分組光流提取連貫的動作。

圖3 輪廓提取

1)消噪。檢測到的部分不可避免地會產生偽像素，運動的物體內部也會產生空洞或其他不規則現象，如腐蝕、膨脹等，數學形態學圖像處理已廣泛應用在消除偽像素及填充提取出的輪廓中的小洞上。

2)獲得不完整的輪廓。步態識別依靠兩種類型的信息:形狀信息(靜態信息)、動態信息。形狀信息指外貌，例如身高、寬度、身體各部分比例，頭發，聳肩駝背情況、穿著，攜帶包裹或球等，一些形狀信息在人行走過程中保持不變或相近，從單幀提取的信息屬于形狀信息。動態信息描述了人體動作變化的特征，不包含下列底層結構，例如，人體下肢關節軌跡，從光流得到的動作特征形狀等。

3)計算步態能量圖。步態能量圖是一種有效步態表現方案，它對分段錯誤辨別力強且具有魯棒性。它為識別身份節省了存儲空間和計算時間，并且在單幀下對輪廓噪聲不敏感。步態能量圖可定義如下

式中:N為每周期幀數;t為本周期幀的序列數;B(x，y)為時間t的輪廓圖像;G(x，y)為步態能量圖像。

3)構建幀差能量圖。B(x，y，t)的幀差能量圖表示如下

式中:B(x，y，(t－1))為本周期最終的幀;B(x，y，t)為t時刻的輪廓圖像。

圖4所示為不完整的輪廓示例，圖5所示為圖4中輪廓前面的幀，圖6所示為圖4中輪廓的幀差能量圖。

圖4 不完整輪廓示例

圖5 對應于第一排輪廓的前面的幀

圖6 第一排輪廓的幀差能量圖

2.2 提取特征

在前面的處理步驟之后，接下來從輪廓圖像序列中提取自遮擋特征。一般情況下，先前不知道3D場景，僅靠It圖像不能確定物體在時間t的遮擋或自遮擋。在一般跟蹤場景中，沒有3D場景信息。然而，遮擋(自遮擋和遮擋去除)可以通過觀察者在運動過程中從不同觀測點觀測到的多重圖像得到部分解決。以一個正在運動并且形狀不斷變化的物體為例，預先對時間t和時間t+1投射到成像平面的物體作判斷，便可以輕而易舉地應用于確定遮蔽區域Ot。

自遮擋Ot－1以深色圈表示，自我遮擋去除Dt－1以淺色圈表示，兩者皆呈現在圖7中。

圖7 自遮擋呈現

實際上，原則是遮擋的區域Ot是Rt的子集，它并不對應于It+1中的某個區域。這包括遮擋和自遮擋，給出Rt和It+1原先沒有看到物體便無法得出物體的遮擋去除和自遮擋去除。如果投射到成像平面上的物體的一部分在時間t+1進入視域，并且先前沒有觀察到，那么便無法確定新進入視野的部分是不是所關注物體的一部分，是另外一個物體或是物體沒有附加假定的背景。自遮蔽步態模型示例顯示在圖7中。

自遮擋步態模型的詳細步驟如下:

1)如圖8所示，從最開始的幀，物體便被分割成區段，通過后續幀確定物體的確切形狀，即從當前的模板到下一幀的物體(同時可檢測到自遮擋)，在大規模變形或運動時有效。

2)通過消除自遮擋部分更新變形的模板。

圖8 自遮擋步態示例

3)檢測到自遮擋消除(在當前幀進入視野的物體的部分)，模板得到更新。

4)外貌改變也考慮在內，通過非線性觀察者進行有效的外貌過濾，模板得到更新。

5)在最新更新的模板和下一幀重復步驟2)至步驟4)。

2.3 利用遺傳算法識別步態

遺傳算法處理的數據是字符串的集合(群體)，每個字符串有自己的適合值，該值由搜索空間內對應點的目標函數值決定，基于適合值，遺傳算法決定當代每個字符串的概率，這些字符串將由遺傳算子處理并產生后代。遺傳算法中共有3個基因算子:選擇算子、交叉算子和變異算子。基于字符串的適合值，選擇算子、選擇要進行交叉和變異的字符串(為復制而作出的選擇)，在生成的后代及當代字符串中將組成下一代的字符串(為替代而作出的選擇)。機濾為pc的2個選擇字符串在交叉站點進行交叉，該站點是隨機選取的，交叉的目的是通過交換好的解決方案中的有效信息產生更好的解決方案。變異在0～1區間內機濾為pm時，改變了隨機選定的站點值。通過在群體中引入額外的變動，可以在保持多樣性的前提下繼續基因搜索。這3個算子連續用于產生下一代，選擇的進化周期基因微擾重復進行，直到滿足終止條件為止。

3 實驗

所有的實驗均在配置有2.99 GHz主頻、4 Gbyte RAM的PC機上完成，編程環境為MATLAB 7.0，實驗在視角步態數據庫中科院自動化所-B(CASIA-B)數據庫中進行。

3.1 CASIA-B數據庫

該數據庫存儲了大量的從左手側起的11個攝像頭拍攝到的步行圖像，相鄰視角之間相差18°，也就是說，從左至右，視角分別為 0°，18°，36°，54°，72°，90°，108°，126°，144°，162°和 180°。從每個視角捕獲到的樣本幀如圖9所示，從左到右相對應的相機編號為1至11。數據庫中包含了124個人的圖像，93名男性和31名女性，每個人有10個序列，6個正常的不行序列，2個挎包序列，2個穿著外套的序列。因此，該數據庫中總共有13 640張步態圖像，如此龐大的數據庫正適合本文的研究。

3.2 參數設置

所提方法中有2個自由參數:線性子空間表示的特征維數K1、識別時的近鄰數k以及用于分類的典型相關數目K2。這部分研究并分析了各個參數對所提方法識別性能的影響，分別固定2個參數、變化其中1個參數，觀察步態識別率的變化情況。實驗取攝像機2，4，6，8，10獲取的樣本作為訓練樣本，攝像機1，3，5，7，9獲取的樣本作為測試樣本，充分利用了所有的子空間距離及典型相關系數，實驗中，所有的步態序列都在預處理階段裁剪成了66×44大小的對齊輪廓。

3.3 實驗結果

隨著不同特征維數變化的識別結果如圖10所示，從圖10中可以看出，最佳的效果顯示在多個值，并在隨后的實驗中，當線性子空間特征維數K1為13時，取得最佳識別率96.45%。K1的值取13，隨著不同的近鄰數k的變化，識別結果如圖11所示，從圖11可以看出，隨著近鄰數的增加，識別率也呈增長的趨勢，當近鄰數k為5時，取得最高識別率96.89%。K1的值取13，k值取5，隨著不同的典型相關數目的變化，識別結果如圖12所示，從圖12可以看出，隨著典型相關數目K2的增加，識別率呈現一定的上升趨勢，當K2取3和4時，達到最高識別率99.23%。

3.4 比較與分析

圖10 取不同的特征維數獲得的識別結果

圖11 取不同的近鄰數k獲得的識別結果

圖12 取不同典型相關數目K2獲得的識別結果

為了更好地體現所提方法的優越性，這部分將所提方法與參考文獻中在步態識別方面比較先進的幾種方法進行了對比，包括鏡像融合(S-融合)［2］、特征融合(F-融合)［5］、MSR+WSD［3］，實驗取 CASIA-B 數據庫中攝像機2，4，6，8，10 所拍攝的圖像為訓練樣本，攝像機1，3，5，7，9，11拍攝的圖像作為測試樣本，所有比較方法的參數設置均與參考文獻中的一致，所提方法中，近鄰k取5，典型相關數目取3，變化k的值，如圖13所示為各方法取得的前20個最佳識別率的比較。

從圖13可以清晰地看出，所提方法的識別率比其他各個方法的識別率都高，最佳識別率接近100%，雖然MSR+WSD方法也取得了不錯的效果，但最好的識別率仍然比所提方法低了2%左右，S-融合及F-融合方法甚至比所提方法低了近20%，由此體現了所提方法的優越性。

圖13 各方法的識別率比較

4 結束語

隨著視覺監控系統不斷增長的需求，近年來從遠處進行人的身份識別已吸引了更多研究者的興趣，步態是一種潛在行為特征，許多類似研究已經表明，它可以用作生物識別特征。計算機視覺技術的發展也使人們確信，未來可以進行基于視覺的自動步態分析。本文提出的系統在CASIA-B數據庫上取得了高達99.23%的步態識別率，與幾種先進的方法相比，所提方法明取得了更高的識別率，由此可見，所提方法可應用于真實環境中識別人類的走路方式。今后會結合其他的算法，將所提方法運用到更多的數據庫上，改變初始參數的設置，進一步提高步態識別率。

:

［1］LU J，TAN Y.Uncorrelated discriminant simplex analysis for view-invariant gait signal computing［J］.Pattern Recognition Letters，2010，31(5):382-393.

［2］賁晛燁，安實，王健，等.基于線性插值的張量步態識別算法［J］.計算機應用研究，2012，29(1):355-258.

［3］劉硯秋，王旭，王玉梅，等.傅里葉變換的多視角步態識別［J］.計算機工程與應用，2012，48(6):169-171.

［4］BASHIR K，XIANG T，GONG S.Gait recognition without subject cooperation［J］.Pattern Recognition Letters，2010，31(13):2052-2060.

［5］LIU N，LU J，TAN Y P.Joint subspace learning for view-invariant gait recognition［J］.IEEE Signal Processing Letters，2011，18(7):431-434.

［6］車轔轔，孔英會.基于動態部位特征的步態識別方法［J］.計算機應用，2012，32(12):3418-3421.

［7］KUMAR H P.NAGENDRASWAMY H S.Gait recognition based on symbolic representation［J］.International Journal of Machine Intelligence，2011，3(4):295-301.

［8］楊靜，阮秋琦，李小利.基于頻譜分析的Procrustes統計步態識別算法［J］.智能系統學報，2011，6(5):432-439.

［9］ROY A，SURAL S，MUKHERJEE J.Gait recognition using pose kinematics and pose energy image［J］.Signal Processing，2012，92(3):780-792.

［10］ARIYANTO G，NIXON M S.Model-based 3D gait biometrics［J］.International Joint Conference on Biometrics，2011，34(3):11-13.

［11］余濤，鄒建華.基于Bayes規則與HMM相結合的步態識別方法研究［J］.計算機學報，2012，35(2):386-396.

［12］SIVAPALAN S，CHEN D，DENMAN S，et al.Gait energy volumes and frontal gait recognition using depth images［J］.International Joint Conference on Biometrics，2011，32(2):1-6.

［13］SURAL R S，MUKHERJEE J.Gait recognition using pose kinematics and pose energy image［J］.Signal Processing，2012，92(3):780-792.