復雜背景下人體步態(tài)分析方法?

陳 松 張國輝 王西泉 陳俊彪 馬 超

（1.中國兵器工業(yè)試驗測試研究院 華陰 714200）（2.西安工業(yè)大學 西安 710021）

1 引言

目前常用且成熟的生物識別技術有指紋識別、虹膜識別、人臉識別、DNA 識別，新興的生物識別技術有靜脈識別、步態(tài)識別［1］。利用步態(tài)進行身份識別是近年來在生物識別領域的一大研究熱點。隨著現代智能社會發(fā)展，各種展覽、機場、車站等大范圍人流量多的地方的視頻安全監(jiān)控正在引起人們注意［2］，國此遠距離、復雜背景下的步態(tài)識別方法為在這種情況下的身份認定提供了很好的手段。

過去的幾十年里，步態(tài)識別領域開展了大量研究工作，已經取得了不少進展［3～6］。國外對于步態(tài)分析的研究較早，2000年美國DARPA（美國國防部高級研究計劃署）開始主持開展HID 計劃（遠距離身份識別），旨在于研究基于視頻監(jiān)控的人臉識別與步態(tài)識別的遠距離身份識別［7］。2014 年Tafazzoli F等通過分析研究丟棄無用冗余信息對分類器識別效率的影響。提出一種只提取特征向量的一個子集而不會降低分類精度的遺傳算法（GA）來進行步態(tài)提取［8］。2017 年Munif Alotaibi 等提出一種深度卷積神經網絡（CNN）架構用于步態(tài)識別，其優(yōu)點是可以明顯降低影響步態(tài)識別性能的一些因素［9］。2019 年Uddin M Z 等針對步態(tài)識別中的遮擋問題提出了基于條件深度生成對抗網絡（GAN）的遮擋序列（sVideo）的輪廓序列重構，其從重構的序列中估計步態(tài)周期并可從一個步態(tài)周期圖像序列中提取步態(tài)特征［10］。國內研究較晚，但也取得一定的成果，2013 年劉志勇等用局部二值模式（LBP）來提取步態(tài)能量圖（GEI）的局部特征并用于識別［11］。2019 年池凌云提出一種基于深度學習的方法來進行多視角下的步態(tài)識別［12］。段鵬松等［13］針對現有無線感知步態(tài)識別研究中存在的不足，提出了將頻率能量圖引入卷積神經網絡模型，實現了高準確率的多人場景單目標步態(tài)識別。目前中科院下孵化的一家公司已經將步態(tài)識別運用到了商業(yè)領域。步態(tài)識別主體分三個階段：目標區(qū)域獲取，步態(tài)特征提取，步態(tài)識別。本文針對具有復雜背景的步態(tài)圖，運用超像素顯著圖得到目標區(qū)域并用Gabor 特征與動態(tài)區(qū)域結合的方法完成步態(tài)特征的提取，達到在復雜背景下分析人體步態(tài)特征的目的。

2 步態(tài)視頻的獲取

在實際情景中，人不會一直處于行走狀態(tài)，為了獲得有用的人體步態(tài)信息，我們選擇視頻中人體完全出現且連續(xù)行走，并且視頻分幀期間上一步態(tài)與下一步態(tài)有明顯差異的最小幀數作為人體步態(tài)關鍵幀提取標準，之后進行關鍵幀保存。這樣，既避免了冗余信息的存在，又保存了有用的人體步態(tài)信息，大大提高處理效率。本文對于關鍵幀的提取過程為先讀取視頻所有幀，選擇恰當的幀數間隔提取。對于本次實驗拍攝視頻中，5s 左右的視頻，總共獲得170 幀左右的圖片，行人完全出現在鏡頭當中并選取5 幀為間隔保存相應幀作為關鍵幀。原始圖像大小為1080×1920。

圖1 本文提取的部分關鍵幀

3 基于超像素的目標區(qū)域提取算法

3.1 基于超像素法的目標區(qū)域分割

SLIC 超像素算法將目標圖像分割成由一系列位置相鄰且具有相似特征（如顏色）的像素點組成的小區(qū)域。具體分割流程如下。

1）選取聚類中心。假設一幅圖像有N 個像素點，選取其中某個像素點為聚類中心將其分為K 個的同樣面積超像素，超像素大小為N×K，相鄰聚類中心距離為

2）在聚類中心3×3 范圍內計算范圍內所有像素的梯度值，將聚類中心重新放在梯度值最小的位置。

3）確定N 個像素點在選取2×2 范圍內與聚類中心的距離，距離最近的劃分為一類。距離計算包括顏色距離和空間距離。計算方法如下：

公式中Dc表示顏色距離，Ds表示空間距離，Nc與Ns表示類內最大空間距離。

4）重復上述步驟直到聚類中心不再發(fā)生變化。

5）對于劃分不均勻的超像素單元，需要建立標記表，按表不重復的順序重新進行標簽分配，遍歷完后即可停止，其目的旨在增強超像素連通性，優(yōu)化結果。如圖2所示為超像素分割結果圖。

圖2 超像素分割圖

3.2 基于顯著圖法的人體區(qū)域的獲取

在計算機視覺中，顯著性是一種圖像分割的模式，而顯著圖是顯示每個像素獨特性的圖像。顯著圖旨在于突出一幅圖像中最重要的目標。本文驗證了四種顯著圖法（ITTI 方法、SR 方法、FA 方法及FT方法）生成的前景圖像如圖3所示。

圖3 四種方法處理結果

得到顯著區(qū)域后，對其顯著區(qū)域需進行二值化，灰度變換與形態(tài)學處理保留最大輪廓提取前景。如圖4 為結合灰度調整與自適應閾值的二值化分割結果。

圖4 結合灰度變換與自適應閾值的二值化結果

圖5 部分處理結果示例

圖6 歸一化圖像

圖7 步態(tài)能量圖

二值化圖像后圖像中出現很多前景，包括目標區(qū)域與部分非目標區(qū)域。這些每一塊區(qū)域面積不同，我們計算出不同區(qū)域的面積，最后保留最大（只有我們想要的目標前景符合條件）連通域即可。

4 步態(tài)特征的提取與識別

4.1 步態(tài)輪廓圖歸一化

由于從視頻中提取的關鍵幀，人體目標區(qū)域不定，而且圖像較大，考慮到后續(xù)特征提取計算量，需對其進行尺寸與中心歸一化。具體操作過程為設置好歸一化后的圖像大小，之后建立坐標系，獲取坐標系中關鍵幀的高度與寬度，由于高度一般比寬度大，選取高度進行比例縮放，最后獲取人體對稱軸，將圖像居中放置。

本實驗圖像幀原來大小為1080×1920，歸一化后大小為240×120。

4.2 步態(tài)能量圖生成

基于非模型提取步態(tài)特征方法中我們有提到基于統(tǒng)計學提取特征，其主要思想是提取無法建模的特征進行數學計算得到概率統(tǒng)計規(guī)律來獲取步態(tài)特征。步態(tài)能量圖就屬于其中一種。步態(tài)能量圖為一個步態(tài)周期內人體輪廓圖的加權平均圖。計算公式如下：

其中N 為總幀數，I（x，y）代表每一幀圖像，EGEI（x，y）代表一個步態(tài)周期內的所有圖像加權平均得到的步態(tài)能量圖。

4.3 步態(tài)特征的提取

Gabor小波與人類視覺系統(tǒng)中簡單細胞的視覺刺激響應非常相似。其能夠提供良較好的尺度選擇和方向選擇特性，對于光照變化，遮擋等情況表現出較強的魯棒性與良好的適應性。二維Gabor函數能夠增強邊緣以及峰、谷等底層圖像特征，在保留了整體的同時也增強了部分局部特性。

將步態(tài)能量圖經正弦平面波和高斯核函數構成的濾波器濾波，之后便能得到步態(tài)特征。正弦平面波和高斯核函數的積是二維Gabor 小波變換的濾波器。Gabor小波變換不僅僅可以提取出圖像紋理的特征，并且可以減小光照和位置對圖像識別造成的干擾。函數表達式如下：

式中，對于Gabor 核函數，u 為方向，v 為尺度，z=（x，y）即圖像坐標，||*||表示對*進行取模運算。

本文中一幅圖像大小為240×120，共有40個濾波器，總共維數為240×120×40/8×8=18000 維。測試識別我們選擇CASIA B 數據庫前10 人在正常情況下行走，角度為90°生成的步態(tài)能量圖各6 幅，總共就是60×18000維，需要對其進行降維處理。

4.4 步態(tài)識別

假定給定數據樣本X 中包含了n 個對象X=｛X1，X2，X3，…Xn｝，其中每個對象都具有m 個維度的屬性。算法的目標是將n 個對象依據對象間的相似性聚集到指定的k 個類簇中，每個對象屬于且僅屬于一個其到類簇中心距離最小的類簇中。

首先需要初始化k 個聚類中心｛C1，C2，C3，…，Ck｝，1

其中，Xi表示第i 個對象1 ≤i≤n，Cj表示第j 個聚類中心的1 ≤i≤k，Xit表示第i 個對象的第t 個屬性，1 ≤i≤m，Cjt示第j個聚類中心的第t個屬性。

表1 為使用不同主成分百分比對其降維后數據的聚類結果，選取一種無監(jiān)督分類-K 均值聚類法對特征數據進行分類識別，對比多次實驗結果，其識別率穩(wěn)定在86%，表明K 均值聚類能較好的進行步態(tài)識別。

表1 不同主成分百分比下聚類識別結果

5 結語

相比于目前已有的步態(tài)識別方法，本文對兩個方面進行了改進：第一個是使用了顯著性檢測進行前景提取，實驗表明FT法在這方面是效果最好的，不過也可看到對于臉部這部分提取有不足，可以做出改進。第二個是使用了聚類的方法對已知類別的樣本進行分類識別，表明其在已知類別數下能夠進行有效分類。因為現實狀況的復雜性，單一使用步態(tài)仍不能夠真正做到很高的識別率，后續(xù)需要考慮現有成熟的識別技術如何與步態(tài)結合，實現優(yōu)勢互補。