基于kinect DK步態檢測系統的設計研究*

劉宇斌 葉嘉杰 何曉昀

廣東理工學院 廣東 肇慶 526100

引言

如今人工智能在圖像識別、物體識別、身份識別等方向取得了傲人的發展，但是在一些場合中有些識別技術發揮的作用性不太明顯，像指紋識別、人臉識別、虹膜識別、DNA識別，對于個體的依賴性過強，而且不易采集，就以2019年的香港暴徒事件為例子，每一個行兇的暴徒都是蒙著臉的。在外界嘈雜通過普通的人臉識別或者聲紋識別，都無法準確地提取出人物的信息，但是可以通過步態識別來獲取個人的信息，來準確分辨出該人。

步態識別是一種通過個人的行走方式來辨別個人信息的生物識別技術。在應用領域，類似于人臉識別，它要解決識別和檢驗兩類問題。在識別問題中，給出未知身份人的步態，在數據庫中搜尋與之匹配的人的步態，從而確認人的身份；在檢驗問題中，需要步態識別算法對已假定的某人的身份做出判定，即接受或拒絕所假定的身份。

當前步態識別雖然擁有著廣泛的市場前景，但是在實際應用的過程中，存在著視角遮擋、穿著不一、環境影響等因素，會對步態識別的正確率造成較大的影響，而利用基于RGB-D技術的三維傳感器提取步態信息的方式為步態識別的發展提供了新的方向，減弱了大部分復雜的環境因素對于步態特征獲取的影響。增強了對于人體步態數據獲取的簡易性[1]。

1 常見步態識別技術以及缺陷

1.1 基于模型的步態識別技術

此類基于模型的步態識別方式核心是對運動學模型的構建，即根據運動的人體結構實現人體骨骼化的建模，便可以獲取相應的關節角度與肢體長 度等高層特征表達。基于模型的這類步態識別算法可以極大克服實際復雜場景中由于遮擋與視角造成的干擾，不足就是計算量大且實現的復雜度高。

1.2 基于非模型的步態識別技術

這一類非模型的步態識別方式則便可以直接通過從人體輪廓中提取所需的步態特征，不需要構建人體的運動學模型，還能劃分為基于步態能量圖的方法和基于步態圖像序列的方法?；诜悄Ｐ瓦@類算法的實現復雜度相對較低，可是很容易受遮擋、不同視角因素干擾。

以上兩種步態識別技術均為基于二維平面圖像的識別技術，各自存在一定的缺陷，而且成本昂貴需要借助處理終端進行處理，無法滿足小范圍區域的應用[2]。

2 系統設計

2.1 人體骨骼獲取模塊

該系統采用了Kinect DK相機作為人體骨骼數據的提取模塊，Kinect DK相機是一個開發人員工具包由1200萬像素高清攝像頭，100萬像素TOF深度攝像頭、7麥克風圓形陣列，和方向傳感器組成，在該系統主要運用的是其對于人體骨骼的檢測功能，如圖1所示相對于Kinect V2無論是在運動物體獲取還是深度圖像獲取方面都有著較大的提升。獲取圖像更加的清晰，數據跟蹤更加準確，使得Kinect DK更適合該系統的研究。

圖1 人體骨骼提取圖

Kinect DK通過紅外發射器發射近紅外光線，照射到人體上時利用紅外相機接收反射回來的紅外線利用了Time of Flight（TOF）技術計算相位差與測量深度后將檢測到的3D深度圖像，轉換到骨架追蹤系統,再采用背景分割法刪除背景，減小了計算量，最后傳入到決策樹分類器當中對相應類別的節點進行劃分輸出人體骨骼圖。

2.2 步態數據獲取模塊

本地計算機因為要實時進行人體骨骼數據的獲取與預處理，上傳與接受云端數據，具有較大的運算能力，傳統的嵌入式設備無法滿足應用需求，所以該系統采用了可在邊緣設備上運行大型深度神經網絡，實現更高的準確性，Nvidia公司的Jetson TX2單模塊超級計算機，能夠方便快捷的部署深度學習模塊，非常適用于該系統對帶寬和延遲要求高的應用的實時處理過程。

2.3 步態分析處理模塊設計

該系統在云服務器上采用了VGG19深度神經網絡進行步態的分類識別，先利用卷積神經網絡提取出動靜態人體骨骼特征數據，然后通過1x1大小的卷積核的平均池化層對提取出的步態骨骼特征進行降維處理，而后采用了帶有動量的隨機梯度方法對算法進行優化，通過softmax損失函數進行分類[3]。

圖2 VGG19步態特征檢測模型

3 工作流程

該系統利用Kinect DK相機采集三維深度數據采用分隔策略將人體從復雜的背景中區分出來，在這個階段，為每個跟蹤的人在深度圖像中創建分割遮罩，其次對景深圖像（機器學習）進行評估，來判別人體的不同部位分離出行人個體并獲取其骨骼的三維數據，

Jetson TX2將骨骼三維數據上傳到云服務器的VGG19深度神經網絡中訓練出的網絡模型進行步態識別，隨后上傳到云端數據庫，云端數據庫將對每一份數據進行存儲。

用戶使用設備采集到新的人體數據，由Jetson TX2將數據上傳至云端與云端數據庫，Jetson TX2調用的數據庫接口會根據用戶信息返回所需的對比數據，并與用戶提交的數據進行對比，若信息對比一致，即身份信息配對成功，云端與云端數據庫將會把人物信息數據返回至Jetson TX2，通過用戶軟件界面顯示[4]。

4 結束語

針對目前步態檢測方式存在的檢測復雜度高，圖像容易受到外界環境影響的難題分析了步態識別的系統的運行方式以及實現要求，提出一種基于Kinect DK和Nvidia Jetson TX2的步態檢測系統的設計。該系統利用Kinect DK捕獲三維深度數據，在Jetson TX2分離出行人個體并獲取個體的骨骼三維數據，經云服務器上由VGG19深度神經網絡訓練出的網絡模型進行步態識別，識別身份信息，完成對行人實現身份識別的功能，該系統使用人體骨骼三維信息與深度學習技術實現行人身份識別，具有復雜度低、識別率高、對環境影響的魯棒性強的特點。