基于關節點定位的重點人群步態分類方法研究

劉巖松 沈馨 沈喆

摘? 要：基于模型的主流步態識別方法通常過于關注下肢運動而忽視上肢信息。為解決該方法中上肢信息利用率不足的問題，文章通過改進的ZS細化算法提取到更完整的上肢骨架，同時提出一種基于關節點定位的步態特征提取方法應用于重點人群步態分類。將細化所得人體骨架與行人輪廓圖相結合，定位全身10個關節點坐標并建立人體模型，利用關節角度的時序特征進行分類效果驗證，在中科院CASIA-B數據集上進行實驗。實驗結果表明：該文所提取的步態特征有較高的識別性能，平均步態識別率為77.35%，同時使用上下肢進行步態分類的平均召回率為84%，與僅采用下肢信息相比提高38%。

關鍵詞：步態識別；人群分類；關節點定位；上肢特征

中圖分類號：TP391.4? ? 文獻標志碼：A? ? 文章編號：2096-4706（2023）02-0073-06

Research on Gait Classification Method of Key Population Based on Joint Point Location

LIU Yansong， SHEN Xin， SHEN Zhe

（College of Civil Aviation， Shenyang Aerospace University， Shenyang? 110136， China）

Abstract： The mainstream gait recognition methods based on model usually pay too much attention to the movement of lower limbs and ignore the information of upper limbs. In order to solve the problem of insufficient utilization of upper limb information in this method， a more complete upper limb skeleton is extracted through the improved ZS thinning algorithm， and a gait feature extraction method based on joint point localization is proposed to apply to the gait classification of key populations. The human skeleton obtained by thinning algorithm is combined with the pedestrian contour map to locate the coordinates of 10 joint points of the whole body. Then the human model could be established. The classification effect is verified by using the time series feature of joint angle， and the experiment is carried out on CASIA-B dataset of Chinese Academy of Sciences. The experimental results show that the gait features extracted in this paper have high recognition performance. The average gait recognition rate is 77.35%， and the average recall rate of gait classification using upper and lower limbs is 84%， which is 38% higher than that using only lower limb information.

Keywords： gait recognition; population classification; joint point location; upper limb characteristic

0? 引? 言

最近幾年，國際局勢的復雜多變對國內安全穩定形勢造成較大壓力，公安部明確規定涉恐人員、涉穩人員、涉毒人員、在逃人員、重大刑事犯罪前科人員、肇事精神病人、重點上訪人員七類人員為重點人員[1]。基于視頻圖像的目標跟蹤技術近年來不斷發展[2]，利用視頻監控進行重點人群分類使視頻監控的利用效率得到提高，且有利于公共場所的安全管理與平穩運轉。利用步態特征進行身份識別是生物特征識別領域的一個研究熱點[3，4]，行人在肌肉力量、肌腱及骨骼、重心等方面的差異可以唯一標識一個人，因此利用這些差異可以搭建出人體運動模型或直接提取特征實現步態識別[5]。與其他生物識別特征相比，步態識別在目標跟蹤方面的優勢體現在遠距離識別、非受控性、無需路人配合及難于隱藏偽裝等[6]。

步態識別的研究方向可以分為基于非模型的和基于模型的方法[7，8]。基于非模型的步態識別方法直接從人體輪廓中提取步態特征，主要分為基于步態圖像序列[9]的方法和基于步態能量圖[10]的方法。基于模型的步態識別方法是對運動學模型的構建，即對人體結構實現建模，并且通過這些模型獲取特征表達，常用的模型包括骨架[11]、橢圓[12]等。

人體運動由骨骼、肌肉以及關節協調完成，根據有關實驗結論[13，14]，人行走過程中，關節角度變化具有穩定性，能夠反映出人行走時的步態變化。在以往的研究中[15，16]，基于視頻的步態特征提取通常聚焦于下肢，上肢在運動過程中的豐富信息被忽略[17]，因此本文根據運動過程中各關節角度的變化，提出一種基于全身模型的步態識別方法進行重點人群分類，首先用改進的ZS細化算法進行人體骨架的提取，其次提出基于細化骨架的關節點定位方法，建立人體模型并計算出關節角度，最后以關節角度時間序列作為步態特征，進行分類識別。在中科院公開的步態數據集中，隨機設定部分人為重點人員驗證分類效果，實驗結果顯示，上下肢特征同時輸入分類器中得到的分類召回率高于單獨使用上肢或下肢特征，并且證明本文算法能夠準確區分重點人群與普通人群。

1? 周期性骨架提取

1.1? 步態周期檢測

步態周期檢測是步態識別任務中的第一個關鍵環節[18]，該環節能夠控制輸入序列的長度并影響識別的精度。通過檢測關鍵狀態可以直接實現步態周期檢測[19]，一個步態周期中的４種關鍵狀態如表1所示。

對人體輪廓的外接矩形的寬高比變化曲線進行自相關分析可以獲取行人的關鍵狀態[20]，寬高比變化圖中第一個極小值點對應幀為步態周期中的狀態1，第二個極大值點為狀態2，第二個極小值點為狀態3，第三個極大值點對應幀為狀態4。一個行人整個行走過程的寬高比變化圖如圖1所示。

從圖1中可以看出，寬高比在第5、17、29、42、53幀達到極大值點，在第11、23、35、48幀達到極小值點，選取第一個極小值點到第三個極大值點之間的所有幀，即可得到該行人在90°視角下一個完整的步態周期，如圖2所示。

1.2? 基于細化算法的人體骨架提取

細化算法[21]是一種能夠保持原二值圖像拓撲結構的骨架提取算法，可應用于人體骨架提取。而ZS細化算法[22]是一種并行算法，運行速度快，且細化后曲線連接性好，但無法保證細化結果為單像素骨架。P1的八鄰域如圖3所示。

ZS細化算法的操作步驟為：

（1）首先將同時滿足以下條件的邊界點進行標記：

a1：2≤N（P1）≤6

a2：S（P1）＝1

a3：P2×P4×P6＝0

a4：P4×P6×P8＝0

a5：P2×P4×P8＝0

a6：P2×P6×P8＝0

其中N（P1）是P1的八鄰域中所有非零點的個數，S（P1）是以P2，P3，…，P9為變化順序時，該點值從0到1變化的次數總和，如果前四個條件中有任意條件不滿足，則S（P1）＝2，像素點P1不會被刪除。

（2）只執行條件a5和a6，對所有邊界點檢驗完畢后，刪除所有標記點。

重復進行這兩個操作，直至沒有邊界點符合標記的條件，則細化過程完畢，未被刪除的點構成骨架，即細化后結果。

條件a1可以保留骨架端點，條件a2可以避免骨架線上端點之間的點被刪除；條件a3的作用是移除圖像中東南邊界的邊界點，條件a4的作用是移除圖像中西北角的邊界點；條件a5、a6使西北角的點或者東南角的點被刪除。

提取結果如圖4所示，可以看出將ZS細化算法用于人體骨架提取，所得人體骨架可以清晰地描述人體骨架的走向并保持原圖像人體結構。

1.3? 基于改進ZS細化算法的周期骨架提取

圖5為ZS細化骨架提取結果，對比原輪廓圖可以看出當一只手臂后擺且與軀干距離較近時，后擺手臂結構易被忽視，如圖6所示，針對后擺手臂缺失的問題，本文對ZS細化算法做出相應的改進。

將條件a1改為3≤N（P1）≤6，該條件使連接數為2的邊界點被保留，同時亦增加圖像中的冗余像素。因此，本文引入消除模板[23]，用來去除骨架斜線處的冗余像素點。消除模板如圖7所示。

消除模板滿足的五個條件為：

b1：（P2＋P8＝1）＆＆（P4＋P5＋P6＋P9＝0）

b2：（P6＋P8＝1）＆＆（P2＋P3＋P4＋P7＝0）

b3：（P6＋P8＝1）＆＆（P2＋P3＋P4＋P7＝0）

b4：（P2＋P4＝1）＆＆（P3＋P6＋P7＋P8＝0）

b5：P2＋P4＋P6＋P8＝3＆＆P3＋P5＋P7＋P9＝0

消除條件b1～b4用于消除斜線冗余像素。當N（P1）＝3時，P1點可能是分叉點或邊界點，因此引入條件b5用于刪除分叉點處的非骨架像素。

當一只手臂后擺且與軀干相連時，改進后的ZS細化算法與ZS細化算法提取骨架的結果如圖8所示。

改進的ZS細化算法增加了消除模板，因此提取人體骨架的時間亦增加，但能夠解決后擺手臂骨架丟失的問題，同時不會增加冗余像素。

2? 步態特征提取

2.1? 基于改進ZS細化算法的周期骨架提取

從解剖學的角度看，人體是由骨、骨連接及骨骼肌組成[24]，骨通過關節連成骨骼，構成人體支架。在運動中，骨起杠桿作用，關節是運動的支點，骨只能在關節上在一定范圍內按一定自由度運動，不能脫離關節[25]。基于這種運動約束，本文根據圖9所示人體骨骼模型和細化所得人體骨架分析行人關節點位置。

人體在行走過程中，后擺大臂與小臂成直線，后擺肘關節點始終在這條直線上，因此本文定位的10個關節點分別為頭部、肩關節點、前擺手肘關節點、兩個手腕關節點、髖關節點、兩個膝關節點、兩個踝關節點。各關節點連接關系如圖10所示。

假設行人全部從右向左行走，以二值圖像的左上頂點為原點（0，0），向右為x軸正方向，向下為y軸正方向，建立坐標系。遍歷行人狀態1圖像中像素為1的點，由式（1）計算可得該行人人體高度H：

H＝ylow－yhigh? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中yhigh為像素點為1的最高點縱坐標，ylow為最低點縱坐標。

肩關節點與髖關節點易受衣著、背包等因素影響，且縱坐標位置可由人體骨骼圖確定，因此根據縱坐標橫向掃描輪廓圖進行定位，其中髖關節點掃描結果有三種[26]，如圖11所示。

圖11中，結果一形成的原因是兩個手臂與軀干重疊或粘連，目標區間即為該掃描區間；結果二是因為一個手臂與軀干重疊或粘連，另一個手臂與軀干分離，目標區間為第二個掃描區間；兩個手臂同時與軀干分離時為掃描結果三，目標區間為最大掃描區間。

肩關節點與髖關節點提取過程如表2所示。

表2中，xsl表示肩部目標區間的左端點橫坐標，Ls代表肩部寬度，xhl表示髖部目標區間的左端點橫坐標，Lhip表示髖部寬度。

當手臂前擺且與軀干分離時，易在骨架圖中尋得指尖Pfinger位置，以指尖Pfinger為圓心，手掌長度0.108H為半徑作圓，該圓與骨架的交點即為前擺手腕關節點Pwrist1。

肘關節是小臂與大臂的交點，大臂在運動時無法脫離肩關節，小臂始終與腕關節相連，因此前肘關節點的定位問題可以用解析幾何來分析，如圖12所示。

已知前擺手腕關節點Pwrist1坐標和肩關節點Pshoulder坐標，小臂長度0.145H，大臂長度0.188H，以Pwrist1為圓心，0.145H為半徑作圓，以Pshoulder為圓心，0.188H為半徑作圓，兩圓在圓心連線下方的交點即為前擺肘關節點Pelbow。

由式（2）（3）（4）（5）分別可計算出頭部中心點、后擺手腕關節點、膝關節點、踝關節點：

Phead＝{（x， y） | y＝0.065H，SK（x， y）＝1}? ? ? ? （2）

Pwrist2＝{（x， y） | SK（x， y）＝1，disk（Pshoulder， Pwrist2）＝0.24H}（3）

Pknee＝{（x， y） | SK（x， y）＝1，disk（Phip， Pknee）＝0.245H}（4）

Pankle＝{（x， y） | SK（x， y）＝1，disk（Pknee， Pankle）＝0.25H}（5）

式中SK（x， y）表示骨架圖中（x， y）坐標點像素值，disk（P1， P2）表示P1與P2之間的距離。

依據上述方法所得關節點與文獻[15]方法相比，本文在下肢關節點定位的基礎上，準確定位頭部、肩部、手腕以及前擺手肘關節點。將各關節點相連，即可得到完整的人體模型，如圖13所示。

2.2? 關節角度計算與時序特征提取

僅通過二值圖像無法判斷左右腳及左右手臂，因此本文僅討論關節點的前后，不考慮左右的區別。本文所用的關節角度如圖14所示。

依據式（6）計算：

（6）

其中（xa， ya）表示在所求夾角邊上的關節點坐標，（xb， yb）表示所求夾角的頂點關節坐標。

由式（6）計算得關節角度在一個步態周期內變化的時間序列，其中大腿和小腿4個關節角度定義為下肢關節角度、手臂、手肘及頸部4個關節角度定義為上肢關節角度，上下肢關節角度和軀干關節角度定義為全身關節角度。關節角度變化對比如圖15所示。

從圖15中可以看出，不同行人的關節角度變化差異較大，而同一行人的時序相似。最直接的特征提取方法是通過基本統計量來進行特征提取[27]，因此本文選擇利用有量綱的時域特征來描述關節角度變化的時間序列，包括最大值、最小值、均值、方差、偏度、峰度以及熵，進行歸一化處理后得到最后的特征向量。

3? 實驗數據統計與分析

本文選擇中科院CASIA-B數據集作為實驗數據集，選取數據集中124個人90°視角下，4個正常行走的序列作為訓練集，1個正常行走的序列作為測試集，以MATLAB 2020b為實驗平臺進行兩部分的實驗。一是對本文方法進行步態識別實驗，用三種不同的分類器驗證與分析本文方法的識別性能；二是進行重點人群步態分類實驗，統計不同的特征分類的召回率和精確率作為實驗結果，分析上下肢與全身關節角度特征對分類結果的影響。

本文方法的步態識別結果如表3所示，從表中看，將全身關節角度作為步態特征進行識別時識別率最高，下肢關節角度識別率最低，使用支持向量機作為分類器時識別率最高，最高識別率為82.26%。

重點人群分類實驗選擇將124個人中的隨機某五個人定義為重點人員，將支持向量機分類得到的標簽作為小標簽，是否為重點人員作為大標簽。例如將前5名認為是重點人員，其實際小標簽為1～5，實際大標簽全為2，若待測樣本中預測小標簽為1～5中的任意數，則該樣本的預測大標簽為2。實驗結果如表4所示。

人群分類的精確率全部達到100%，即所識別的重點人員實際全為重點人員。從表4中看，單獨使用下肢關節角度特征進行步態分類召回率僅為46%，單獨使用上肢關節角度特征召回率則為68%，利用全身關節角度特征進行分類實驗平均召回率能夠達到84%，即能夠在124個人當中找出4.2名重點人員。

從兩個實驗的結果來看，本文方法解決了視頻圖像上肢信息利用率不足的問題，僅利用上肢關節角度進行步態分類時效果并不低于下肢關節角度，甚至優于下肢特征，而全身關節角度可以更好地表示步態特征

4? 結? 論

本文提出了一種基于關節點定位的步態分類方法，通過改進的ZS細化算法獲取完整人體骨架，根據人體骨骼模型定位全身關節點，計算出關節角度，并依據全身關節角度特征進行步態識別，充分利用上肢信息。

首先，根據寬高比變化曲線確定步態周期，在ZS細化算法的基礎上，保留邊界數為2的點，同時引入消除模板，保留后擺手臂結構且去除冗余像素點，得到一個步態周期內的人體骨架信息。

其次，在人體運動約束的基礎上，根據人體骨架信息和輪廓圖定位出全身10個關節點，包括上肢手臂、手肘關節，建立人體模型，以此計算出關節角度并得到關節角度時間序列的統計特征。

最后，本文實驗目的是驗證本文所提取上肢特征對于步態分類的有效性，因此不同于當前步態識別領域的研究成果，僅利用統計特征進行分類驗證，忽略了更多時域和頻域特征。

后續工作包括以下兩點：

（1）進一步提高關節點提取的魯棒性，研究如何在行人背包的狀態下得到精確的關節數據，并從關節角度的時序變化中挖掘出更有效的特征。

（2）在挖掘有效特征的基礎上，尋找精度更高的步態識別方法。

參考文獻：

[1] 陳建，胡長海.淺析新形勢下重點人員動態管控對策 [J].河南警察學院學報，2013，22（4）：57-60.

[2] 李璽，查宇飛，張天柱，等.深度學習的目標跟蹤算法綜述 [J].中國圖象圖形學報，2019，24（12）：2057-2080.

[3] 孫哲南，赫然，王亮，等.生物特征識別學科發展報告 [J].中國圖象圖形學報，2021，26（6）：1254-1329.

[4] 柴艷妹，夏天，韓文英，等.步態識別研究進展 [J].計算機科學，2012，39（6）：10-15+46.

[5] 朱應釗，李嫚.步態識別現狀及發展趨勢 [J].電信科學，2020，36（8）：130-138.

[6] 王科俊，丁欣楠，邢向磊，等.多視角步態識別綜述 [J].自動化學報，2019，45（5）：841-852.

[7] Singh J P，Jain S，Arora S，et al.A survey of behavioral biometric gait recognition： current success and future perspectives [J].Archives of Computational Methods in Engineering，2019，28（1）：1-42.

[8] 李貽斌，郭佳旻，張勤.人體步態識別方法與技術 [J].吉林大學學報：工學版，2020，50（1）：1-18.

[9] 王亮，胡衛明，譚鐵牛.基于步態的身份識別 [J].計算機學報，2003（3）：353-360.

[10] JU H，BIR B. Individual Recognition Using Gait Energy Image [J].Ieee Transactions on Pattern Analysis and Machine Intelligence，2005，28（2）：316-322.

[11] 劉玉棟，蘇開娜，馬麗.一種基于模型的步態識別方法 [J].計算機工程與應用，2005（9）：88-92.

[12] LEE L，GRIMSON W E L. Gait analysis for recognition and classification [C]//Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington：IEEE，2002：1-8.

[13] 楊年峰.人體運動協調規律及其參數化描述 [D].北京：清華大學，2001.

[14] 馬越，丁浩.人行走過程中膝關節角度特征研究 [J].刑事技術，2019，44（4）：322-326.

[15] 周倩，孫運強，姚愛琴，等.基于人體關節點定位的步態識別技術研究 [J].國外電子測量技術，2019，38（1）：52-56.

[16] 初凱.基于下肢關節點運動關系的特定人群步態識別 [J].山東農業大學學報：自然科學版，2020，51（6）：1170-1174.

[17] MOATAZ E，CHRISTOPHER K，JEONGHOON O，et al. Microsoft kinect can distinguish differences in over-ground gait between older persons with and without parkinson's disease [J].Medical Engineering and Physics，2016，44：1-7.

[18] 徐怡博.步態周期檢測方法研究 [D].哈爾濱：哈爾濱工程大學，2018.

[19] 趙喜玲，張曉惠.基于動態特征和靜態特征融合的步態識別方法 [J].湘潭大學自然科學學報，2017，39（4）：89-91.

[20] WANG L，TAN T，NING H Z，et al.Silhouette analysis-based gait recognition for human identification [J].IEEE Trans Pattern Anal Mach Intell，2003，25（12）：1505-1518.

[21] 韓建峰，宋麗麗.改進的字符圖像細化算法 [J].計算機輔助設計與圖形學學報，2013，25（1）：62-66.

[22] ZHANG T Y，SUEN C Y. A fast parallel algorithm for thinning digital patterns [J].Commun ACM，1984，27（3）：236-239.

[23] 常慶賀，吳敏華，駱力明.基于改進ZS細化算法的手寫體漢字骨架提取 [J].計算機應用與軟件，2020，37（7）：107-113+164.

[24] 王晏.人體下肢運動分析[D].大連：大連理工大學，2005.

[25] 王建輝，徐秀林.人體下肢動力學建模與仿真研究現狀 [J].中國康復理論與實踐，2012，18（8）：731-733.

[26] 孫怡，王晏，宋植官.基于圖像信息的人體下肢關節定位 [J].中國生物醫學工程學報，2007（1）：157-160.

[27] 林珠，邢延.數據挖掘中適用于分類的時序數據特征提取方法 [J].計算機系統應用，2012，21（10）：224-229.

作者簡介：劉巖松（1963—），男，漢族，遼寧沈陽人，教授，碩士研究生，研究方向：交通信息工程及控制；沈馨（1995—），女，漢族，江蘇儀征人，碩士在讀，研究方向：交通信息工程及控制；沈喆（1980—），女，漢族，遼寧鞍山人，講師，博士，研究方向：圖像處理。

收稿日期：2022-07-31

基金項目：遼寧省教育廳青年科技人才“育苗”項目（JYT2020130）；痕跡檢驗鑒定技術公安部重點實驗室開放課題（HJKF201907）；公安部文件檢驗重點實驗室開放課題（FTKF202102）