基于超寬帶雷達(dá)的人體動(dòng)作識(shí)別技術(shù)研究?

苗仲菁 馬帥帥 單 濤

（1.航天科工防御技術(shù)研究試驗(yàn)中心 北京 100854）（2.北京理工大學(xué) 北京 100081）

1 引言

人體動(dòng)作識(shí)別就是使用設(shè)備采集人體的動(dòng)作信息，并對(duì)采集到的不同人體動(dòng)作特征進(jìn)行分析和表述，然后根據(jù)不同動(dòng)作的特征使用分類算法對(duì)其進(jìn)行分類和識(shí)別，使得計(jì)算機(jī)能夠自動(dòng)辨別人體行為或動(dòng)作的技術(shù)。人體動(dòng)作識(shí)別技術(shù)是當(dāng)前計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一，受到了學(xué)術(shù)界和工業(yè)界的多方關(guān)注，人體動(dòng)作識(shí)別技術(shù)在最近幾年得到了迅速發(fā)展，在安全監(jiān)控、輔助醫(yī)療、運(yùn)動(dòng)分析等領(lǐng)域有著廣闊的應(yīng)用前景。

2 國(guó)內(nèi)外研究現(xiàn)狀及發(fā)展趨勢(shì)

國(guó)內(nèi)外的研究人員針對(duì)人體動(dòng)作識(shí)別問(wèn)題進(jìn)行了大量研究，并獲得了一系列有價(jià)值的研究成果。根據(jù)應(yīng)用場(chǎng)景和數(shù)據(jù)獲取方式的不同，可大致分為基于可穿戴式傳感器的人體動(dòng)作識(shí)別、基于視頻圖像信息的人體動(dòng)作識(shí)別、基于雷達(dá)傳感器的人體動(dòng)作識(shí)別三類方法。

2.1 基于可穿戴式傳感器的人體動(dòng)作識(shí)別

基于可穿戴式傳感器的人體動(dòng)作識(shí)別方法主要通過(guò)傳感器采集加速度、角度、壓力、高度、多自由度等特征參數(shù)，再利用后端算法對(duì)特征參數(shù)進(jìn)行處理來(lái)完成人體動(dòng)作識(shí)別過(guò)程。人體動(dòng)作信息采集所使用的傳感器主要有慣性傳感器、壓力傳感器、磁性傳感器或其他多傳感器的結(jié)合［1］。新加坡國(guó)立大學(xué)的Shi Yuan Tang等設(shè)計(jì)了一種可穿戴步態(tài)輔助裝置。該裝置通過(guò)腳腕佩戴力敏電阻來(lái)記錄人體行走過(guò)程中的步態(tài)數(shù)據(jù)，然后使用神經(jīng)網(wǎng)絡(luò)進(jìn)行步態(tài)建模，對(duì)步態(tài)數(shù)據(jù)進(jìn)行分析和處理，最終結(jié)果表明兩種模型的驗(yàn)證精度均達(dá)到了80%［2］。

2.2 基于視頻圖像信息的人體動(dòng)作識(shí)別

針對(duì)基于視頻和圖像的人體動(dòng)作識(shí)別，美國(guó)德克薩斯大學(xué)的J.K.Aggarwal等利用人體在視頻圖像上的二維投影來(lái)跟蹤正在移動(dòng)的人體，在人體運(yùn)動(dòng)圖像序列連續(xù)幀之間建立特征對(duì)應(yīng)關(guān)系從而進(jìn)行人體的動(dòng)作識(shí)別［3］。Bobick等將人體動(dòng)作分為運(yùn)動(dòng)歷史圖像和運(yùn)動(dòng)能量圖像兩個(gè)模板，然后使用由Hu-moments定義的特征向量來(lái)識(shí)別人體的運(yùn)動(dòng)［4］。由于運(yùn)動(dòng)歷史圖像存在自遮擋覆蓋問(wèn)題，T.Ogata等在此基礎(chǔ)上提出了定向運(yùn)動(dòng)歷史圖像來(lái)解決自遮擋問(wèn)題［5］，日本九州工業(yè)大學(xué)的Makoto Mu?rakami等提出了一種基于定向運(yùn)動(dòng)歷史圖像的人體動(dòng)作識(shí)別方法，利用攝像機(jī)采集了行走、跳躍、坐下等五種動(dòng)作，通過(guò)調(diào)整圖形幀間隔來(lái)對(duì)圖形進(jìn)行匹配，識(shí)別準(zhǔn)確率達(dá)到了93%［6］。2016年，張良等分別針對(duì)單人和多人動(dòng)作識(shí)別，在KTH數(shù)據(jù)集和UT-interaction數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，使用增強(qiáng)單詞包算法進(jìn)一步提高了人體動(dòng)作識(shí)別的準(zhǔn)確率［7］。

2.3 基于雷達(dá)傳感器的人體動(dòng)作識(shí)別

針對(duì)基于視頻圖像和穿戴式傳感器動(dòng)作識(shí)別方法的不足，研究人員開(kāi)始使用雷達(dá)對(duì)人體行為動(dòng)作進(jìn)行監(jiān)測(cè)和分析。J.L.Geisheimer等使用一種工作在10.5GHz附近的全相干連續(xù)波雷達(dá)，記錄了人類行走步態(tài)所對(duì)應(yīng)的雷達(dá)信號(hào)，利用短時(shí)傅里葉變換和Chirplet變換等信號(hào)處理技術(shù)從信號(hào)中提取了人體步態(tài)的各種參數(shù)，得到了人體步態(tài)運(yùn)動(dòng)的模型［8］。浙江大學(xué)的Gu Z等在2018年使用多普勒雷達(dá)對(duì)人體手勢(shì)進(jìn)行識(shí)別，提出了一種基于單輸入多輸出前端的盲分離算法，對(duì)不同運(yùn)動(dòng)引起的多普勒信號(hào)進(jìn)行分離，將手勢(shì)與干擾動(dòng)作分離的實(shí)驗(yàn)驗(yàn)證了該方法的有效性［9］。

因?yàn)槔走_(dá)具有隱私保護(hù)性好、成本較低、使用方便等優(yōu)點(diǎn)，在動(dòng)作識(shí)別領(lǐng)域有著廣闊的應(yīng)用前景。本文選用超寬帶雷達(dá)對(duì)人體不同行為動(dòng)作進(jìn)行了檢測(cè)，通過(guò)對(duì)雷達(dá)回波信號(hào)進(jìn)行濾波處理、多域分析、特征提取和機(jī)器學(xué)習(xí)分類識(shí)別，對(duì)人體動(dòng)作的識(shí)別進(jìn)行了深入研究。

3 人體動(dòng)作數(shù)據(jù)采集及信號(hào)預(yù)處理

3.1 實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)采集

本文選擇樓內(nèi)辦公區(qū)作為人體動(dòng)作數(shù)據(jù)采集環(huán)境，實(shí)驗(yàn)場(chǎng)景相關(guān)指標(biāo)如表1所示。

表1 實(shí)驗(yàn)場(chǎng)景相關(guān)指標(biāo)

實(shí)驗(yàn)場(chǎng)景搭建完成后，對(duì)人體多種動(dòng)作進(jìn)行了采集，實(shí)驗(yàn)共采集了15位測(cè)試人員的人體動(dòng)作數(shù)據(jù)，為了凸顯數(shù)據(jù)的多樣性，15位測(cè)試者為隨機(jī)選取。每位測(cè)試者都采集了多種類型人體動(dòng)作數(shù)據(jù)，采集的動(dòng)作種類和數(shù)量如表2所示，本文將以跌倒動(dòng)作為例進(jìn)行信號(hào)預(yù)處理分析和特征參數(shù)提取，其他動(dòng)作數(shù)據(jù)類似。

表2 實(shí)驗(yàn)采集動(dòng)作種類和數(shù)量

3.2 人體動(dòng)作回波信號(hào)預(yù)處理

超寬帶雷達(dá)發(fā)射的脈沖信號(hào)，經(jīng)過(guò)人體和環(huán)境的反射后，通過(guò)接收天線對(duì)雷達(dá)回波進(jìn)行接收，將采集到的所有連續(xù)幀數(shù)據(jù)rm(m=1,2,3,…,M)組合起來(lái)，就得到了一個(gè)M×N的二維數(shù)據(jù)矩陣。

式中R代表雷達(dá)回波數(shù)據(jù)構(gòu)成的矩陣，rm代表每幀雷達(dá)信號(hào)

圖1為人體動(dòng)作回波其中一個(gè)距離單元的信號(hào)波形。圖1中橫坐標(biāo)為慢時(shí)間采樣脈沖數(shù)，縱坐標(biāo)為回波信號(hào)的幅度。本文所用超寬帶雷達(dá)系統(tǒng)采集的回波共有91個(gè)距離單元，圖2為跌倒動(dòng)作的距離單元-脈沖圖。

圖1 單個(gè)距離單元雷達(dá)回波波形

圖2 人體跌倒動(dòng)作雷達(dá)回波信號(hào)距離單元-脈沖圖

3.3 雷達(dá)回波信號(hào)的濾波處理

對(duì)人體動(dòng)作進(jìn)行分類識(shí)別之前，首先需要對(duì)雷達(dá)回波進(jìn)行濾波處理，其目的是消除環(huán)境中靜止目標(biāo)的回波，本文使用動(dòng)目標(biāo)顯示（Moving Target In?dication，MTI）對(duì)雷達(dá)回波進(jìn)行濾波處理。MTI通過(guò)對(duì)回波脈沖之間相減，使得靜止目標(biāo)的回波得到抑制［10］，MTI單延遲線濾波器原理如圖3所示。

圖3 單延遲線濾波器原理圖

圖3中，xt是t時(shí)刻的雷達(dá)回波信號(hào)，yt為t時(shí)刻脈沖對(duì)消后的回波結(jié)果，延遲T時(shí)間的回波信號(hào)用xt+T來(lái)表示，具體表達(dá)式如下

使用脈沖對(duì)消方法對(duì)二維數(shù)據(jù)矩陣進(jìn)行處理，其過(guò)程如式（4）所示。

式中N為距離單元的總數(shù)。圖4為對(duì)人體跌倒動(dòng)作雷達(dá)回波進(jìn)行MTI濾波處理后的距離單元-脈沖結(jié)果。

圖4 脈沖對(duì)消后人體行走動(dòng)作的距離單元-脈沖圖

對(duì)比圖2和圖4，環(huán)境中雜波得到了有效的抑制，人體的運(yùn)動(dòng)信息得到了保留。

4 基于機(jī)器學(xué)習(xí)的人體動(dòng)作識(shí)別算法研究

4.1 基于多域峰值點(diǎn)跟蹤算法的特征分析

根據(jù)人體不同動(dòng)作的差異性，本文使用人體動(dòng)作的時(shí)間、距離、頻率特征來(lái)對(duì)人體動(dòng)作進(jìn)行識(shí)別，針對(duì)這三類參數(shù)的特征提取，提出了一種多域峰值點(diǎn)跟蹤算法，首先根據(jù)傅里葉變換可以得到預(yù)處理后人體動(dòng)作信號(hào)的頻率信息，對(duì)跌倒動(dòng)作數(shù)據(jù)截取前50個(gè)脈沖進(jìn)行500點(diǎn)FFT得到圖5所示結(jié)果。

圖5 取跌倒動(dòng)作前50脈沖傅里葉變換分析結(jié)果

根據(jù)圖5結(jié)果，能夠得到一個(gè)多普勒頻率峰值點(diǎn)，受到短時(shí)傅里葉變換原理的啟發(fā)，對(duì)人體跌倒動(dòng)作信號(hào)每次步進(jìn)3個(gè)脈沖進(jìn)行FFT分析，每次步進(jìn)時(shí)在正負(fù)1個(gè)距離單元、正負(fù)2脈沖的范圍內(nèi)對(duì)峰值點(diǎn)進(jìn)行跟蹤記錄。根據(jù)距離單元、脈沖數(shù)、FFT結(jié)果分別能夠確定峰值點(diǎn)的距離特征、時(shí)間特征、多普勒頻率特征。最終就得到了跌倒動(dòng)作的峰值點(diǎn)時(shí)間-頻率-距離結(jié)果，其三維散點(diǎn)圖如圖6所示。

圖6 跌倒動(dòng)作的時(shí)間、距離、頻率三維散點(diǎn)圖

使用峰值點(diǎn)跟蹤算法對(duì)人體動(dòng)作回波進(jìn)行分析，可以避免人體動(dòng)作的微多普勒對(duì)結(jié)果造成影響，且能夠在獲取時(shí)間、頻率特征的同時(shí)得到目標(biāo)的距離特征信息。

本文在時(shí)間、距離、頻率三個(gè)維度上定義了三種特征參數(shù)，分別為：最大多普勒頻移、動(dòng)作持續(xù)時(shí)間、最大距離變化。最大多普勒頻移定義為

動(dòng)作持續(xù)時(shí)間的定義為

最大距離變化參數(shù)的定義為

多普勒頻移代表了不同動(dòng)作的速度差；動(dòng)作持續(xù)時(shí)間代表了動(dòng)作時(shí)間的快慢；而最大距離變化參數(shù)代表了人體動(dòng)作的運(yùn)動(dòng)幅度，都是區(qū)分人體動(dòng)作的重要特征。

針對(duì)前文采集的四種動(dòng)作共800組人體動(dòng)作數(shù)據(jù)，進(jìn)行多域峰值點(diǎn)跟蹤和特征參數(shù)提取，構(gòu)造人體動(dòng)作特征數(shù)據(jù)集，每種動(dòng)作各選150組作為訓(xùn)練樣本，剩下的50組作為測(cè)試樣本。

4.2 支持向量機(jī)分類算法

支持向量機(jī)（Support Vector Machine，SVM）是一種常用的機(jī)器學(xué)習(xí)分類算法，目前廣泛使用的SVM版本是由Corinna Cortes和Vapnik在1993年提出［11］。根據(jù)4.1小節(jié)建立的人體動(dòng)作數(shù)據(jù)集，使用SVM對(duì)其進(jìn)行分類處理。在分類過(guò)程中使用10折交叉驗(yàn)證方法對(duì)分類器模型進(jìn)行驗(yàn)證。

表3為支持向量機(jī)算法對(duì)四種人體動(dòng)作訓(xùn)練樣本的的分類結(jié)果。

表3 支持向量機(jī)算法對(duì)四種人體動(dòng)作分類準(zhǔn)確率

表3中的支持向量機(jī)算法分別使用了不同的核函數(shù)。分類準(zhǔn)確率最高的是高斯核函數(shù)，通過(guò)對(duì)高斯核函數(shù)的σ參數(shù)進(jìn)行優(yōu)化，使得總體分類準(zhǔn)確率達(dá)到了94%，圖7為σ=0.5時(shí)，高斯核函數(shù)SVM分類結(jié)果的混淆矩陣。

圖7 高斯核函數(shù)SVM分類結(jié)果混淆矩陣

除了混淆矩陣外，受試者工作特征（Receiver Operating Characteristic，ROC）曲線和ROC曲線下面積（Area Under Curve，AUC）也是分類器模型的重要評(píng)判指標(biāo)［12］。圖8為σ=0.5時(shí)SVM分類器對(duì)跌倒動(dòng)作的ROC曲線和AUC結(jié)果。

圖8 跌倒動(dòng)作的ROC曲線以及AUC結(jié)果

從ROC曲線結(jié)果可以看出跌倒動(dòng)作的AUC為1，說(shuō)明該分類器對(duì)人體跌倒動(dòng)作的識(shí)別效果非常好。為了測(cè)試該分類器模型的實(shí)際性能，使用4.1節(jié)構(gòu)造的測(cè)試數(shù)據(jù)集對(duì)分類器進(jìn)行驗(yàn)證，最終結(jié)果如表4所示。

表4 高斯核函數(shù)SVM分類器對(duì)測(cè)試樣本分類準(zhǔn)確率

從表中結(jié)果可以看出，使用高斯核函數(shù)的支持向量機(jī)方法對(duì)人體動(dòng)作有著較高的識(shí)別準(zhǔn)確率，對(duì)跌倒動(dòng)作的識(shí)別準(zhǔn)確率達(dá)到了98%，其他三種動(dòng)作的識(shí)別準(zhǔn)確率均超過(guò)了90%。這一結(jié)果說(shuō)明了使用超寬帶雷達(dá)對(duì)多種人體動(dòng)作進(jìn)行識(shí)別是可行的。

5 結(jié)語(yǔ)

人體動(dòng)作識(shí)別技術(shù)是當(dāng)前的研究熱點(diǎn)之一，國(guó)內(nèi)外研究人員在該領(lǐng)域取得了一系列研究成果，但是目前基于雷達(dá)的人體動(dòng)作識(shí)別技術(shù)仍然存在識(shí)別動(dòng)作種類單一的問(wèn)題。本文在總結(jié)國(guó)內(nèi)外相關(guān)研究的基礎(chǔ)上，對(duì)基于超寬帶雷達(dá)的人體動(dòng)作識(shí)別技術(shù)進(jìn)行了研究，結(jié)合實(shí)際應(yīng)用場(chǎng)景和人體動(dòng)作特征，在雜波抑制和時(shí)頻分析的基礎(chǔ)上提出了一種多域峰值點(diǎn)跟蹤特征提取算法，最后利用機(jī)器學(xué)習(xí)分類算法完成了人體動(dòng)作識(shí)別。通過(guò)對(duì)三種分類器的分類準(zhǔn)確率、ROC曲線、AUC進(jìn)行對(duì)比以及測(cè)試樣本驗(yàn)證，最終得到了性能最佳的分類器模型，提高了人體動(dòng)作識(shí)別的準(zhǔn)確率。