基于FMCW雷達(dá)的人體復(fù)雜動(dòng)作識(shí)別

丁晨旭,張遠(yuǎn)輝,孫哲濤,劉 康

(中國(guó)計(jì)量大學(xué),浙江杭州 310018)

0 引言

近些年來(lái)，隨著無(wú)人駕駛領(lǐng)域的興起，毫米波雷達(dá)相關(guān)技術(shù)也隨之飛速發(fā)展，其中77 GHz FMCW雷達(dá)更是成為了業(yè)界的主流。由于毫米波雷達(dá)具有高探測(cè)精度等特點(diǎn)，使得其在除輔助駕駛之外，還能應(yīng)用于人體動(dòng)作識(shí)別領(lǐng)域。相比于利用攝像機(jī)來(lái)進(jìn)行人體動(dòng)作識(shí)別，毫米波雷達(dá)不僅具有不受視距和光線影響等特點(diǎn)，還能在很大程度上保護(hù)用戶的個(gè)人隱私[1]。

利用毫米波雷達(dá)來(lái)進(jìn)行人體動(dòng)作檢測(cè)的關(guān)鍵在于從雷達(dá)采樣數(shù)據(jù)中處理得到微多普勒特征。針對(duì)利用微多普勒特征來(lái)進(jìn)行動(dòng)作識(shí)別，國(guó)內(nèi)外相關(guān)研究者作了許多研究。已有研究者[2]將人體動(dòng)作雷達(dá)采樣數(shù)據(jù)通過短時(shí)傅里葉變換后，直觀地從微多普勒譜圖中提取相關(guān)標(biāo)量指標(biāo)來(lái)作為特征，但其提取的特征主觀性太強(qiáng)，不適合部分復(fù)雜動(dòng)作檢測(cè)。文獻(xiàn)[3]將頻譜質(zhì)心、帶寬、頻譜圖的熵、SVD分解后所求得的統(tǒng)計(jì)量作為特征來(lái)進(jìn)行動(dòng)作識(shí)別，但其經(jīng)分類器分類后的識(shí)別準(zhǔn)確率不高。也有研究者[4]從微多普勒譜圖的3D圖形著手，使用點(diǎn)描述算法來(lái)得到一些譜圖三維形狀的標(biāo)量屬性，以此作為特征。其算法較為復(fù)雜，且提取的特征不夠直觀。將深度學(xué)習(xí)和人體動(dòng)作微多普勒譜圖相聯(lián)系來(lái)進(jìn)行研究[5]也是當(dāng)前比較流行的一種方式，盡管其分類準(zhǔn)確率高，但對(duì)大量訓(xùn)練數(shù)據(jù)集的要求及對(duì)計(jì)算機(jī)的性能需求也不容小覷。

針對(duì)上述問題，提出一種基于77 GHz FMCW雷達(dá)的人體復(fù)雜動(dòng)作識(shí)別方案。首先，基于FMCW信號(hào)模型采用一種以RDM(Range Doppler Map)向速度維投影的方式，逐幀構(gòu)建微多普勒譜圖。再結(jié)合雷達(dá)實(shí)測(cè)數(shù)據(jù)深入分析，并從各類動(dòng)作產(chǎn)生的微多普勒譜圖中提取用于表征整個(gè)動(dòng)作頻譜相關(guān)信息的特征矢量。最后，利用經(jīng)貝葉斯超參數(shù)優(yōu)化后的支持向量機(jī)來(lái)進(jìn)行分類驗(yàn)證，并篩選得到最優(yōu)的特征矢量組合。實(shí)驗(yàn)結(jié)果表明，從動(dòng)作譜圖中所提取的各個(gè)特征矢量對(duì)人體動(dòng)作的正確分類有很大的貢獻(xiàn)，經(jīng)篩選得到的最優(yōu)特征矢量組合能在最大程度上提高分類準(zhǔn)確率。

1 FMCW信號(hào)模型及建立微多普勒譜圖

1.1 FMCW信號(hào)模型

FMCW雷達(dá)采用連續(xù)波體制，擁有較大的帶寬、幾乎不存在測(cè)距盲區(qū)、高距離分辨率以及低發(fā)射功率等特點(diǎn)，完全可應(yīng)用于近距離檢測(cè)人體動(dòng)作實(shí)驗(yàn)。假設(shè)其發(fā)射鋸齒形線性調(diào)頻連續(xù)波，其發(fā)射信號(hào)[6]可表示為

(1)

式中，AT表示發(fā)射功率，fc表示Chirp的起始頻率，B表示Chirp的帶寬，Tc表示Chirp的持續(xù)時(shí)間，φ(t)表示相位噪音。

相應(yīng)地，雷達(dá)將接收到該延時(shí)的，且經(jīng)縮放后的發(fā)射信號(hào)，即回波信號(hào)，其公式為

(2)

式中，td=2R(t)/c，用以表示信號(hào)在與距離雷達(dá)R(t)處的目標(biāo)之間的往返時(shí)間，α則與回波損耗有關(guān)。將如上xT(t)及xR(t)混頻后再結(jié)合I/Q信號(hào)分析，其差拍信號(hào)可近似表示為

y(t)=ARej(2πfbt+φb(t)+Δφ(t))

(3)

此處差頻fb=2BR(t)/(cTc)，AR表示接收功率，相位φb(t)=2πfctd+πBtd2/Tc。在近距離檢測(cè)人體動(dòng)作的實(shí)驗(yàn)中，上述的殘留相位噪音 Δφ(t)可近似忽略。相應(yīng)地，φb中的πBtd2/Tc項(xiàng)由于在實(shí)際狀況下很小，亦可將其忽略。

綜上，最后可將該差拍信號(hào)描述為雷達(dá)采樣數(shù)據(jù)矩陣的形式:

(4)

式中，n表示快時(shí)間采樣軸上對(duì)應(yīng)的標(biāo)號(hào)，m表示慢時(shí)間采樣軸上對(duì)應(yīng)的標(biāo)號(hào)，Tf表示快時(shí)間采樣軸上的ADC采樣時(shí)間間隔，Ts表示慢時(shí)間采樣軸上的采樣時(shí)間間隔。

1.2 構(gòu)建微多普勒譜圖

針對(duì)上文所描述的雷達(dá)采樣數(shù)據(jù)矩陣Y，包含該FMCW雷達(dá)于單幀狀況下的所有采樣數(shù)據(jù)。現(xiàn)對(duì)其于快時(shí)間維上的所有列數(shù)據(jù)加上漢寧窗，執(zhí)行Range FFT[7]，繼而在慢時(shí)間維上的所有行數(shù)據(jù)加上漢寧窗后執(zhí)行Doppler FFT并將零頻分量搬至頻譜中心，從而得到相應(yīng)的RDM(Range Doppler Map)，該RDM可直觀地描述對(duì)應(yīng)幀下所有人體散射點(diǎn)的距離、速度相關(guān)信息。此處用RD(i,j,t)來(lái)表示在t幀下位于RDM中第ith距離門、jth速度門下的信號(hào)功率值。

本文僅針對(duì)單個(gè)人體目標(biāo)進(jìn)行研究，將所得每幀下的RDM向距離維投影并按列逐幀積累，可得到單目標(biāo)運(yùn)動(dòng)軌跡圖，如圖1所示。橫軸表示對(duì)應(yīng)的幀標(biāo)號(hào)，縱軸表示其距離門標(biāo)號(hào)對(duì)應(yīng)的目標(biāo)距離雷達(dá)的徑向距離。其計(jì)算公式為

(5)

從單目標(biāo)運(yùn)動(dòng)軌跡圖中可得到其目標(biāo)在運(yùn)動(dòng)中距離雷達(dá)的最小/最大徑向距離所對(duì)應(yīng)的距離門標(biāo)號(hào)，此處記為imin及imax。據(jù)此提取目標(biāo)運(yùn)動(dòng)范圍內(nèi)的RDM，并進(jìn)一步將提取的RDM向速度維投影并按列逐幀積累，則可得到目標(biāo)運(yùn)動(dòng)產(chǎn)生的微多普勒譜圖,如圖2所示。橫軸代表對(duì)應(yīng)的幀號(hào)，縱軸表示其速度門標(biāo)號(hào)對(duì)應(yīng)的速度值，正值表示遠(yuǎn)離雷達(dá)，負(fù)值表示接近雷達(dá)。其具體公式為

(6)

圖1 單目標(biāo)運(yùn)動(dòng)軌跡示意圖

圖2 微多普勒譜圖示意圖

從FMCW雷達(dá)收發(fā)信號(hào)到微多普勒譜圖的構(gòu)建的整個(gè)流程圖如圖3所示。

圖3 微多普勒譜圖構(gòu)建流程

2 微多普勒特征矢量提取

引入公式v=λ/(2MTc)×j，其中v表示速度門標(biāo)號(hào)j對(duì)應(yīng)的實(shí)際速度值，λ表示雷達(dá)工作頻率對(duì)應(yīng)的波長(zhǎng)，M表示單幀下的Chirp總數(shù)，Tc表示發(fā)送的相鄰Chirp間的時(shí)間差。由此可將公式(6)中的DP(t,j)轉(zhuǎn)變?yōu)镈P(t,v)，以便于后續(xù)描述。

2.1 軀干微多普勒特征矢量

從圖2中的微多普勒譜圖示意圖中觀測(cè)可得，零速度層附近顏色較深的曲線，可表征為軀干微多普勒曲線。本文用速度質(zhì)心[8]序列來(lái)近似描述該軀干微多普勒曲線vtorso(t)，將該序列作為從譜圖中所提取的軀干微多普勒特征矢量，其公式為

(7)

2.2 肢體微多普勒特征矢量

相應(yīng)地，可觀察到譜圖中，許多速度分量基于軀干微多普勒曲線向四周延伸，可表征為肢體微多普勒曲線。本文提出如下公式來(lái)近似描述該肢體微多普勒曲線vlimb(t)，將該序列作為從譜圖中所提取的肢體微多普勒特征矢量:

t=1,2,…,T

(8)

2.3 微多普勒譜圖SVD分解

對(duì)微多普勒譜圖運(yùn)用SVD分解[9]，可將其譜圖中包含的人體動(dòng)作頻率相關(guān)信息、時(shí)間相關(guān)信息解耦并投影到左右奇異矢量上，使對(duì)應(yīng)的左奇異矢量表示頻率相關(guān)抽象信息，而右奇異矢量表示時(shí)間相關(guān)抽象信息。其分解公式為

DP=USVT

(9)

式中，U代表左奇異矩陣，S代表奇異值對(duì)角矩陣，V代表右奇異矩陣。

本文選取U矩陣和V矩陣中的前三個(gè)奇異矢量來(lái)作為從微多普勒譜圖中所提取的用于表述時(shí)間、頻率相關(guān)抽象信息的特征矢量，將這些特征矢量分別記為U1，U2，U3，V1，V2，V3。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 信號(hào)采集與處理

實(shí)驗(yàn)中用于進(jìn)行人體動(dòng)作信號(hào)采集的設(shè)備為Texas Instruments公司所研發(fā)的AWR1642BOOST雷達(dá)傳感器模塊以及DCA1000EVM數(shù)據(jù)采集適配器模塊。設(shè)定該雷達(dá)傳感器的工作起始頻率為77 GHz、帶寬為4 GHz，單位Chirp下的采樣數(shù)為256，單位幀下的Chirp數(shù)為128，幀周期為30 ms，每個(gè)動(dòng)作下捕獲150幀數(shù)據(jù)。于該配置下，速度分辨率為0.071 m/s，最大無(wú)模糊速度可達(dá)±4.564 m/s，每次固定采集數(shù)據(jù)時(shí)長(zhǎng)為4.5 s。

本次實(shí)驗(yàn)于室內(nèi)進(jìn)行，在雷達(dá)的扇形掃射面內(nèi)除測(cè)試者外無(wú)其他運(yùn)動(dòng)目標(biāo)。將雷達(dá)置于距離地面0.8 m的桌面上，且測(cè)試者在雷達(dá)正前方1.5～4.0 m范圍內(nèi)執(zhí)行動(dòng)作。共有12名志愿者參與本次數(shù)據(jù)采集，測(cè)試者中身高跨度為1.53～1.85 m，體重跨度為41～83 kg，年齡均在23歲左右。實(shí)驗(yàn)過程中共采集了9類動(dòng)作，測(cè)試者將每類動(dòng)作各重復(fù)執(zhí)行8次，則一共測(cè)得864組數(shù)據(jù)。將所采集的數(shù)據(jù)通過圖3所示過程構(gòu)建微多普勒譜圖，此處為了消除信號(hào)在幅值上的敏感性，將微多普勒譜圖中所有點(diǎn)的幅值都映射至[1,100]，且最終得到的所有數(shù)據(jù)樣本大小均為101×150。如圖4所示，為實(shí)驗(yàn)中的9種動(dòng)作描述。對(duì)所采集的數(shù)據(jù)進(jìn)行處理后，各動(dòng)作對(duì)應(yīng)的微多普勒譜圖如圖5所示。

3.2 特征矢量提取

圖5所示的人體動(dòng)作微多普勒譜圖形態(tài)會(huì)由于測(cè)試者的性別、身高、健康狀態(tài)等因素而存在少許差異，但這并不會(huì)改變其整體的走向，故所提取的微多普勒特征矢量將能很好地表述一個(gè)動(dòng)作的發(fā)生。

圖4 9種實(shí)測(cè)人體動(dòng)作描述

圖5 9種實(shí)測(cè)人體動(dòng)作微多普勒譜圖

此處取圖5(a)所示的來(lái)回行走微多普勒譜圖作為示例來(lái)闡述從中提取的特征矢量，結(jié)果如圖6所示。

圖6 人體動(dòng)作微多普勒特征矢量描述示意圖

圖6(a)表示所示例的來(lái)回行走微多普勒譜圖，根據(jù)公式(7)從該微多普勒譜圖中提取軀干微多普勒特征矢量，其表述的曲線如圖6(b)所示。同理，根據(jù)公式(8)從譜圖中提取肢體微多普勒特征矢量，其表述的曲線如圖6(c)所示。將微多普勒譜圖經(jīng)公式(9)所表述方式分解為U、S、V矩陣，取U、V矩陣前三個(gè)奇異矢量及S矩陣前三個(gè)奇異值來(lái)重構(gòu)微多普勒譜圖，所得到的重構(gòu)譜圖如圖6(d)所示，不難看出，U、V矩陣前三個(gè)奇異矢量實(shí)則包含了大量譜圖中的時(shí)間、頻率相關(guān)信息，已基本上可以用來(lái)表征原始的微多普勒譜圖。

綜上，結(jié)合實(shí)驗(yàn)中所配置的雷達(dá)參數(shù)，可以得到各特征矢量的長(zhǎng)度，如表1所述。

表1 所提取的特征矢量長(zhǎng)度描述

3.3 利用支持向量機(jī)進(jìn)行分類

3.3.1 數(shù)據(jù)集劃分及分類策略擬定

將實(shí)驗(yàn)所測(cè)得的所有動(dòng)作數(shù)據(jù)樣本通過處理得到微多普勒譜圖，并在此基礎(chǔ)上提取特征矢量后，按如下兩種方式劃分為訓(xùn)練集和測(cè)試集：

1) 方案1：描述對(duì)已知個(gè)體的預(yù)測(cè)性能。將各個(gè)測(cè)試者所執(zhí)行的每類動(dòng)作中的隨機(jī)6組數(shù)據(jù)樣本作為訓(xùn)練集，剩余2組數(shù)據(jù)樣本作為測(cè)試集。

2) 方案2：描述對(duì)未知個(gè)體的預(yù)測(cè)性能。將隨機(jī)9個(gè)測(cè)試者所執(zhí)行的所有動(dòng)作數(shù)據(jù)樣本作為訓(xùn)練集，剩余3個(gè)測(cè)試者所執(zhí)行的所有動(dòng)作數(shù)據(jù)樣本作為測(cè)試集。

支持向量機(jī)(SVM)是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上一種機(jī)器學(xué)習(xí)方法，在訓(xùn)練集樣本較少的情況下也能進(jìn)行良好的統(tǒng)計(jì)和預(yù)測(cè)學(xué)習(xí)。其中，針對(duì)核函數(shù)的選取不同，其分類的性能也會(huì)發(fā)生較大的差異。

針對(duì)利用SVM進(jìn)行如上9類動(dòng)作的分類問題，采用高斯徑向基核函數(shù)，構(gòu)建9個(gè)二分類器，將各個(gè)分類器所對(duì)應(yīng)的動(dòng)作類別設(shè)置為正類，而其他8種動(dòng)作類別則設(shè)置為負(fù)類，最終將置信度最大的類別判決為最終分類結(jié)果。為了進(jìn)一步提升SVM分類性能，本文采用貝葉斯超參數(shù)調(diào)整[10]來(lái)選擇最優(yōu)框約束參數(shù)和核尺度參數(shù)。貝葉斯超參數(shù)調(diào)整基于目標(biāo)函數(shù)的歷史評(píng)估結(jié)果來(lái)建立新的概率模型，用以將目標(biāo)函數(shù)值最小化，此處的目標(biāo)函數(shù)即為所構(gòu)建的SVM模型在調(diào)用當(dāng)前調(diào)試的超參數(shù)下的五折交叉驗(yàn)證損失。

3.3.2 特征矢量篩選

從微多普勒譜圖中所提取的8種特征矢量，均能從各個(gè)方面來(lái)表述譜圖相關(guān)信息，對(duì)動(dòng)作分類都能發(fā)揮一定的作用。然而，直接將每個(gè)樣本所提取的8種特征矢量進(jìn)行組合作為輸入來(lái)訓(xùn)練SVM，則會(huì)產(chǎn)生以下結(jié)果：1) 8種特征矢量組合最終產(chǎn)生的向量維數(shù)過高，降低運(yùn)算效率。2) 8種特征矢量中必定存在冗余特征矢量，這將產(chǎn)生過擬合現(xiàn)象，降低模型的泛化性能。

綜上，分別研究將單個(gè)特征矢量作為分類器輸入時(shí)以及將各特征矢量進(jìn)行組合來(lái)作為分類器輸入時(shí)對(duì)總體分類準(zhǔn)確率的影響。如圖7(a)所示，描述了數(shù)據(jù)集在如上兩種不同劃分方案下各單特征矢量與總體樣本分類準(zhǔn)確率之間的關(guān)系。圖7(b)描述了8種特征矢量的247種組合與總體樣本分類準(zhǔn)確率之間的關(guān)系。輸出結(jié)果表明，特征矢量vtorso、U1、U2對(duì)各動(dòng)作的正確分類具有較大的貢獻(xiàn)，而剩余5個(gè)特征矢量所作出的貢獻(xiàn)相對(duì)較低，特別是V2、V3特征矢量可能對(duì)動(dòng)作正確分類所起到的作用不大。分析圖7(b)所示的特征矢量組合結(jié)果可得，不論是以方案1還是方案2方式對(duì)數(shù)據(jù)集進(jìn)行劃分，均在第29個(gè)組合位置處產(chǎn)生最高總體準(zhǔn)確率，該組合下的特征矢量分別為軀干微多普勒特征矢量vtorso、肢體微多普勒特征矢量vlimb、U1特征矢量。值得一提的是，從該圖中可以看到總體分類準(zhǔn)確率隨組合標(biāo)號(hào)呈現(xiàn)類似周期性的波動(dòng)，其產(chǎn)生的原因是：組合中包含U1特征矢量時(shí)將處于峰值位置，組合中包含V3特征矢量時(shí)將處于谷值位置。此處結(jié)合圖7(a)綜合分析可得，單特征矢量分類狀況下相對(duì)較差的特征矢量在與其他特征矢量進(jìn)行組合時(shí)，可提高總體分類準(zhǔn)確率。

(a) 單特征矢量與總體分類準(zhǔn)確率關(guān)系直方圖

(b) 各特征矢量組合與總體分類準(zhǔn)確率關(guān)系圖 圖7 單特征矢量及各特征矢量組合總體分類 準(zhǔn)確率相關(guān)圖

3.3.3 人體動(dòng)作識(shí)別結(jié)果

基于上述的特征矢量篩選，已取得優(yōu)異的特征矢量組合，即軀干微多普勒特征矢量vtorso、肢體微多普勒特征矢量vlimb、U1特征矢量組合。現(xiàn)針對(duì)上述的數(shù)據(jù)集劃分方案1及方案2，利用該優(yōu)異特征矢量組合，來(lái)進(jìn)行對(duì)測(cè)試集中的各數(shù)據(jù)樣本進(jìn)行識(shí)別測(cè)試。圖8(a)表示根據(jù)方案1的數(shù)據(jù)集劃分方式所得到的各動(dòng)作混淆矩陣圖。圖8(b)則是根據(jù)方案2的數(shù)據(jù)集劃分方式得到的結(jié)果。各混淆矩陣縱軸表示如圖4所描述的各類動(dòng)作的真實(shí)歸屬類別，橫軸表示各動(dòng)作的預(yù)測(cè)類別，矩陣中的值表示將真實(shí)類別判定為對(duì)應(yīng)預(yù)測(cè)類別的百分比，例如0.96則代表96%。結(jié)果表明，對(duì)已知個(gè)體的各動(dòng)作識(shí)別總體準(zhǔn)確率高達(dá)99.07%，對(duì)未知個(gè)體的各動(dòng)作識(shí)別總體準(zhǔn)確率為96.76%。且除向前跳躍和鞠躬?jiǎng)幼魍猓渌麆?dòng)作的分類準(zhǔn)確率均為100%，說(shuō)明本文方法不管對(duì)已知個(gè)體還是未知個(gè)體的動(dòng)作都能有較好的識(shí)別準(zhǔn)確性。

(a) 對(duì)已知個(gè)體的各動(dòng)作識(shí)別混淆矩陣

(b) 對(duì)未知個(gè)體的各動(dòng)作識(shí)別混淆矩陣圖8 兩種數(shù)據(jù)集劃分方案下的混淆矩陣圖

3.3.4 算法比對(duì)

為了檢驗(yàn)本文所提出的基于譜圖特征矢量的動(dòng)作分類方法是否優(yōu)于其他方案，則與英國(guó)格拉斯哥大學(xué)最新提出的用于檢測(cè)動(dòng)作發(fā)生的雷達(dá)微多普勒標(biāo)量特征組合方案[11]進(jìn)行比對(duì)。具體對(duì)比方式為：在本文實(shí)測(cè)數(shù)據(jù)集處理得到的微多普勒譜圖中復(fù)現(xiàn)并提取該文獻(xiàn)所提出的20個(gè)微多普勒標(biāo)量特征，分類策略同本文一致。所得的對(duì)比結(jié)果如表2所述。

表2 基于本文算法與文獻(xiàn)算法的各動(dòng)作準(zhǔn)確率比對(duì)表

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析，可知不管是方案1還是方案2的數(shù)據(jù)集劃分方式，本文算法在對(duì)各種動(dòng)作進(jìn)行分類上準(zhǔn)確率更高，能更好地從人體動(dòng)作微多普勒譜圖中提取出本質(zhì)特征。

4 結(jié)束語(yǔ)

本文提出一種基于77 GHz FMCW雷達(dá)的人體復(fù)雜動(dòng)作識(shí)別方案。該方案從各個(gè)動(dòng)作產(chǎn)生的微多普勒譜圖中提取相應(yīng)的軀干微多普勒特征矢量、肢體微多普勒特征矢量，以及經(jīng)SVD分解后的用于表征譜圖時(shí)間、頻率相關(guān)信息的6個(gè)特征矢量，繼而通過比對(duì)各種特征矢量組合經(jīng)SVM分類后所得的準(zhǔn)確率，甄選出最好的一組特征矢量組合。實(shí)驗(yàn)結(jié)果表明，從譜圖中所提取的特征矢量都能較好地表述一個(gè)動(dòng)作的發(fā)生，且最后所篩選出來(lái)的特征矢量組合(vtorso、vlimb、U1)能最大程度上對(duì)各類動(dòng)作進(jìn)行正確分類，其中對(duì)已知個(gè)體的各動(dòng)作識(shí)別總體準(zhǔn)確率高達(dá)99.07%，對(duì)未知個(gè)體的各動(dòng)作識(shí)別總體準(zhǔn)確率為96.76%，并將其與其他文獻(xiàn)方案進(jìn)行了對(duì)比分析，證明了本文方案的有效性。