基于雙流特征融合的FMCW雷達(dá)人體連續(xù)動作識別

屈樂樂， 張丁元， 楊天虹， 張麗麗， 孫延鵬

(沈陽航空航天大學(xué)電子信息工程學(xué)院， 遼寧沈陽 110136)

0 引言

目前人體動作識別技術(shù)應(yīng)用范圍日漸廣泛，在醫(yī)療探測、安保防護(hù)、智能家居等方面都有廣泛的應(yīng)用空間，但目前識別技術(shù)大多數(shù)依賴于接觸式傳感器或光學(xué)傳感器實(shí)現(xiàn)。其中接觸式傳感器因需要被監(jiān)測者佩戴所以對其活動空間產(chǎn)生一定的束縛，而光學(xué)傳感器因?qū)χ車h(huán)境光線條件有較高要求通常難以實(shí)現(xiàn)全天候工作，同時(shí)由于需要在終端采集用戶與生活環(huán)境的圖像或視頻，這對被檢測者隱私容易造成泄露。雷達(dá)因其自身特性可避免以上缺點(diǎn)，近年來被廣泛應(yīng)用于人體動作識別領(lǐng)域的研究工作?；诶走_(dá)的人體動作識別方法主要采用連續(xù)波多普勒雷達(dá)、超寬帶脈沖雷達(dá)與調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave, FMCW)雷達(dá)三種雷達(dá)體制。相比于其他兩種，F(xiàn)MCW雷達(dá)具有成本低、距離分辨率與速度分辨率更高、抗干擾能力強(qiáng)等優(yōu)勢。

目前在基于FMCW雷達(dá)的人體動作識別工作中，微多普勒特征因其對不同目標(biāo)動作的高區(qū)分度特性被應(yīng)用于人體動作識別。在文獻(xiàn)[7]中研究者對微多普勒時(shí)頻譜圖進(jìn)行分解得到對應(yīng)軀干和肢體的等8種特征矢量并采用支持向量機(jī)對不同動作進(jìn)行識別。文獻(xiàn)[8]通過提取FMCW雷達(dá)回波信號中的微多普勒信息并與其他接觸式傳感器信號進(jìn)行融合實(shí)現(xiàn)對人體活動進(jìn)行分類。也有研究者通過利用雷達(dá)的多個維度特征進(jìn)行人體動作識別，文獻(xiàn)[9]將時(shí)頻譜圖有效面積的頻率上下限、功率密度及能量上下包絡(luò)和距離多普勒軌跡作為聯(lián)合特征對危險(xiǎn)駕駛行為進(jìn)行監(jiān)測。文獻(xiàn)[10]提出分別從微多普勒時(shí)頻譜圖中選取頻率間隙和從距離多普勒圖中選取高功率區(qū)域的橫縱寬度比值組成聯(lián)合特征作為人體不同步態(tài)的識別依據(jù)。文獻(xiàn)[11]基于卷積神經(jīng)網(wǎng)絡(luò)，通過提取固定幀時(shí)間長度拼接的距離-多普勒-時(shí)間圖特征進(jìn)行手勢動作識別。

以上的動作識別工作都是針對離散化人體動作進(jìn)行，而現(xiàn)實(shí)中人體動作往往為連續(xù)式產(chǎn)生，因此單一的離散化人體動作識別方法難以用到實(shí)際應(yīng)用中，對此有研究者提出了連續(xù)人體動作識別方法。文獻(xiàn)[12]對回波信號進(jìn)行預(yù)處理后提取其微多普勒特征，并采用支持向量機(jī)進(jìn)行分類，但機(jī)器學(xué)習(xí)分類器普遍無法利用一組連續(xù)動作中不同動作的前后相關(guān)性進(jìn)行類別判斷，因此識別準(zhǔn)確率不高。文獻(xiàn)[13-16]引入長短期記憶網(wǎng)絡(luò)作為分類器對連續(xù)人體動作進(jìn)行識別，其中文獻(xiàn)[13]提出分別采用微多普勒特征與距離時(shí)間特征作為識別依據(jù)并對識別結(jié)果進(jìn)行對比，文獻(xiàn)[14]將雷達(dá)數(shù)據(jù)與接觸式傳感器數(shù)據(jù)進(jìn)行特征融合得到最后識別結(jié)果，文獻(xiàn)[15-16]采用連續(xù)動作的微多普勒特征作為識別依據(jù)，分別搭建雙層長短期記憶網(wǎng)絡(luò)與雙層門控循環(huán)單元作為分類器進(jìn)行識別，但文獻(xiàn)[15-16]將不同的離散化動作回波信號直接拼接得到模擬的連續(xù)動作回波信號，這種模擬的連續(xù)動作數(shù)據(jù)并不能體現(xiàn)人體在不同動作之間的轉(zhuǎn)換過程，因此與真實(shí)的人體連續(xù)動作數(shù)據(jù)還存在一定差異，并且只根據(jù)微多普勒時(shí)頻譜圖提取動作對應(yīng)特征作為網(wǎng)絡(luò)輸入特征維度較為單一，動作識別準(zhǔn)確率不高。

針對上述問題，本文提出一種基于雙流特征融合的人體連續(xù)動作識別方法。首先對采集的回波信號進(jìn)行預(yù)處理得到距離時(shí)間圖與微多普勒時(shí)頻譜圖。之后采用主成分分析法(Principal Component Analysis, PCA)對各個時(shí)間段的距離時(shí)間圖與微多普勒時(shí)頻譜圖進(jìn)行特征提取得到兩組特征向量再將兩組特征向量進(jìn)行并聯(lián)融合。最后將融合后得到的雙流融合特征輸入到雙向長短期記憶(Bidirectional Long Short-Term Memory，Bi-LSTM) 網(wǎng)絡(luò)中訓(xùn)練并得到識別結(jié)果。

1 連續(xù)人體動作識別

本文提出的連續(xù)人體動作識別方法主要流程包含回波信號預(yù)處理，特征提取與特征融合，Bi-LSTM網(wǎng)絡(luò)訓(xùn)練與測試。所提人體動作識別方法的整體流程圖如圖1所示。

圖1 連續(xù)人體動作識別方法整體流程圖

1.1 回波信號預(yù)處理

在回波信號預(yù)處理階段，需要將調(diào)頻連續(xù)波雷達(dá)回波信號表示為二維矩陣(,)，其中=0,1,…,-1，=0,1,…,-1，和分別是雷達(dá)在一個調(diào)頻周期內(nèi)的采樣點(diǎn)數(shù)和總的調(diào)頻周期個數(shù)。對矩陣(,)的每一列進(jìn)行離散傅里葉變換(Discrete Fourier Transform, DFT)得到

(1)

式中變量=0,1,…,-1包含探測目標(biāo)距離雷達(dá)天線的距離信息。FMCW雷達(dá)距離分辨率Δ為

(2)

式中，為FMCW雷達(dá)的信號帶寬，為電磁波在空氣中的傳播速度。根據(jù)式(1)得到的距離時(shí)間圖對感興趣的距離單元信號進(jìn)行相干疊加得到

(3)

式中與為目標(biāo)所在距離單元的最小值與最大值。實(shí)驗(yàn)時(shí)人體目標(biāo)距離雷達(dá)的距離范圍為1.5～4.5 m, K波段雷達(dá)回波信號距離分辨率為0.075 m，因此與取值分別為20與60。之后對()進(jìn)行短時(shí)傅里葉變換(Short-Time Fourier Transform, STFT)得到

(4)

式中()為漢明窗函數(shù)，為窗函數(shù)移動的索引值，窗函數(shù)每次移動時(shí)的重疊率為95%。最后根據(jù)(,)可以得到每個時(shí)間段內(nèi)對應(yīng)動作的微多普勒時(shí)頻譜圖。

1.2 主成分分析

通過回波預(yù)處理得到連續(xù)人體動作回波的距離時(shí)間圖與微多普勒時(shí)頻譜圖后，采用PCA進(jìn)行降維提取特征，具體計(jì)算過程如下：

3) 對協(xié)方差矩陣進(jìn)行特征分解，得到特征值與投影特征向量；

4) 對特征值從大到小排序，選取其中累計(jì)貢獻(xiàn)率達(dá)到95%的前個特征值將其所對應(yīng)的投影特征向量以列向量形式排列到一個矩陣中；

需指出的是在降維過程中需要保證對所用動作的同一維度圖同時(shí)進(jìn)行PCA，即保證所有動作的特征投影到的主成分維度必須一樣。將動作的距離時(shí)間圖與微多普勒特征譜圖分別進(jìn)行PCA后選取前800個主成分作為主成分分析結(jié)果，之后將同一時(shí)刻動作的距離時(shí)間特征與微多普勒特征主成分分析結(jié)果并聯(lián)融合得到該時(shí)刻的雙流融合特征。

1.3 Bi-LSTM網(wǎng)絡(luò)

本文搭建了兩個Bi-LSTM網(wǎng)絡(luò)框架，結(jié)構(gòu)圖分別如圖2(a)與(b)所示，網(wǎng)絡(luò)中各層尺寸大小見表1。圖2(a)為單層Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖，網(wǎng)絡(luò)包含一個輸入層、一個Bi-LSTM層、一個全連接層與一個softmax輸出層，其中輸入層大小因需與主成分分析結(jié)果一致設(shè)置為800，Bi-LSTM層尺寸設(shè)置為2 400，表示該層含有2 400個循環(huán)單元，全連接層輸出大小為6，可以實(shí)現(xiàn)6分類。圖2(b)所表示的雙層Bi-LSTM網(wǎng)絡(luò)在單層Bi-LSTM網(wǎng)絡(luò)基礎(chǔ)上添加了一個相同尺寸的Bi-LSTM層。首先將每個時(shí)刻動作對應(yīng)的雙流融合特征按時(shí)間順序通過輸入層輸入到網(wǎng)絡(luò)中，而后經(jīng)過Bi-LSTM網(wǎng)絡(luò)層得到時(shí)序特征，之后連接全連接與softmax分類器對輸入特征進(jìn)行類別判斷，并在最后輸出結(jié)果。網(wǎng)絡(luò)所用損失函數(shù)為交叉熵?fù)p失函數(shù)，在梯度優(yōu)化方面采用Adam算法。Bi-LSTM網(wǎng)絡(luò)內(nèi)部層結(jié)構(gòu)圖如圖3(a)所示，在Bi-LSTM網(wǎng)絡(luò)層中包含兩個雙向的LSTM層，每個輸入單元對應(yīng)兩個隱藏狀態(tài)信息，分別為()與()。其中()為從左向右的隱藏層結(jié)構(gòu)，()為從右向左的隱藏層結(jié)構(gòu)。因此Bi-LSTM網(wǎng)絡(luò)可以捕獲對于當(dāng)前特定身體動作的前向與后向特征。當(dāng)人類在連續(xù)活動狀態(tài)時(shí)，前后動作在順序上的相關(guān)性有著緊密的聯(lián)系，例如當(dāng)人坐下之后就不會發(fā)生行走或跳躍等在站立條件下才能進(jìn)行的動作，但可能會發(fā)生喝水、起立等動作或靜止無動作。一般的機(jī)器學(xué)習(xí)用作分類器只會局限于利用當(dāng)前動作本身的特征而無法利用人體動作的順序相關(guān)性進(jìn)行識別，而長短期記憶網(wǎng)絡(luò)因其自身特性可以有效地利用當(dāng)前動作的前向特征作為識別依據(jù)，在此基礎(chǔ)上采用Bi-LSTM網(wǎng)絡(luò)作為分類器可以更好地捕捉動作前向與后向特征對連續(xù)動作進(jìn)行識別。

(a) 單層Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

(a) Bi-LSTM網(wǎng)絡(luò)層結(jié)構(gòu)圖 (b) LSTM單元模型圖圖3 Bi-LSTM內(nèi)部結(jié)構(gòu)圖

表1 網(wǎng)絡(luò)各層尺寸大小

通過圖3(a)可以看出,Bi-LSTM網(wǎng)絡(luò)每個層的基本框架是LSTM單元，其內(nèi)部結(jié)構(gòu)如圖3(b)所示。在一個LSTM單元內(nèi)包含3個門，分別是遺忘門、輸入門與輸出門。其中遺忘門為數(shù)據(jù)進(jìn)入LSTM 單元的第一步，決定該LSTM單元內(nèi)丟棄什么信息，當(dāng)前單元的輸入序列與上一個單元的隱藏狀態(tài)(-1)作為它的輸入，通過激活函數(shù)得到遺忘門輸出，數(shù)學(xué)表達(dá)式如下：

=((-1)++)

(5)

式中()=(1+e-)，和為遺忘門加權(quán)系數(shù)，為遺忘門偏置。之后的輸入門決定該LSTM單元記住的信息。數(shù)學(xué)表達(dá)式如下：

=((-1)++)

(6)

=tanh((-1)++)

(7)

式中，，和為加權(quán)系數(shù)，和為偏置，和分別是輸入門兩個輸出。下一步對LSTM的細(xì)胞狀態(tài)()更新：

()=(-1)?+?

(8)

式中(-1)為上一個單元的細(xì)胞狀態(tài)，，與分別為上述計(jì)算的遺忘門與輸入門的結(jié)果。單元內(nèi)的輸出門負(fù)責(zé)決定該單元需要輸出給下一個單元的隱藏狀態(tài)信息()，計(jì)算公式如下所示：

=((-1)++)

(9)

()=tanh(())?

(10)

因此可得()公式表示如下：

退休安置指符合退休條件的煤礦職工依法辦理退休手續(xù)。內(nèi)部退養(yǎng)是指截至2017年12月31日，距法定退休年齡（含特殊工種退休年齡）5年以內(nèi)且養(yǎng)老保險(xiǎn)繳費(fèi)年限滿15年的（含退養(yǎng)結(jié)束時(shí)滿15年）職工自愿申請，企業(yè)同意，雙方簽訂內(nèi)部退養(yǎng)協(xié)議。分流安置是指總公司下屬子公司或分支機(jī)構(gòu)，根據(jù)需求提供工作崗位，員工自愿申請選擇競崗，被用工單位錄用的員工，其工作年限連續(xù)計(jì)算，不給予經(jīng)濟(jì)補(bǔ)償。解除（終止）勞動合同是指公司根據(jù)相關(guān)法律、法規(guī)的規(guī)定，與職工解除勞動關(guān)系，企業(yè)依法支付經(jīng)濟(jì)補(bǔ)償③。

()=((-1)++)

(11)

同理亦可得()公式為

()=((-1)++)

(12)

根據(jù)()與()可得當(dāng)前時(shí)刻的隱藏狀態(tài)信息也是下一層網(wǎng)絡(luò)的輸入。

=()+()+

(13)

2 實(shí)測數(shù)據(jù)結(jié)果分析

2.1 實(shí)驗(yàn)場景

實(shí)驗(yàn)采用K波段FMCW雷達(dá)對人體所作不同動作回波信號進(jìn)行采集，雷達(dá)具體參數(shù)如表2所示，基帶采樣數(shù)據(jù)傳輸?shù)接?jì)算機(jī)中采用MATLAB 2020a進(jìn)行數(shù)據(jù)處理和Bi-LSTM網(wǎng)絡(luò)訓(xùn)練及測試。實(shí)驗(yàn)選定在實(shí)驗(yàn)室環(huán)境中對3男1女共4人進(jìn)行數(shù)據(jù)采集,實(shí)驗(yàn)場景如圖4所示，每次采集過程中探測目標(biāo)為一人。觀測目標(biāo)對象從距離雷達(dá)3 m處開始活動，當(dāng)雷達(dá)開始工作時(shí)，目標(biāo)對象會按照隨機(jī)順序一次性做完彎腰拾東西、坐下、站起、跳躍與舉杯喝水這五種動作，每個對象的采集次數(shù)為10次，每次采集時(shí)間設(shè)定為20 s，記錄連續(xù)動作樣本總數(shù)共為40組。

表2 K波段FMCW雷達(dá)參數(shù)

圖4 實(shí)驗(yàn)場景

2.2 實(shí)驗(yàn)結(jié)果分析

(a) 距離時(shí)間圖

為了檢驗(yàn)本文所提方法對連續(xù)人體動作的識別性能，分別將回波信號的距離時(shí)間特征、微多普勒特征和雙流融合特征向量輸入到本文所搭建的兩種Bi-LSTM網(wǎng)絡(luò)中進(jìn)行訓(xùn)練與測試，考慮到網(wǎng)絡(luò)一次只能輸出一個動作識別結(jié)果，因此不可以將一組連續(xù)動作的距離時(shí)間特征與距離多普勒特征直接進(jìn)行PCA后并聯(lián)融合輸入網(wǎng)絡(luò)，而是需要對每組連續(xù)動作先進(jìn)行分割操作。本文對每一組連續(xù)動作的距離時(shí)間圖分割成191個時(shí)長為1 s，間隔為0.1 s的距離時(shí)間圖，并對這些距離時(shí)間圖分別進(jìn)行時(shí)頻分析，每組連續(xù)動作經(jīng)過如上操作會產(chǎn)生191個距離時(shí)間圖與微多普勒時(shí)頻譜圖，這些圖所包含的特征信息對應(yīng)的是該組連續(xù)動作的191個時(shí)段內(nèi)的動作，而每一時(shí)段目標(biāo)所作動作就是當(dāng)前時(shí)段對應(yīng)特征信息的動作標(biāo)簽類別。在劃分訓(xùn)練與測試樣本集時(shí)首先從收集到的數(shù)據(jù)樣本集中隨機(jī)抽取一人的所有樣本數(shù)據(jù)作為A組測試樣本集，其次將剩余3人的樣本數(shù)據(jù)按照1∶1的比例隨機(jī)劃分為訓(xùn)練樣本集與B組測試樣本集，共計(jì)15組連續(xù)動作樣本用于訓(xùn)練與25組連續(xù)動作樣本用于測試。采用連續(xù)動作訓(xùn)練樣本集經(jīng)過上述分割操作并標(biāo)記動作標(biāo)簽類別后對Bi-LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用B組測試樣本經(jīng)過上述分割操作后進(jìn)行隨機(jī)抽樣實(shí)驗(yàn)測試，采用A組測試樣本經(jīng)過上述分割操作后進(jìn)行留一法實(shí)驗(yàn)測試，網(wǎng)絡(luò)每0.1 s會對測試樣本進(jìn)行一次動作判定。網(wǎng)絡(luò)訓(xùn)練過程中學(xué)習(xí)率設(shè)定為0.001，訓(xùn)練迭代次數(shù)為100次，梯度下降方式采用小批量隨機(jī)下降法，批量大小設(shè)定為64，實(shí)驗(yàn)結(jié)果如表3和表4所示。

表3 單層Bi-LSTM網(wǎng)絡(luò)不同動作識別準(zhǔn)確率 %

表4 雙層Bi-LSTM網(wǎng)絡(luò)不同動作識別準(zhǔn)確率 %

對比表3與表4結(jié)果可以看出，采用雙層Bi-LSTM的網(wǎng)絡(luò)對比只采用一層Bi-LSTM層可以有效地提高識別準(zhǔn)確率，同時(shí)觀察兩種網(wǎng)絡(luò)模型在3種不同特征情況下對各個不同動作的識別準(zhǔn)確率可以看出采用雙層Bi-LSTM網(wǎng)絡(luò)進(jìn)行留一法實(shí)驗(yàn)的平均識別準(zhǔn)確率與隨機(jī)抽樣測試的平均識別準(zhǔn)確率并無太大差別，在個別動作上的識別準(zhǔn)確率互有高低，采用單層Bi-LSTM網(wǎng)絡(luò)進(jìn)行的留一法實(shí)驗(yàn)結(jié)果對比隨機(jī)抽樣實(shí)驗(yàn)結(jié)果差距較大。因此雙層Bi-LSTM網(wǎng)絡(luò)具有更好的泛化能力，對未知目標(biāo)樣本具有一定的識別能力。

為進(jìn)一步驗(yàn)證本文所提Bi-LSTM網(wǎng)絡(luò)對于連續(xù)人體動作的識別能力，本文將兩種Bi-LSTM網(wǎng)絡(luò)的雙流融合特征識別結(jié)果與文獻(xiàn)[15]和文獻(xiàn)[16]所用方法的識別結(jié)果進(jìn)行對比，對比結(jié)果如表5所示。可以看出在隨機(jī)抽樣時(shí)間與留一法實(shí)驗(yàn)兩種不同實(shí)驗(yàn)類別情況下，采用雙層Bi-LSTM網(wǎng)絡(luò)對各個不同動作的識別準(zhǔn)確率普遍高于其余3種網(wǎng)絡(luò)結(jié)構(gòu)。

表5 不同方法識別準(zhǔn)確率對比 %

為進(jìn)一步研究所提基于雙流融合特征的識別效果，本文對隨機(jī)抽樣實(shí)驗(yàn)中若干樣本數(shù)據(jù)的識別結(jié)果進(jìn)行對比，結(jié)果如圖6所示，圖6(a)與圖6(b)分別展示了在隨機(jī)抽樣實(shí)驗(yàn)與同環(huán)境留一法實(shí)驗(yàn)下采用3種不同特征對共計(jì)25個測試樣本每個具體的識別準(zhǔn)確率情況。從圖中可以看出當(dāng)將融合特征作為網(wǎng)絡(luò)輸入時(shí)識別準(zhǔn)確率普遍較高，但也有個別數(shù)據(jù)會出現(xiàn)采用微多普勒特征識別率較高的情況。如圖6(a)中的7號、15號樣本和圖6(b)中的2號、9號樣本。

(a) 隨機(jī)抽樣實(shí)驗(yàn) (b) 留一法實(shí)驗(yàn)圖6 測試樣本識別準(zhǔn)確率

為進(jìn)一步深入研究基于雙流融合特征的識別效果，對基于距離時(shí)間特征、微多普勒特征與雙流融合特征的Bi-LSTM網(wǎng)絡(luò)判別結(jié)果與人體真實(shí)動作進(jìn)行對比，對比結(jié)果如圖7所示。

圖7 識別結(jié)果與真實(shí)動作比較圖

圖7中縱軸為動作類型，數(shù)字0～5分別表示無動作、坐下、站立、舉杯喝水、彎腰撿東西與跳躍動作，橫軸為一組動作的持續(xù)時(shí)間，動作總時(shí)長為20 s。可以看出當(dāng)采用雙流融合特征作為網(wǎng)絡(luò)輸入時(shí)識別結(jié)果與真實(shí)值總體一致，突變較少，在個別動作判別上有少許的延后或提前。當(dāng)采用單一特征時(shí)離散性的突變出現(xiàn)較多，且當(dāng)采用距離時(shí)間特征作為Bi-LSTM網(wǎng)絡(luò)輸入時(shí)網(wǎng)絡(luò)判別值與真實(shí)動作差異更加明顯。此外在動作變化時(shí)特征譜圖也會產(chǎn)生急劇的變化，此時(shí)這種變化沒有對應(yīng)的動作結(jié)果，Bi-LSTM只能根據(jù)來自先前時(shí)間的實(shí)際識別結(jié)果或延后時(shí)間的實(shí)際識別結(jié)果來決定此時(shí)的動作類型，因此可以發(fā)現(xiàn)Bi-LSTM根據(jù)融合特征得到的識別結(jié)果與真實(shí)發(fā)生的動作在動作變化時(shí)刻存在短暫提前或延遲情況，但這種情況并不會在整體上產(chǎn)生錯誤的分類。

3 結(jié)束語

本文提出了一種基于雙流特征融合的FMCW雷達(dá)連續(xù)人體動作識別方法?；趯?shí)測雷達(dá)數(shù)據(jù)處理的結(jié)果表明，采用該方法對連續(xù)人體動作的平均識別準(zhǔn)確率可達(dá)到92.1%，對比采用單一維度特征進(jìn)行識別效果有所提高，且通過留一法實(shí)驗(yàn)得出本文所提方法具有一定泛化能力，對未知目標(biāo)樣本具備一定的識別能力。但同時(shí)對個別動作識別準(zhǔn)確率偏低，在下一階段工作中將重點(diǎn)提升識別準(zhǔn)確率，使得該方法擁有更為廣闊的應(yīng)用前景。