FMCW雷達(dá)基于光學(xué)字符識(shí)別的連續(xù)動(dòng)作識(shí)別研究

蔣留兵，吳岷洋，車 俐

（1.桂林電子科技大學(xué)信息與通信學(xué)院，廣西桂林 541004；2.桂林電子科技大學(xué)計(jì)算機(jī)與信息安全學(xué)院，廣西桂林 541004）

0 引 言

根據(jù)第七次全國(guó)人口普查顯示，2020年我國(guó)60 歲及以上人口有2.6 億人，占總?cè)丝诘?8.70%，中國(guó)已經(jīng)逐步進(jìn)入深度老齡化社會(huì)［1-2］。老人活動(dòng)不便，很容易跌倒并且無(wú)法依靠自身能力站起來(lái)，這給醫(yī)療保健行業(yè)帶來(lái)巨大的壓力，需要該行業(yè)在老人發(fā)生跌倒等重大事件時(shí)能夠及時(shí)做出響應(yīng)［3］。

目前對(duì)于人體動(dòng)作主要采用基于攝像頭［4-5］和基于穿戴設(shè)備兩種方法［6-7］。前者采用圖像處理的技術(shù)而后者則采集人體運(yùn)動(dòng)數(shù)據(jù)。很顯然，基于攝像頭的動(dòng)作識(shí)別方法存在侵犯?jìng)€(gè)人隱私，容易受到外界干擾的問(wèn)題；基于穿戴設(shè)備的動(dòng)作識(shí)別方法存在設(shè)備容易損壞，穿戴不適等問(wèn)題。基于雷達(dá)的人體動(dòng)作檢測(cè)則能很好地解決上述兩種方法存在的問(wèn)題。該方法是一種通過(guò)雷達(dá)向目標(biāo)發(fā)射電磁波，接收目標(biāo)回波信號(hào)判斷人體動(dòng)作的主動(dòng)探測(cè)方式。

基于雷達(dá)的動(dòng)作識(shí)別方法主要基于深度學(xué)習(xí)，對(duì)雷達(dá)信號(hào)進(jìn)行預(yù)處理，然后輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和識(shí)別。文獻(xiàn)［7］使用UWB 雷達(dá)采集代表運(yùn)動(dòng)特性隨時(shí)間變化的時(shí)變距離多普勒?qǐng)D像（TRDI），采用自動(dòng)編碼器（CAE）提取特征，輸入到長(zhǎng)短記憶網(wǎng)絡(luò)（LSTM）中進(jìn)行識(shí)別達(dá)到了96.80%的準(zhǔn)確率。文獻(xiàn)［8］使用雙向長(zhǎng)短記憶網(wǎng)絡(luò)（Bi-LSTM），將可穿戴傳感器和雷達(dá)數(shù)據(jù)直接的軟特征融合，在連續(xù)活動(dòng)和跌倒事件方面的準(zhǔn)確度提高到大約96%。文獻(xiàn)［9］利用超寬帶雷達(dá)提取動(dòng)作特征生成圖像，然后將圖像輸入到卷積網(wǎng)絡(luò)中進(jìn)行識(shí)別，達(dá)到了99.2%的準(zhǔn)確率。文獻(xiàn)［10］提出基于主成分分析法（PCA）和離散余弦變換（DCT）相結(jié)合的人體動(dòng)作特征提取方法，并利用改進(jìn)網(wǎng)格搜索算法優(yōu)化的支持向量機(jī)在小樣本數(shù)據(jù)下對(duì)人體動(dòng)作進(jìn)行識(shí)別，最終得到超過(guò)96%的識(shí)別精度。基于深度學(xué)習(xí)的雷達(dá)動(dòng)作識(shí)別方法主要通過(guò)將采集的信號(hào)進(jìn)行預(yù)處理，生成相應(yīng)的特征圖，然后將這些特征圖輸入到深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和識(shí)別，這就導(dǎo)致了識(shí)別速度相比直接對(duì)原始信號(hào)處理慢一些［11-12］。文獻(xiàn)［11］提出一種新的端到端網(wǎng)絡(luò)，直接對(duì)收集的FMCW 雷達(dá)原始數(shù)據(jù)進(jìn)行處理，對(duì)5 種動(dòng)作超過(guò)90%的識(shí)別準(zhǔn)確率。文獻(xiàn)［12］提出了一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNNs）和長(zhǎng)短記憶網(wǎng)絡(luò)（LSTM）組成的深度學(xué)習(xí)模型直接對(duì)原始信號(hào)進(jìn)行處理，在對(duì)7種動(dòng)作達(dá)到超過(guò)95%的識(shí)別精度的同時(shí)，訓(xùn)練參數(shù)少很多，因此識(shí)別速度也快很多。目前大部分基于深度學(xué)習(xí)的雷達(dá)動(dòng)作識(shí)別算法只能對(duì)單個(gè)動(dòng)作進(jìn)行識(shí)別，通過(guò)簡(jiǎn)單的信號(hào)處理，將原始信號(hào)處理成相應(yīng)的特征圖像，然后輸入到基于分類的深度學(xué)習(xí)網(wǎng)絡(luò)中進(jìn)行識(shí)別。這種情況導(dǎo)致了當(dāng)一組數(shù)據(jù)中包含多個(gè)動(dòng)作信息的時(shí)候算法也只能將其識(shí)別為單個(gè)動(dòng)作。

針對(duì)上述問(wèn)題，該文提出一種基于文本識(shí)別技術(shù)（OCR）的連續(xù)動(dòng)作雷達(dá)微多普勒特征識(shí)別方法。首先對(duì)采集的雷達(dá)數(shù)據(jù)采用RDM（Range-Doppler Map）向速度維投影的方法逐幀獲取微多普勒時(shí)頻圖，然后將處理得到的時(shí)頻圖輸入一個(gè)特別定制的，由卷積神經(jīng)網(wǎng)絡(luò)、inception_resnet、最大池化層和Bi-LSTM的網(wǎng)絡(luò)組成，使用聯(lián)結(jié)主義時(shí)間分類（CTC）作為損失函數(shù)進(jìn)行訓(xùn)練的網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明該方法對(duì)步行、跑步、蹲下、站起、跳躍這5 種動(dòng)作的識(shí)別準(zhǔn)確率分別高達(dá)96.16%，95.34%，88.49%，89.37%，96.72%。對(duì)一個(gè)時(shí)間窗口內(nèi)多個(gè)動(dòng)作的識(shí)別也取得了不錯(cuò)的效果，時(shí)間上的識(shí)別準(zhǔn)確率整體令人滿意。

1 FMCW雷達(dá)信號(hào)處理

1.1 FMCW 雷達(dá)信號(hào)模型

FMCW 雷達(dá)由一個(gè)波形發(fā)生器、一個(gè)帶有2個(gè)發(fā)射器和4個(gè)接收器的天線陣列、一個(gè)信號(hào)解調(diào)器和一個(gè)模數(shù)轉(zhuǎn)換器（ADC）組成。波形發(fā)生器通過(guò)發(fā)射Chirp 信號(hào)，然后利用低頻濾波器（LPF）得到中頻信號(hào)。假設(shè)FMCW 雷達(dá)發(fā)射調(diào)頻連續(xù)波信號(hào)，其發(fā)射信號(hào)模型［13］可以表示為

式中，AT表示發(fā)射功率，fc表示Chirp的起始頻率，B表示Chirp 的帶寬，Tc表示Chirp 的持續(xù)時(shí)間，φ(t)表示相位噪音。

目標(biāo)反射回來(lái)的是一個(gè)有延遲的信號(hào)，可以表示為

式中，td=2R(t)/c表示信號(hào)在與距離雷達(dá)R(t)距離處的目標(biāo)之間的往返時(shí)間，α表示回波損耗系數(shù)。將發(fā)射信號(hào)xT(t)和接收信號(hào)xR(t)混頻以后再結(jié)合I/Q信號(hào)分析，其差拍信號(hào)可以表示為

式中AR為接收信號(hào)的功率，fb表示為

相位φb(t)則表示為

通常情況下，探測(cè)近距離目標(biāo)的時(shí)候，殘留的相位噪聲Δφ(t)可以忽略不計(jì)。并且，πBt2d/Tc的數(shù)值也非常小，可以被忽略掉。因此，最終的可以用雷達(dá)采樣數(shù)據(jù)矩陣表述差拍信號(hào)為

式中，n表示快時(shí)間采樣軸上對(duì)應(yīng)的標(biāo)號(hào)，m表示慢時(shí)間采樣軸上對(duì)應(yīng)的標(biāo)號(hào)，Tf表示快時(shí)間采樣軸上的ADC 采樣時(shí)間間隔，Ts表示慢時(shí)間采樣軸上的采樣時(shí)間間隔。

1.2 微多普勒時(shí)頻圖

傳統(tǒng)的短時(shí)傅里葉變換（STFT）采用定長(zhǎng)窗函數(shù)進(jìn)行時(shí)頻分析，對(duì)于連續(xù)的Chirp 信號(hào)能夠取得不錯(cuò)的效果，不過(guò)對(duì)于沒(méi)有連續(xù)Chirp 而是連續(xù)幀（幀內(nèi)Chirp 連續(xù)，幀間的Chirp 不連續(xù)）的信號(hào)來(lái)說(shuō)一旦參數(shù)調(diào)整不好就會(huì)出現(xiàn)嚴(yán)重的功率泄露的情況。為了解決這個(gè)問(wèn)題，使用文獻(xiàn)［14］所提出的RDM投影法獲取微多普勒時(shí)頻圖。對(duì)單幀的快時(shí)間維數(shù)據(jù)加上漢寧窗，然后進(jìn)行RangeFFT 獲得距離信息，然后再對(duì)單幀的慢時(shí)間維數(shù)據(jù)加上漢寧窗，進(jìn)行DopplerFFT 獲得目標(biāo)的速度信息，最后將零頻率分量搬移至頻率中間，得到最終的RDM（Range-Doppler-Map）。該RDM能夠很好地描述在該幀下人體所有散射點(diǎn)的距離和速度。假設(shè)RD(i,j,t)表示t幀下位于RDM 中第ith距離門、jth速度門下的信號(hào)功率值。

每幀RDM通過(guò)對(duì)距離門的投影可以得到目標(biāo)與雷達(dá)的距離變化，如圖1（a）所示，計(jì)算公式為

圖1 距離門與RDM投影

通過(guò)距離門可以得到目標(biāo)在運(yùn)動(dòng)中距離雷達(dá)的最小/最大徑向距離，記錄下對(duì)應(yīng)的距離門標(biāo)號(hào)為imin及imax。提取對(duì)應(yīng)距離內(nèi)的RDM，然后將RDM 向速度方向投影并且進(jìn)行逐幀積累得到微多普勒時(shí)頻圖，如圖1（b）所示，具體公式為

本質(zhì)上，RDM 投影是一個(gè)窗口長(zhǎng)度，步長(zhǎng)都為一幀中慢時(shí)間的Chirp 數(shù)（實(shí)驗(yàn)中為128），重疊率為0 的短時(shí)傅里葉變化。微多普勒視頻圖的構(gòu)建流程如圖2所示。

圖2 微多普勒?qǐng)D構(gòu)建流程

德州儀器AWR1843 因?yàn)榇嬖趲母拍睿疵繋嬖谌舾蓚€(gè)Chrip，然后每個(gè)Chrip間存在若干個(gè)采樣點(diǎn)，這種情況導(dǎo)致了單個(gè)幀內(nèi)的Chrip 時(shí)間是等長(zhǎng)的，然而多個(gè)幀之間的Chrip 是不等長(zhǎng)的，這種情況就會(huì)導(dǎo)致使用短時(shí)傅里葉變換出現(xiàn)嚴(yán)重的功率泄露的情況，生成的圖像質(zhì)量非常差，嚴(yán)重影響深度學(xué)習(xí)網(wǎng)絡(luò)的識(shí)別精度。而RDM投影是通過(guò)對(duì)單個(gè)幀的累加得到，沒(méi)有涉及到多個(gè)幀之間的操作，因此不存在功率泄露的情況，相比于短時(shí)傅里葉生成的圖像，質(zhì)量要高很多。

2 基于文本識(shí)別的連續(xù)動(dòng)作識(shí)別

一組連續(xù)動(dòng)作的微多普勒時(shí)頻特征如圖3所示，不同動(dòng)作的微多普勒特征有很大的不同。受到文獻(xiàn)［15］的啟發(fā)，將不同動(dòng)作的微多普勒特征進(jìn)行編碼，使用文本識(shí)別的思路進(jìn)行識(shí)別。具體來(lái)說(shuō)，是將包含多個(gè)動(dòng)作特征的微多普勒時(shí)頻圖輸入到一個(gè)由卷積神經(jīng)網(wǎng)絡(luò)，inception_resnet 網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)對(duì)時(shí)頻圖進(jìn)行壓縮并提取特征得到一組幀序列，然后使用BLSTM 網(wǎng)絡(luò)對(duì)每幀進(jìn)行預(yù)測(cè)，最后使用CTC［16］將每幀的預(yù)測(cè)編碼解碼成標(biāo)簽序列。

圖3 一組連續(xù)動(dòng)作的微多普勒時(shí)頻圖

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。該網(wǎng)絡(luò)要求圖像輸入的高度為256，寬度w不限，通道數(shù)為3，即輸入圖像的尺寸為256×w×3，核心思想是使用卷積神經(jīng)網(wǎng)絡(luò)、inception_resnet 提取特征，然后使用最大池化層對(duì)圖像進(jìn)行壓縮，圖像最后會(huì)被壓縮成一個(gè)如圖5所示，一共由w/16 個(gè)1×1×512 維度長(zhǎng)方體特征組成的時(shí)間序列，然后將該序列輸入到Bi-LSTM 網(wǎng)絡(luò)中進(jìn)行預(yù)測(cè)。網(wǎng)絡(luò)的參數(shù)如表1所示。

圖5 壓縮以后的長(zhǎng)方體序列

表1 基于文本識(shí)別的網(wǎng)絡(luò)框架參數(shù)

2.2 Bi-LSTM

連續(xù)動(dòng)作的微多普勒特征存在時(shí)序的特性，因此運(yùn)動(dòng)會(huì)被依次順序紀(jì)錄下來(lái)。傳統(tǒng)的CNN 網(wǎng)絡(luò)只能提取微多普勒特征，無(wú)法對(duì)時(shí)序序列進(jìn)行動(dòng)態(tài)預(yù)測(cè)。為了解決這個(gè)問(wèn)題，引入Bi-LSTM 網(wǎng)絡(luò)，提取CNN 網(wǎng)絡(luò)輸出的特征序列的時(shí)間特征，并且對(duì)每個(gè)時(shí)間序列進(jìn)行預(yù)測(cè)。簡(jiǎn)單地說(shuō)，Bi-LSTM分別結(jié)合了前向和后向LSTM 網(wǎng)絡(luò)還處理兩個(gè)方向的時(shí)間信息,除了使用過(guò)去的信息對(duì)現(xiàn)在進(jìn)行預(yù)測(cè)以外還能使用將來(lái)的信息預(yù)測(cè)現(xiàn)在。LSTM 是一種特殊的RNN，加入了遺忘門，能夠丟棄過(guò)去無(wú)用的信息，保留有效的信息，從而緩解梯度消失的問(wèn)題，其計(jì)算模型如下：

式中σ為激活函數(shù)，i(t)為輸入門，f(t)為遺忘門，o(t)為輸出門。Bi-LSTM 由前向和后向LSTM 組成，其模型如下：

2.3 聯(lián)結(jié)主義時(shí)間分類

假設(shè)一段數(shù)據(jù)時(shí)長(zhǎng)為9 s，有人可能在3～6 s的時(shí)間內(nèi)執(zhí)行了動(dòng)作，也有人可能在4～9 s 內(nèi)執(zhí)行了動(dòng)作，不同的人在不同的時(shí)間段內(nèi)執(zhí)行了不同時(shí)間的動(dòng)作，因此需要精確標(biāo)注數(shù)據(jù)是很困難的。為此，使用CTC 算法自動(dòng)學(xué)習(xí)時(shí)間序列和標(biāo)簽間的對(duì)齊情況，從而避免了精確標(biāo)注數(shù)據(jù)集，只需要數(shù)據(jù)標(biāo)注順序正確即可。

如果序列預(yù)測(cè)為y=(y1,y2,…,yN)，對(duì)應(yīng)的真實(shí)標(biāo)簽為I=(I1,I2,…,IW)，這其中序列長(zhǎng)度要大于等于標(biāo)簽長(zhǎng)度（即N≥W）。考慮到不同的動(dòng)作間存在過(guò)渡（一個(gè)動(dòng)作執(zhí)行完，過(guò)一段時(shí)間再執(zhí)行下一個(gè)動(dòng)作），過(guò)渡的這段時(shí)間內(nèi)沒(méi)有任何動(dòng)作，因此需要定義一個(gè)blank 作為空白符加入到原始標(biāo)簽序列中構(gòu)造一個(gè)新的標(biāo)簽序列，即L'=L∪{-}，其中L'為新的標(biāo)簽序列，L為原始標(biāo)簽序列。很顯然一個(gè)真實(shí)的標(biāo)簽對(duì)應(yīng)的預(yù)測(cè)輸出有很多，假設(shè)一個(gè)y預(yù)測(cè)輸出序列為T=(t1,t2,t3,t4)的數(shù)據(jù)對(duì)應(yīng)的真實(shí)標(biāo)簽序列為label=(l1,l2,l3)，那么其對(duì)應(yīng)的預(yù)測(cè)有p(π1)=(l1,-,l2,l3)，p(π2)=(l1,l2,-,l3)，p(π4)=(-,l1,l2,l3)等多種可能的路徑。因此在真實(shí)標(biāo)簽為y的情況下，預(yù)測(cè)標(biāo)簽為I的概率為

式中π表示Bi-LSTM 的輸出序列，p(π|y)表示路徑的概率。由于各個(gè)時(shí)間序列間的預(yù)測(cè)概率是相互獨(dú)立的，因此對(duì)于任意時(shí)刻輸出序列π的概率計(jì)算如下：

式中πt∈L'，是在時(shí)間t上路徑π下預(yù)測(cè)的標(biāo)簽，是在時(shí)間t下標(biāo)簽為πt的概率。損失函數(shù)可以定義為L(zhǎng)ctc=-lnp(I|y)，通過(guò)對(duì)每個(gè)步長(zhǎng)的每個(gè)標(biāo)簽求導(dǎo)進(jìn)行梯度更新。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)中所用的毫米波雷達(dá)硬件平臺(tái)由德州儀器研發(fā)的AWR1843BOOST 雷達(dá)傳感器模塊和DCA1000EVM 數(shù)據(jù)采集模塊組成。設(shè)置該雷達(dá)的起始工作頻率為77 GHz、帶寬為4 GHz,單個(gè)Chirp下的采樣點(diǎn)為256，單個(gè)幀下有128 個(gè)Chirp，單個(gè)幀的周期為30 ms。對(duì)單個(gè)動(dòng)作和兩個(gè)連續(xù)動(dòng)作采集300 幀及9 s 的數(shù)據(jù)，對(duì)3 個(gè)連續(xù)動(dòng)作采集400幀即12 s的數(shù)據(jù)。

實(shí)驗(yàn)中所用數(shù)據(jù)均在室內(nèi)采集，雷達(dá)掃描扇面內(nèi)除了單個(gè)測(cè)試者外沒(méi)有其他目標(biāo)。雷達(dá)置于距離地面0.8 m的支架上，測(cè)試者在雷達(dá)正前方2 m處原地執(zhí)行指定動(dòng)作。前后共有10名志愿者參與采集數(shù)據(jù)，他們的體重在41～80 kg，身高在1.60～1.80 m，年齡在22～25之間。實(shí)驗(yàn)中總共采集5種動(dòng)作，分別是步行、跑步、蹲下、站起、跳躍，采集環(huán)境如圖6所示，單個(gè)動(dòng)作的微多普勒時(shí)頻圖如圖7所示。總共采集1 600組數(shù)據(jù)，其中單個(gè)動(dòng)作為800組，兩個(gè)連續(xù)動(dòng)作為500組，3個(gè)連續(xù)動(dòng)作為300組。

圖6 實(shí)驗(yàn)環(huán)境

圖7 單個(gè)動(dòng)作的微多普勒時(shí)頻圖

深度學(xué)習(xí)網(wǎng)絡(luò)基于TensorFlow2.0 中的keras框架，優(yōu)化函數(shù)為Adam，使用默認(rèn)學(xué)習(xí)率，設(shè)置批量大小為8。深度學(xué)習(xí)實(shí)驗(yàn)在一臺(tái)配有GPU 為RTX2080Ti（8G顯存），16G內(nèi)存和酷睿i7的服務(wù)器上進(jìn)行。訓(xùn)練測(cè)試數(shù)據(jù)的比例為8∶2。圖像輸入的高度為256，寬度不限，即圖像輸入的尺寸為256×w。實(shí)驗(yàn)中，9 s 的數(shù)據(jù)輸入網(wǎng)絡(luò)的寬度為576 像素（w=576,input=256×576×3），輸出為1×36×512，即由36 個(gè)1×512 組成的特征序列，每個(gè)序列代表大約0.25 s 時(shí)長(zhǎng)的數(shù)據(jù)；12 s 數(shù)據(jù)輸入網(wǎng)絡(luò)的寬度為768 像素（w=768,input=256×768×3），輸出為1×48×512，即由48 個(gè)1×512組成的特征序列，每個(gè)序列代表大約0.25 s時(shí)長(zhǎng)的數(shù)據(jù)。

3.2 單個(gè)動(dòng)作的識(shí)別

該文所提出的方法既能夠?qū)Χ鄠€(gè)連續(xù)的動(dòng)作進(jìn)行識(shí)別，也能夠?qū)蝹€(gè)動(dòng)作進(jìn)行識(shí)別。圖8為5種動(dòng)作的混淆矩陣。實(shí)驗(yàn)表明，該方法對(duì)5種動(dòng)作識(shí)別的平均準(zhǔn)確率高達(dá)93.22%，其中對(duì)步行、跑步和跳躍的識(shí)別準(zhǔn)確率分別高達(dá)96.16%，95.34%，96.72%。由于蹲下和站起的為多普勒頻率是相反的，同時(shí)在蹲下和站起的時(shí)候?yàn)榱吮３制胶馐直垡矔?huì)擺動(dòng)，最終導(dǎo)致蹲下和站起的微多普勒特征比較相似，導(dǎo)致了在識(shí)別蹲下和站起這兩個(gè)動(dòng)作時(shí)的精度只有88.49%和89.37%。

圖8 5種動(dòng)作的混淆矩陣

為了能夠進(jìn)一步驗(yàn)證該文所提出方法的可能性，將該方法與文獻(xiàn)［7］，文獻(xiàn)［10］和文獻(xiàn)［12］中提出的動(dòng)作識(shí)別方法進(jìn)行對(duì)比。文獻(xiàn)［7］提出了一種時(shí)變距離-微多普勒?qǐng)D（TRDM）的方法，在目標(biāo)執(zhí)行動(dòng)作區(qū)間中的數(shù)據(jù)進(jìn)行距離和速度FFT 得到一組時(shí)序的RDM 圖形成數(shù)據(jù)流，然后利用所提出的CAE+LSTM 網(wǎng)絡(luò)提取數(shù)據(jù)流的時(shí)序特征和像素特征進(jìn)行識(shí)別。文獻(xiàn)［10］首先使用PCA 技術(shù)對(duì)原始數(shù)據(jù)降維，然后使用DCT 技術(shù)對(duì)降維以后的數(shù)據(jù)進(jìn)行處理，最后使用一種改進(jìn)型的SVM 網(wǎng)絡(luò)對(duì)經(jīng)過(guò)PCA 和DCT 處理以后的數(shù)據(jù)進(jìn)行識(shí)別，取得了不錯(cuò)的效果。文獻(xiàn)［12］將STFT 和深度學(xué)習(xí)相結(jié)合，直接對(duì)經(jīng)過(guò)短時(shí)傅里葉變換以后的特征矩陣進(jìn)行處理，使用1D_CNN 網(wǎng)絡(luò)和LSTM 提取特征矩陣的信息，從而實(shí)現(xiàn)對(duì)單個(gè)動(dòng)作的識(shí)別。對(duì)比效果如表2所示。

表2 本文方法同不同方法的對(duì)比

通過(guò)表2對(duì)比可以得知，本文所提方法同文獻(xiàn)［7］、文獻(xiàn)［10］和文獻(xiàn)［12］所提方法相比，識(shí)別精度會(huì)稍微低一些。導(dǎo)致這種情況的原因是，CTC決定了不需要單個(gè)網(wǎng)絡(luò)的輸出序列的識(shí)別精度最高，但是需要整個(gè)序列組的輸出精度最高，即h(x)=arg maxp(I|y)，其中h(x)為輸出序列，p(I|y)為真實(shí)標(biāo)簽為y的情況下預(yù)測(cè)標(biāo)簽為I的概率。

3.3 連續(xù)動(dòng)作的識(shí)別

實(shí)驗(yàn)表明，本文所提方法對(duì)單個(gè)動(dòng)作的識(shí)別達(dá)到了一個(gè)較高的準(zhǔn)確率。為了進(jìn)一步衡量本文方法的綜合性能，除了測(cè)試對(duì)單個(gè)動(dòng)作的識(shí)別準(zhǔn)確率以外，還需要識(shí)別在時(shí)間上的準(zhǔn)確率（假設(shè)一個(gè)24 s 的時(shí)間段，目標(biāo)執(zhí)行動(dòng)作的區(qū)間分別為4～10 s，13～20 s，算法需要知道目標(biāo)在具體哪幾個(gè)時(shí)間段內(nèi)執(zhí)行了動(dòng)作）。由于動(dòng)作蹲下、站起、跳躍都是一瞬間完成的，因此僅僅對(duì)步行、跑步兩個(gè)連續(xù)性動(dòng)作進(jìn)行測(cè)試。實(shí)驗(yàn)中使用長(zhǎng)達(dá)24 s的數(shù)據(jù)，總共分4個(gè)場(chǎng)景，分別是只執(zhí)行單個(gè)動(dòng)作（步行，跑步）和執(zhí)行兩個(gè)動(dòng)作（先步行后跑步，先跑步后步行）。單個(gè)動(dòng)作的示例時(shí)間表如圖9所示，目標(biāo)第一個(gè)執(zhí)行動(dòng)作的窗口時(shí)間為5～10 s，第二個(gè)執(zhí)行動(dòng)作的窗口時(shí)間為15～24 s。網(wǎng)絡(luò)輸出的是一個(gè)序列，一個(gè)序列代表著一個(gè)時(shí)間段，也就是說(shuō)如果一個(gè)24 s數(shù)據(jù)的微多普勒時(shí)頻圖的寬度為1 536個(gè)像素，那么經(jīng)過(guò)主干網(wǎng)絡(luò)的壓縮以后輸出一個(gè)長(zhǎng)度為96的時(shí)間序列，也就是說(shuō)一個(gè)序列代表0.25 s的時(shí)間，在這個(gè)窗口時(shí)間內(nèi)認(rèn)為動(dòng)作是沒(méi)有變化的。因此在最終預(yù)測(cè)的時(shí)候也不完全是連續(xù)的時(shí)間預(yù)測(cè)，一旦一個(gè)序列預(yù)測(cè)錯(cuò)誤就意味著這0.25 s的預(yù)測(cè)都錯(cuò)誤，該方法的本質(zhì)上是將連續(xù)的時(shí)間分割成時(shí)間很短的時(shí)間序列，然后對(duì)這一段時(shí)間序列進(jìn)行特征提取并且認(rèn)為這段時(shí)間序列內(nèi)只有一個(gè)動(dòng)作。

圖9 單個(gè)動(dòng)作的示例時(shí)間表

執(zhí)行兩個(gè)動(dòng)作的示例時(shí)間表如圖10所示，目標(biāo)執(zhí)行第一個(gè)動(dòng)作的窗口時(shí)間為4～10 s，總共6 s，執(zhí)行第二個(gè)動(dòng)作的窗口時(shí)間為15～21 s，同樣也是6 s。很顯然，該算法在時(shí)間上有不錯(cuò)的識(shí)別準(zhǔn)確率。對(duì)一段時(shí)間內(nèi)的兩個(gè)動(dòng)作進(jìn)行識(shí)別時(shí)，雖然出現(xiàn)時(shí)間上沒(méi)有完全對(duì)齊，在沒(méi)有動(dòng)作的時(shí)間預(yù)測(cè)執(zhí)行動(dòng)作的錯(cuò)誤，但是整體上的預(yù)測(cè)還是正確的，并且沒(méi)有出現(xiàn)預(yù)測(cè)順序錯(cuò)誤的情況。出現(xiàn)真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽在時(shí)間上沒(méi)有完全對(duì)齊的一個(gè)可能性是實(shí)驗(yàn)誤差，在實(shí)驗(yàn)的時(shí)候是目標(biāo)需要在發(fā)出信號(hào)以后等待到指定的時(shí)間區(qū)間再執(zhí)行動(dòng)作，因此會(huì)出現(xiàn)時(shí)間上的誤差，在執(zhí)行完一個(gè)動(dòng)作之后目標(biāo)沒(méi)有完全立正不動(dòng)，導(dǎo)致還存在一些微多普勒調(diào)制，因此出現(xiàn)誤判的情況。

圖10 兩個(gè)動(dòng)作的示例時(shí)間表

4 結(jié)束語(yǔ)

本文提出一種FMCW 雷達(dá)基于文本識(shí)別技術(shù)的連續(xù)動(dòng)作識(shí)別方法。該方法將不同動(dòng)作的微多普勒時(shí)頻圖的特征抽象成不同的字符，使用文本識(shí)別的思路進(jìn)行識(shí)別。首先對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，使用RDM 投影的方法獲取微多普勒時(shí)頻圖，從而避免了雷達(dá)幀與幀之間的Chirp 不連續(xù)導(dǎo)致STFT 變換調(diào)參麻煩和功率泄露的問(wèn)題。然后，將處理得到的微多普勒時(shí)頻圖輸入到有卷積神經(jīng)網(wǎng)絡(luò)、inception_resnet 和最大池化層組成的主干網(wǎng)絡(luò)對(duì)圖像進(jìn)行提取特征和壓縮，將原始輸入尺寸為256×w×3 壓縮成一個(gè)由w/16 個(gè)1×1×512 維度長(zhǎng)方體特征組成的時(shí)間序列，然后輸入到兩層Bi-LSTM 網(wǎng)絡(luò)對(duì)每個(gè)序列進(jìn)行預(yù)測(cè)。由于一個(gè)目標(biāo)在固定長(zhǎng)度的時(shí)間窗口內(nèi)執(zhí)行動(dòng)作的起始時(shí)間和結(jié)束時(shí)間是不同的，數(shù)據(jù)無(wú)法被精確標(biāo)注，因此最后使用CTC 作為損失函數(shù)，對(duì)參數(shù)進(jìn)行求導(dǎo)。實(shí)驗(yàn)表明，該方法對(duì)步行、跑步、蹲下、站起、跳躍這5 種動(dòng)作的識(shí)別準(zhǔn)確率分別高達(dá)96.16%，95.34%，88.49%，89.37%，96.72%。對(duì)一個(gè)時(shí)間窗口內(nèi)多個(gè)動(dòng)作的識(shí)別也取得了不錯(cuò)的效果，時(shí)間上的識(shí)別準(zhǔn)確率整體令人滿意。由于連續(xù)的動(dòng)作存在前后的合法性，比如蹲下以后的動(dòng)作只能是站起，不能是其他動(dòng)作，因此下一階段打算對(duì)該方法進(jìn)行改進(jìn)用以判斷連續(xù)動(dòng)作是否合法。