基于時空壓縮特征表示學(xué)習(xí)的毫米波雷達(dá)手勢識別算法

韓 崇 韓 磊 孫力娟② 郭 劍②

①(南京郵電大學(xué)計算機學(xué)院 南京 210003)

②(江蘇省無線傳感網(wǎng)高技術(shù)研究重點實驗室 南京 210003)

1 引言

手勢識別作為一種自然直觀的人機交互方式，是人機交互中最常用、最有效的方法之一[1]。現(xiàn)有手勢識別技術(shù)有很多種，如基于圖像視覺技術(shù)、基于可穿戴設(shè)備技術(shù)、基于生物信號技術(shù)以及基于雷達(dá)探測技術(shù)。基于圖像視覺的手勢識別中一些研究人員利用微軟公司的Kinect深度體感攝影機進行了手勢識別的相關(guān)研究[2–4]。然而，基于圖像視覺的手勢識別方法不能在非視線、光線條件差或被遮擋的情況下工作。同時這種方法還有一些隱私和功耗的問題。基于可穿戴設(shè)備的手勢識別通過穿戴傳感設(shè)備捕獲手勢運動的變化[5]，常用的信號有肌電圖、壓力、加速度。但是，這類方法只有用戶佩戴傳感器時才能起作用。基于生物信號的手勢識別利用眼動、腦電信號、肌電信號等生物信號經(jīng)過處理進行手勢識別處理，現(xiàn)有方法主要利用肌電圖(ElectroMyoGram, EMG)[6]來進行手勢分類識別。但是，基于生物信號的手勢識別不具有普適性，用戶的生物信號都不盡相同，另外基于生物信號的手勢識別方法也需要佩戴相應(yīng)設(shè)備，造成使用不便。

隨著毫米波通信和雷達(dá)技術(shù)的發(fā)展，使用毫米波雷達(dá)進行無接觸式人機交互[7]逐漸引起了相關(guān)研究者的關(guān)注。以毫米波雷達(dá)的方式進行手勢識別的優(yōu)點尤為突出[8]：(1)雷達(dá)信號不受光照環(huán)境的影響；(2)數(shù)據(jù)信號是射頻信號，具有隱私安全性；(3)毫米波雷達(dá)具有能耗低、體積小的特點，這為嵌入到便攜式設(shè)備中提供了可能。

基于毫米波雷達(dá)的手勢識別作為新興技術(shù)，克服了傳統(tǒng)手勢識別方法的諸多問題，已經(jīng)得到了一些實際應(yīng)用案例，最具代表性的是谷歌Touchstone團隊的Soli項目[9]通過自制毫米波雷達(dá)芯片，在芯片體積、功耗以及算法效率上進行優(yōu)化，并初步應(yīng)用于Google Pixel 4系列手機中，但是由于各種原因，Pixel后續(xù)版本中相關(guān)功能被取消了。現(xiàn)有關(guān)于毫米波雷達(dá)手勢識別研究已經(jīng)取得了很多的成果，但是基于毫米波雷達(dá)硬件，例如信號回波和垂直/水平天線等特征，在手勢信息的利用度[10]、手勢動作的連貫性[11]、雷達(dá)信號角分辨率利用等方面還有待改進的問題。

基于此，本文基于調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave, FMCW)毫米波雷達(dá)平臺，利用其高距離分辨率、天線尺寸小、功耗低的優(yōu)點進行手勢分類，針對現(xiàn)有手勢識別研究中的數(shù)據(jù)預(yù)處理和特征利用問題，面向手勢識別應(yīng)用，提出一種用于毫米波雷達(dá)手勢識別的時空壓縮特征表示和學(xué)習(xí)方法。本文方法主要包括3個步驟：首先，對接收到的FMCW回波反射信號距離-多普勒圖進行靜態(tài)干擾去除和動目標(biāo)點篩選，減少雜波對手勢信號的干擾，同時大大減少數(shù)據(jù)量的計算；然后，對處理過的距離-多普勒圖進行壓縮，利用動目標(biāo)點的主導(dǎo)速度來表示手勢的運動特征，實現(xiàn)多維特征的壓縮映射，并不丟失手勢運動的關(guān)鍵特征信息；最后設(shè)計了一個單通道的卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)和分類多維手勢特征信息在多用戶和多位置的手勢場景。本文方法主要使用了距離多普勒時間圖特征(Range Doppler Time Image, RDTI)，因此下文中本文方法就稱為RDTI方法。本文的主要貢獻(xiàn)如下：

(1) 利用特征預(yù)處理，進行靜態(tài)干擾去除和動目標(biāo)點篩選，有效凸顯手勢信號和減少無效點的計算，準(zhǔn)確提取手勢的目標(biāo)位置；

(2) 提出一種基于手勢時空運動模型的手勢識別算法，針對單一特征手勢識別精度不高、多維特征多流網(wǎng)絡(luò)的識別模型復(fù)雜的問題，提出手勢時空壓縮算法，為了利用距離、多普勒和時間信息，在距離-多普勒特征圖上利用手勢主導(dǎo)速度來表示手勢目標(biāo)的頻率響應(yīng)實現(xiàn)空間上的壓縮，并將主導(dǎo)速度信息映射到距離-時間圖上實現(xiàn)時間上的壓縮，構(gòu)成手勢時空壓縮特征圖。針對此特征并設(shè)計了一種輕量級網(wǎng)絡(luò)，在保證了準(zhǔn)確率的同時，簡化了算法和網(wǎng)絡(luò)模型，易于嵌入到便攜式設(shè)備中。

本文其余章節(jié)安排如下：首先，第2節(jié)回顧手勢識別的相關(guān)工作；第3節(jié)主要介紹雷達(dá)的相關(guān)知識以及手勢特征的提取原理；第4節(jié)對手勢的信號模型進行預(yù)處理和特征提取，獲得壓縮的手勢時空運動圖用來表示手勢的時空運動；第5節(jié)給出手勢識別中基于壓縮的手勢時空特征的實驗對比結(jié)果和分析；第6節(jié)是本文的總結(jié)。

2 相關(guān)工作

基于毫米波雷達(dá)信號的手勢識別當(dāng)前采用的主要方法是利用雷達(dá)設(shè)備采集手勢信號，然后通過信號處理提取手勢特征，最后通過機器學(xué)習(xí)或深度學(xué)習(xí)的方法進行手勢分類[12]。那么如何對數(shù)據(jù)進行預(yù)處理，選用什么樣的手勢特征的提取，設(shè)計何種分類算法，對最終的手勢識別率都有一定的影響，同時也是手勢識別技術(shù)研究和應(yīng)用的關(guān)鍵。根據(jù)雷達(dá)手勢識別的處理過程，分別對基于雷達(dá)的手勢信號處理和基于深度學(xué)習(xí)的特征提取兩個方面進行研究現(xiàn)狀分析。

2.1 基于雷達(dá)的手勢特征處理研究現(xiàn)狀

在雷達(dá)回波信號手勢特征處理方面，Zhang等人[10]采用5.8 GHz雷達(dá)采集手勢信號，利用短時傅里葉變換和連續(xù)小波變換兩種時頻分析方法，對雷達(dá)接收到的信號進行分析。但是，該工作中的雷達(dá)信號僅僅提取時頻信息，無法獲取到手勢更豐富的信息，對一些微動手勢、易混淆手勢的識別效果不佳。Molchanov等人[11]通過2維快速傅里葉變換(2 Dimensions Fast Fourier Transform, 2D-FFT)得到包含手勢距離和速度信息的距離-多普勒圖(Range-Doppler Map, RDM)來表征手勢。為了更好地利用手勢的多維特征，Sun等人[13,14]使用多特征編碼器來編碼手勢關(guān)鍵點的5D特征，其中關(guān)鍵點為距離-多普勒圖中幅度最大，然而人工選擇的關(guān)鍵點容易受到動態(tài)干擾，很難具有普適性，難以適應(yīng)復(fù)雜的場景。文獻(xiàn)[15,16]基于77 GHz毫米波雷達(dá)，建立手勢運動模型來追蹤手勢的運動，對手勢模型中的最佳反射點提取多普勒-時間特征圖、垂直角度-時間圖、水平角度時間圖，然后基于3通道卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Networks,CNN)學(xué)習(xí)特征并進行手勢分類，該方法在下文中稱為通道平均的多普勒時間圖加水平角度時間圖加垂直角度時間圖方法(Channel Agerage - Doppler Time Image + Horizontal Angle Time Image +Vertical Angle Time Image, CA–DTI+HATI+VATI)。由于毫米波雷達(dá)平臺的角度分辨率不高，因此該方法提取的角度特征對微動作手勢的表示能力有一定的限制。

2.2 基于深度學(xué)習(xí)的特征提取研究現(xiàn)狀

為了有效地對手勢特征進行提取，Karpathy等人[17]提出了使用CNN提取各幀圖像的特征。CNN可以提取和保留每一幀圖像中的手勢特征，并對手勢進行分類，但沒有考慮幀間的相干性信息。基于此問題，Tran等人[18]提出了3維卷積來替代2維卷積，由此生成的3維卷積神經(jīng)網(wǎng)絡(luò)(3 Dimensions Convolutional Neural Networks, 3D-CNN)來提取多幀連續(xù)信息。由于卷積核是單一的，提取的特征不足以完全有效地表示整個手勢運動且3D-CNN使得模型變得復(fù)雜，不易于嵌入到便攜式設(shè)備中。為了克服3D-CNN的不足，Wang等人[19]采用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory, LSTM)來提取手勢時間信息，但該工作采用多流網(wǎng)絡(luò)融合來提取手勢的時間信息，增加了網(wǎng)絡(luò)的開銷，難以做到實時性。

本文提出基于FMCW雷達(dá)的手勢識別RDTI方法，考慮改善采用多普勒雷達(dá)只能測量單個運動物體引起的多普勒頻移，多根手指的相互協(xié)調(diào)動作會使多普勒頻移特征重疊在一起的問題。使用FMCW雷達(dá)的高距離分辨率特性將不同范圍的多個手勢進行分離，從而提高手勢識別精度。另外本文針對單一特征手勢識別精度不高、多維特征多流網(wǎng)絡(luò)的識別模型復(fù)雜的問題，提出一種基于時空壓縮特征圖的手勢識別算法，在保證了準(zhǔn)確率的同時，簡化了算法和網(wǎng)絡(luò)模型，易于嵌入到便攜式設(shè)備中做到實時的手勢識別。

3 毫米波雷達(dá)信號處理相關(guān)原理

本文基于毫米波雷達(dá)平臺采用發(fā)射FMCW信號接收回波的方式，以測量距離、角度和速度。FMCW體制雷達(dá)的信號為線性調(diào)頻脈沖信號，隨時間變化頻率呈線性增加，下面介紹其測距、測速、測角原理。

3.1 測距原理

上述流程即是對一個線性調(diào)頻信號chirp的處理過程，對連續(xù)多個chirp進行相同的處理然后拼接成一幀數(shù)據(jù)。式(4)中距離-FFT結(jié)果顯示了不同范圍內(nèi)接收到的頻率響應(yīng)。圖1是手勢信號處理的原理圖，其中圖1(a)反映了對原始信號進行距離-FFT處理后的結(jié)果。由于毫米波雷達(dá)平臺厘米級的距離分辨率，距離測量精確，可以檢測手指間的位置，從而能夠分辨微小動作。

3.2 測速原理

通過對每個chirp信號使用傅里葉變換，將會產(chǎn)生一個個具有不同的分離峰值的頻譜，每個峰值表示在特定距離處存在物體。如果速度不同的多個運動手指在測量時距離相同，將無法區(qū)分，因此需要進一步提取每個chirp信號同一距離下的相位做FFT，在同一距離下區(qū)分速度不同的多個目標(biāo)。運動速度V的目標(biāo)在相鄰的兩個距離-FFT中應(yīng)該有不同的相位，這與目標(biāo)在一個chrip時間內(nèi)運動的距離V×Tc經(jīng)過做相位FFT后，就可以得到每個目標(biāo)的相位差ω，進而得到速度不同的目標(biāo)，運動速度V 表示為

其中，λ為波長，為了同時使用距離和速度來區(qū)分多個手指之間的位置，沿著距離-FFT列進行另一個FFT即多普勒-FFT，如圖1(a)所示，以顯示同一距離下多個手指的不同速度。圖1(b)的不同顏色的索引位置顯示了兩個速度相同的目標(biāo)。

3.3 測角原理

距離測量只給出手勢在射頻信號視距中的距離，進一步本文使用信號達(dá)到角(Angle Of Arrival, AOA)來描繪目標(biāo)在空間笛卡兒坐標(biāo)系中的確切位置。利用FMCW雷達(dá)的多個接收天線推導(dǎo)出的AOA為

其中，dIR是相鄰接收天線之間的距離，為了進一步區(qū)分手指在距離-多普勒域中的重疊，在所有接收信道上執(zhí)行第3次FFT即角度-FFT。例如，在圖1(c)上應(yīng)用角度-FFT后，可以捕獲多個目標(biāo)具有相同的距離和速度的AOA。

圖1 手勢信號處理原理圖

基于毫米波雷達(dá)平臺進行手勢識別時，利用手勢的角度信息作為特征識別，往往會因為硬件設(shè)備角度分率的不足，導(dǎo)致對微小手勢的識別效果會很差。硬件設(shè)備的距離分辨率和多普勒分辨率相比之下就會精確很多，在進行手勢特征提取時，可以準(zhǔn)確提取到微小手勢的變化，因此本文主要基于距離-FFT、多普勒-FFT高分辨率的特點，提取手勢運動的時間、距離、多普勒信息，構(gòu)建一種壓縮的手勢時空運動特征，以提高基于毫米波雷達(dá)平臺的手勢識別精度。

4 基于手勢時空壓縮特征的手勢識別算法

4.1 整體框架

本文手勢識別系統(tǒng)的整體框架可以分為毫米波雷達(dá)系統(tǒng)、原始數(shù)據(jù)處理、手勢時空壓縮特征提取、CNN分類4個部分。系統(tǒng)整體框架如圖2所示，首先對3發(fā)4收的毫米波雷達(dá)進行手勢信號采集，得到12通道的手勢數(shù)據(jù)，然后對手勢數(shù)據(jù)進行預(yù)處理，主要包括距離維度處理和多普勒維度處理，處理后得到距離-多普勒特征圖，此時需要進一步的雷達(dá)信號處理，主要包括靜態(tài)干擾去除和動目標(biāo)點篩選，處理后的距離-多普勒圖已經(jīng)可以作為手勢識別的特征圖進行輸入識別，但此特征圖缺乏手勢運動的時間信息，本文提出RDTI方法在此基礎(chǔ)上進一步融入手勢的時間信息。時空壓縮旨在將距離-多普勒和距離-時間這兩種傳統(tǒng)的手勢特征圖從時間維度和空間維度進行壓縮，構(gòu)成手勢時空壓縮特征圖即RDTI。需要在距離-多普勒特征圖上利用手勢主導(dǎo)速度來表示手勢目標(biāo)的頻率響應(yīng)實現(xiàn)空間上的壓縮，并將主導(dǎo)速度信息映射到距離-時間圖上實現(xiàn)時間上的壓縮。最后將得到的手勢時空壓縮特征圖輸入到CNN中進行學(xué)習(xí)和分類。

圖2 系統(tǒng)整體框架圖

4.2 距離-多普勒預(yù)處理

為了從距離和速度方面提取用戶特定的手勢模式，將接收到的原始FMCW信號轉(zhuǎn)換為距離-多普勒域。具體來說，首先對接收的信號進行距離-FFT，得到目標(biāo)的距離信息。一個明顯的頻率響應(yīng)FP是由目標(biāo)在距離雷達(dá)FP×c/2S處將反射信號反彈所引起的，其中S為FMCW信號的掃描的斜率。需要注意的是，手勢識別的信號會被許多物體(如手臂部位、墻體、天花板等)反射，每一種都會產(chǎn)生強烈的頻率響應(yīng)。為了進一步計算這些反射物體的各種速度，將FFT應(yīng)用在距離-FFT的相位上，稱為多普勒-FFT，以手勢動作先遠(yuǎn)離雷達(dá)后再靠近雷達(dá)為例，詳細(xì)說明手勢特征信號的處理過程，如圖3顯示了該手勢產(chǎn)生的多普勒-FFT信號，其中x軸(距離-FFT分辨率)對應(yīng)反射面對雷達(dá)的移動速度，其中0表示反射面是靜態(tài)的。y軸(多普勒-FFT分辨率)對應(yīng)反射面到雷達(dá)的距離。

4.3 靜態(tài)干擾去除

在圖3所示的距離-多普勒圖包含了移動手掌、靜態(tài)物體(墻壁、天花板)和多徑效應(yīng)的信息。為了準(zhǔn)確地獲取用戶的手勢動作信息，需要消除靜態(tài)干擾的影響。

圖3 先遠(yuǎn)離雷達(dá)后靠近雷達(dá)手勢信號特征圖(第3幀)

本文采用的毫米波雷達(dá)平臺為捕捉實時的手勢變化，采用25幀/s的幀率。因此，對于每一幀，用戶的頻率響應(yīng)出現(xiàn)在不同的距離-多普勒位置，而對于一些靜態(tài)物體相關(guān)的頻率響應(yīng)發(fā)現(xiàn)在距離-多普勒圖中隨時間是保持一致的。這就意味著可以通過計算距離-多普勒域中平均頻率響應(yīng)來粗略估計來自靜態(tài)目標(biāo)的干擾，這樣可以大大減少對每個距離-多普勒位置上目標(biāo)相關(guān)頻率響應(yīng)的干擾。圖4顯示了2 s窗口導(dǎo)出的靜態(tài)干擾分布圖，包含50幀。為了消除干擾，從每幀的距離-多普勒域頻率響應(yīng)中減去估計的靜止干擾。

圖4 靜態(tài)干擾分布圖

去除靜止干擾后的距離-多普勒圖如圖5所示，主要包含目標(biāo)的手勢引起的頻率響應(yīng)。

圖5 去除靜態(tài)干擾后的距離-多普勒圖

4.4 動目標(biāo)點篩選

在處理距離-多普勒數(shù)據(jù)時，可以注意到大量的背景噪聲積累導(dǎo)致了頻率響應(yīng)的偏差。為了消除這種影響，同時保留用戶手勢在距離-多普勒圖中的運動特征，采用多普勒動目標(biāo)點篩選的方法，使用基于恒虛警率(Constant False-Alarm Rate,CFAR)的閾值濾波，在距離-多普勒數(shù)據(jù)的距離維度和多普勒維度分別進行CFAR計算，分別得到距離維度的閾值τR和多普勒維度閾值τD，具體描述如式(8)和式(9)所示

4.5 手勢時空壓縮特征圖提取

圖6 動目標(biāo)篩選后的距離-多普勒圖

至此，已經(jīng)完成了對距離-多普勒數(shù)據(jù)的靜態(tài)干擾去除、降噪以及多徑抑制的過程，可以發(fā)現(xiàn)，從距離分辨率的角度解決了一個物體在多個相鄰chrip中的速度。因此，可以采用一個主導(dǎo)速度表示用戶每幀的手部速度，采用的公式為

其中，R(i,j,k)代表歸一化后的頻率響應(yīng)，i, j, k分別為距離、速度、幀數(shù)對應(yīng)的索引值，Vj對應(yīng)于頻率響應(yīng)R(i,j,k)的速度，NR,ND分別表示距離-FFT的個數(shù)和多普勒-FFT的個數(shù)。主導(dǎo)速度集成了頻率響應(yīng)和速度，將2維距離-多普勒圖壓縮成1維陣列。將壓縮后的距離-速度數(shù)據(jù)按時間順序排列映射到距離-時間2維數(shù)據(jù)上，構(gòu)成手勢時空壓縮特征圖，顯示用戶的手勢特征(手勢運動的方向、手勢的主導(dǎo)速度、持續(xù)時間等)，如圖7所示。其中，距離隨時間的變化反映了手部相對于雷達(dá)的位置；手勢的持續(xù)時間由完成手勢所需的幀數(shù)表示。手勢的瞬時速度用主導(dǎo)速度來表示，手相對于雷達(dá)位置不同手勢的主導(dǎo)速度也不同，圖7中當(dāng)手遠(yuǎn)離雷達(dá)運動時如菱形所表示的運動軌跡時，手勢的主導(dǎo)速度為正，當(dāng)手靠近雷達(dá)運動時如矩形所表示的運動軌跡時，手勢的主導(dǎo)速度為負(fù)，速度的正負(fù)之分可以進一步判斷手勢的運動方向，由此表明手勢的時空壓縮特征可以準(zhǔn)確地反映出用戶不同手勢運動的特有模態(tài)。

圖7 手勢時空壓縮特征圖

4.6 CNN網(wǎng)絡(luò)分類器

為了能夠從手勢特征圖像中提取更深層次的特征，本文設(shè)計了一個輕量級的CNN架構(gòu)進行手勢識別深度特征提取、訓(xùn)練和分類識別，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖8所示，其關(guān)鍵層包含3個2維卷積層和2個1維全連接層。CNN的輸入圖像大小為64×64×3。

圖8 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

CNN由于手勢像素尺寸小，輪廓特征簡單，所以其卷積層的卷積核3較小，最大池化層的步幅2較小，全連接層的神經(jīng)元數(shù)量較少。Softmax層的輸出維數(shù)為Ncla×1，對應(yīng)于各種手勢分類的概率密度分布。設(shè)定恒定的學(xué)習(xí)率為0.001，batch size為32，迭代的epoch為50，所設(shè)計的網(wǎng)絡(luò)模型參數(shù)大小僅為約6 MB，在GPU1080ti計算機上對單個樣本進行分類僅需約10 ms。

本文選擇CNN的主要原因是：首先，用于分類的多維特征是最適合CNN的2維圖像；其次，深度神經(jīng)網(wǎng)絡(luò)擅長從大量的數(shù)據(jù)樣本中學(xué)習(xí)通用特征，這有助于手勢識別算法增強多用戶的泛化能力。

5 實驗和分析

本文采用的手勢識別系統(tǒng)包含4個部分：毫米波雷達(dá)系統(tǒng)、原始數(shù)據(jù)處理、手勢時空壓縮特征圖提取和CNN分類。首先利用FMCW毫米波雷達(dá)平臺接收到原始手勢數(shù)據(jù)，利用提出的壓縮時空運動特征的算法得到壓縮后的手勢時空運動圖，從而制作不同手勢的數(shù)據(jù)集，最后利用不同的手勢識別算法對數(shù)據(jù)集進行分類預(yù)測，驗證不同手勢識別算法的性能。

5.1 實驗裝置

為了評估本文的手勢識別體系設(shè)計，設(shè)計了毫米波雷達(dá)采集手勢數(shù)據(jù)系統(tǒng)。如圖9所示，系統(tǒng)由兩個功能模塊組成：德州儀器(Texas Instruments,TI)毫米波雷達(dá)評估板AWR6843BOOST-ODS和實時高速數(shù)據(jù)采集適配器。數(shù)據(jù)捕獲適配器通過低壓差分信號(Low Voltage Differential Signaling,LVDS)接口從雷達(dá)芯片中捕獲原始數(shù)模轉(zhuǎn)換數(shù)據(jù)，通過USB接口輸出到計算機進行進一步處理。本毫米波雷達(dá)系統(tǒng)采用的線性調(diào)頻脈沖信號初始頻率為60 GHz，帶寬為4 GHz。基于時分復(fù)用多輸入多輸出(Time Division Multiplexing - Multiple Input Multiple Output, TDM-MIMO)方案，設(shè)計了3個發(fā)射天線和4個接收天線形成一個2維虛擬天線陣列，包括12個數(shù)據(jù)通道，虛擬天線陣元如圖10所示。在水平和垂直方向上最多有4個虛擬通道，分別對應(yīng)29°和29°的角分辨率。基于手勢動作的特性，雷達(dá)系統(tǒng)的配置參數(shù)列于表1。手勢特征的滑動窗口長度設(shè)置為50幀或2 s。

表1 手勢識別系統(tǒng)中雷達(dá)的參數(shù)設(shè)置

圖9 FMCW毫米波雷達(dá)平臺

圖10 多輸入輸出虛擬天線陣元

5.2 自建手勢數(shù)據(jù)集

本文招募10個用戶(7名男性，3名女性)執(zhí)行7種手勢動作構(gòu)成了本文自建手勢數(shù)據(jù)集，每種手勢在相對于雷達(dá)1 m距離內(nèi)完成，每個動作重復(fù)30次。10個用戶分為8個訓(xùn)練用戶和2個測試用戶，測試用戶對應(yīng)的數(shù)據(jù)集不參與訓(xùn)練，用來在后期進行算法泛化能力的對比。

7種手勢包括手指雙擊(0)、手指繞圈(1)、向左滑動(2)、向右滑動(3)、向上移動(4)、向下移動(5)、先上后下移動(6)，前兩類為手指運動的微動手勢，后5類為全手運動，為了驗證本文手勢識別方法的穩(wěn)定性，還包含了一種無手勢的狀態(tài)(7)。通過不同的處理方法得到了多普勒-時間圖(Doppler Time Image, DTI)、水平角度-時間圖(Horizontal Angle Time Image, HATI)、垂直角度-時間圖(Vertical Angle Time Image, VATI)、距離-多普勒圖(Range Doppler Image, RDI)、距離-時間圖(DTI+HATI+VATI)、壓縮的距離-多普勒-時間圖(Range Doppler Time Image, RDTI)的6幅信號特征圖像，并將所有圖像尺寸縮放到64×64。最后得到了由8人×8類×30幅圖像組成的手勢特征數(shù)據(jù)集。各種手勢的示例和不同特征提取方法如圖11所示。根據(jù)手勢運動的特性，有效手勢范圍為在1 m×1 m，同時這些數(shù)據(jù)是在不同情況下收集的，例如不同的時間點、不同的運動速度、不同的姿勢標(biāo)準(zhǔn)。以8:2劃分?jǐn)?shù)據(jù)集，即80%的數(shù)據(jù)用于構(gòu)建手勢識別模型，將20%數(shù)據(jù)輸入到訓(xùn)練好的模型中，用于分類預(yù)測，訓(xùn)練樣本數(shù)量和驗證樣本數(shù)量分別為1536張和384張。

圖11 手勢圖和特征圖

5.3 效果評估

為了驗證本文所提出的距離-多普勒-時間圖(RDTI)在手勢識別中的性能，首先與谷歌Soli的手勢識別方法在Soli數(shù)據(jù)集上進行手勢識別精度對比，Soli采用距離-多普勒圖(RDI)[20]作為網(wǎng)絡(luò)的輸入，為了有效提取手勢運動的時間信息，設(shè)計了CNN+LSTM的網(wǎng)絡(luò)架構(gòu)，首先將RDI輸入不同卷積層中提取卷積特征，然后將經(jīng)CNN輸出的特征圖再作為LSTM的輸入，利用其記憶單元建立起手勢序列前后信息之間的聯(lián)系，最后依此利用softmax進行分類。Soli采用的數(shù)據(jù)集為40 Hz的原始距離-多普勒圖像，10名用戶執(zhí)行11種手勢，每種手勢重復(fù)25次，構(gòu)成10人×11類×25次手勢序列。基于該Soli數(shù)據(jù)集，本文提取出距離-多普勒-時間圖輸入到CNN網(wǎng)絡(luò)中進行識別分類，在Soli數(shù)據(jù)集上的11種手勢類別對比結(jié)果如圖12所示。

從圖12可以看出采用RDI的手勢識別的平均精度為94.15，采用RDTI的手勢識別的平均精度為95.2，由此可見，本文提出的利用主導(dǎo)速度來表示手勢運動速度特征的方法是可行的，RDTI特征包含了距離、多普勒、時間信息，而不再需要LSTM網(wǎng)絡(luò)另行提取時間信息，簡化了模型，提供了更加輕便的手勢識別方法。兩種手勢識別方法的網(wǎng)絡(luò)模型如表2所示，可以看出基于RDTI的手勢識別模型比基于RDI的手勢識別模型小了約4倍，這為手勢識別系統(tǒng)的實時性和可嵌入性提供了可能。

表2 RDI與RDTI網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)模型大小對比

圖12 RDI與RDTI算法在Soli手勢數(shù)據(jù)集的實驗對比

為了進一步驗證不同手勢特征的識別能力，根據(jù)RDTI, RDI[20], CA-DTI+HATI+VATI[15]特征提取方法在本文自建的手勢數(shù)據(jù)集上進行特征提取，并輸入到CNN進行訓(xùn)練和識別測試。圖13是3種對比算法的各手勢特征預(yù)測準(zhǔn)確率。

在識別精度方面，從圖13 3種不同手勢特征的預(yù)測準(zhǔn)確率可以看出，總體上來看大部分情況下，基于RDTI特征和基于CA-DTI+HATI+VATI特征的分類效果要比沒有的時間信息的RDI特征的分類效果要好，平均分類精度分別高出4%, 3%。由此可見多特征信息對手勢識別有很大的影響。同時可以看到融合了角度信息的CA-DTI+HAVTI+VATI對手指雙擊、手指繞圈兩種微動手勢的識別，效果并不是很理想。因為在現(xiàn)有的毫米波雷達(dá)平臺中，大部分都存在角度分辨率不高的問題，而采用CADTI+HATI+VATI的多維特征融合方法，增加了垂直和水平角度信息，導(dǎo)致提取的角度特征對微動作手勢的表示能力不強，反而影響了手勢的識別精度。此外，多維特征信息的提取也需要加入更多的計算，首先在特征提取時，需要準(zhǔn)確找到手勢運動的角度信息，需要進行MUSIC算法的計算得到不同的角度圖，然后多通道的特征信息在神經(jīng)網(wǎng)絡(luò)中也增加了計算量，過多的計算會導(dǎo)致手勢識別系統(tǒng)變得復(fù)雜，難以做到實時性和可嵌入性。

圖13 3種不同算法的手勢特征預(yù)測準(zhǔn)確率

相比之下，本文提出的基于壓縮的手勢時空運動圖RDTI在具備較高的識別精度的同時，也大大減少了計算量。通過壓縮速度信息的方式，將距離、時間、速度特征都融合起來，利用手勢的主導(dǎo)速度來提取手勢的主要特征，沒有加入手勢的角度信息，無論是面對手指的微動手勢還是手掌的全手手勢都有較好的識別效果。

為了進一步檢驗對比3種不同手勢特征在手勢識別上的泛化能力，利用訓(xùn)練用戶的數(shù)據(jù)集訓(xùn)練好的模型對測試用戶的數(shù)據(jù)集進行評估，由表3可以看出，對比另外兩種手勢識別方法，本文提出的RDTI手勢特征在用戶4與用戶9上都有較好的泛化能力。

表3 3種不同手勢特征的泛化能力(%)

6 結(jié)束語

本文基于TI毫米波雷達(dá)平臺，利用FMCW雷達(dá)的高距離分辨率，對不同距離的多個手勢進行分離，以提高手勢識別的準(zhǔn)確性。同時針對單特征手勢識別精度低、多維特征多流網(wǎng)絡(luò)識別模型復(fù)雜的問題，提出了基于時空壓縮特征圖的手勢識別算法，該算法不僅保證了手勢識別的準(zhǔn)確性，而且提高了識別的準(zhǔn)確率，同時簡化了算法和網(wǎng)絡(luò)模型。在后續(xù)的工作中，擬研究如何追蹤更為準(zhǔn)確精細(xì)的運動手勢目標(biāo)，以有效抑制運動雜波的干擾，考慮借鑒基于圖像視覺的手勢識別方法，構(gòu)建準(zhǔn)確追蹤手勢的運動模型，將感興趣的區(qū)域進一步聚焦在有效的運動手勢目標(biāo)上，提取更多的手部散射和運動特征，從而更準(zhǔn)確地識別手勢。