毫米波雷達手勢識別綜述

董堯堯,曲 衛,邱 磊

(1.航天工程大學 研究生院， 北京 101416； 2.航天工程大學 電子與光學工程系，北京 101416)

1 引言

作為人際交流的一種重要方式，手勢這種肢體語言可實現豐富的信息交換。根據手勢行為可將手勢分為靜態手勢和動態手勢2種。顧名思義，靜態手勢是指在某個時間點上手的穩定形狀，而動態手勢則包含一系列的手部動作。動態手勢的研究是目前學界研究的熱點。作為較為新型的人機交互方式，手勢識別技術的強大性和有效性都是毋庸置疑的[1]。使用者借助該交互技術，擺脫了冗余器件的操作，使雙手得到極大解放，自然有效地利用動態手勢實現對目標設備的控制[2]，進而完成人與計算機等電子設備之間的信息傳遞。

早期手勢識別技術是利用可穿戴電子設備傳感器，通過檢測感知人手與各個關節的空間位置信息，從而實現手勢識別的目的。可穿戴電子設備傳感器的典型代表如數據手套，利用加速度計和陀螺儀[3]等傳感器，能夠得到操作者豐富的手部運動信息。此外基于光學標記法[4]的穿戴設備也具有良好的識別性能和穩定性。但以上2種手勢識別技術操作繁瑣且設備價格昂貴，在日常生活中未能得到廣泛應用。之后基于視覺圖像的手勢識別技術逐漸發展起來，與可穿戴式手勢識別系統相比，視覺手勢識別技術摒棄了額外的穿戴系統，使用戶以徒手的方式便可進行人機交互[5-6]。視覺手勢識別技術是利用計算機圖像采集設備(如攝像頭等)、計算機視覺技術，對目標用戶的手勢動作進行感知、追蹤與識別，進而達到理解用戶意圖的目的[7]。雖然高分辨率相機使視覺手勢識別技術的識別率高達90% 以上[8-10]，但該技術極大程度上受限于光線條件，同時也存在隱私泄露的安全問題。

隨著雷達技術的快速發展和廣泛應用，雷達手勢識別已成為人機交互技術領域的一個重要分支。與傳統光學傳感器相比，雷達傳感器在雨、雪、霧霾等惡劣天氣情況或者黑暗條件下均能夠正常工作，具有全天候、全天時的優勢；其次雷達傳感器可固定到電子設備內部，從而可提高裝置的抗干擾性和靈活性；另外，雷達信號在隱私安全方面也有著較大優勢，可以有效的保護用戶隱私信息。

目前基于雷達技術的手勢識別所采用的雷達傳感器多為毫米波雷達，該頻段的雷達系統易于小型化，同時毫米波雷達擁有較寬的多普勒帶寬，對于微動目標的感知能力更強，可以較為準確識別手部的微小動作。對于毫米波手勢識別的研究，加利福尼亞州立大學的Youngwook Kim等人利用24 GHz的雷達傳感器對3種目標手勢進行感知識別，通過深度學習網絡模型達到99%的平均識別率[11]；英國倫敦大學的Matthew Ritchie利用24 GHz的Ancortek雷達系統對6人4種不同的手勢進行高達3 000次的重復檢測[12]，同樣為24 GHz頻段，NVIDIA研究中心的Pavlo Molchanov等人利用短程調頻連續波(frequency modulated continuous wave，FMCW)雷達系統，對駕駛員動態手勢進行識別研究[13]。Ismail Nasr等研究者采用發射頻率為60 GHz、4天線(2發4收)的FMCW雷達傳感器，配合SiGe技術實現對目標手勢的檢測[14]。Xuhao Zhang 采用工作頻率為77GHz的調頻連續波雷達傳感器，為駕駛員手勢識別輔助系統提供動態手勢檢測[15]。韓國KAIST電氣工程學院的ChoiJae-Woo等人利用Google公司開發的60GHz頻率的FMCW雷達，對10種手勢信息進行感知，利用長短期記憶網絡(long short-term memory，LSTM)模型，識別率高達99.10%[16]。電子科技大學的李楚楊和王亞龍均采用一發四收的毫米波雷達構建了樣本量為3 200手勢樣本庫[17-18]，為后期的數據處理提供了大量樣本。此外，Google公司的Soli項目中，公開展示了采用60 GHz頻段的FMCW毫米波雷達芯片實現近距離微動手勢識別[19]。

目前眾多的雷達手勢識別文獻，尚無專門針對雷達手勢識別技術的綜述，本文主要對近年來基于雷達的動態手勢識別研究與涉及的相關技術進行梳理與歸納，并探討已有方法存在的不足及下一步的研究方向。

2 雷達手勢識別流程

通常，毫米波雷達手勢識別可分為3大步驟：首先，利用毫米雷達傳感器檢測并采集用戶的動態手勢信息；然后，對雷達接收的回波信號進行預處理操作，最大限度的對動態手勢特征進行提取，同時濾除干擾雜波；最后，根據手勢特征預處理的結果，選擇恰當的算法對手勢進行分類和識別。基于雷達技術的手勢識別系統基本流程如圖1所示。本文以雷達手勢識別主要步驟為脈絡來闡述手勢識別中所涉及的關鍵技術。

圖1 雷達手勢識別系統基本流程框圖

3 手勢信號預處理

對于所接收的雷達手勢回波，采取預處理的主要目的是為了提取有效的手勢信息，同時將采集的時域一維信號轉換為二維信號。雷達回波信號中除動態手勢信息外，還夾雜著背景噪聲等干擾信息，針對該情況，利用相關信號處理算法進行數據預處理，去除干擾信息的同時還最大限度的對動態手勢特征進行提取。常見的手勢信號預處理方式為經典的傅里葉變換及其衍生算法，余晨暉采用短時傅里葉變換( short-time fourier transform,STFT) 算法，通過對雷達信號的分析提取時頻圖的包絡特征，包括時頻包絡曲線的最大值、平均值和方差，完成了對手勢回波信號的時頻特征分類[21-22]。Zhang等人利用STFT對雷達回波信號進行時頻分析，隨后將多普勒頻偏的正負比率和手勢動作時長人工構造為特征[23]。Kim等人通過STFT分析得到手勢信號的微多普勒譜，繼而將微多普勒譜圖像作為輸入，利用卷積神經網絡對所測量的十種手勢進行識別研究[24]。

盡管短時傅里葉變換局部化的思想在手勢信息預處理方面取得一定成就，但滑動窗函數的固定不變及較差的自適應性缺點仍然存在，鑒于此情況，Wang W等人結合小波變換的方式，提出一種基于信道狀態信息(channel state information，CSI )的人體運動識別模型，通過分析多徑效應對人體運動的影響以獲得手勢特征參數[25]。卡耐基梅隆大學的 Khaled團隊使用接收信號的強度指示信息(received signal strength indication，RSSI)，通過小波變換將手勢信號的上升沿、下降沿、脈沖等特征去識別動態手勢[26]，使得手勢識別系統具有較好的自適應性。

此外，針對雷達信號的處理方法在手勢數據預處理過程中也得到了極大應用。Pavlo等人利用短程FMCW雷達系統所接收的數據，結合距離-多普勒圖估計方法，以及深度傳感器的校準系統完成對車載手勢識別[13]。Dekker等人將手勢一維信號處理為多普勒-時間譜，并分別將該譜的實部和虛部作為卷積神經網絡的輸入，進而完成手勢的分類識別[27]。王俊等人通過對手勢目標的 LFMCW 雷達回波依次進行去斜、快時間域快速傅里葉變換(fast fourier transform，FFT)和相干積累處理，獲取其在距離多普勒(range-doppler，RD)域的二維分布，作為后續深度學習網絡的輸入特征向量，實現對手勢動作的自動特征提取與識別[28]。王勇等人通過對手勢回波的時頻分析，估計出目標手勢的距離、多普勒和角度參數信息，將同一動態手勢的3種數據同步并構建出手勢動作的多維參數數據集[29]；同年，該團隊又提出了一種基于 FMCW 雷達信號的多參數圖像的雙流融合神經網絡(two-stream fusion neural network，TS-FNN)手勢識別方法，該方法利用FFT估計出手勢的距離、速度、角度信息，保留了手勢橫向和縱向運動參數的時序特征[30]。Wang等人使用FMCW雷達采集手勢信號，通過雷達信號處理求取距離和速度，將對應的信號幅值映射為參數圖[21]，但該方法具有一定的局限性：即對于目標手勢的徑向變化識別效果較好，但對橫向變化角度特征變化不夠敏感，因而手勢識別應用范圍受到限制。

4 手勢特征提取與分類識別算法

對于預處理生成的手勢數據，若包含過多的冗余信息會大幅度增加分類模型的訓練難度，同時也會降低識別速度和準確率。特征提取的目的便是濾除冗余信息，得到能夠區分不同手勢的特征信息。分類識別算法是雷達手勢識別研究中最重要的一步，現有的機器學習技術不僅在數據處理、目標分類、模型預測等方面有突出表現，同時在手勢識別領域也擁有良好的發展前景。

目前較為主流的識別算法主要有基于模板匹配的雷達手勢識別、基于統計學習的雷達手勢識別以及基于深度學習的雷達手勢識別。圖2展示了近年來應用于毫米波雷達手勢識別算法框圖。

圖2 基于毫米波雷達手勢識別算法框圖

4.1 基于模板匹配的雷達手勢識別算法

動態時間歸整(dynamic time warping，DTW)是目前雷達手勢識別中最普遍的模板匹配算法。DTW算法是一種常用在語音匹配當中的算法，目前在圖像處理里面也有一定的應用。該算法采用動態編程的思想，利用歸整函數計算測試數據和參考模板的時間相似性，從而獲得兩個時間相關序列的相似度[31]。利用DTW對雷達數據進行處理時，首先需要構建出參考模板集合，通過比較測試數據和參考模板間的相似度，計算獲得差別性最小的手勢數據作為輸出結果。Zhou Zhi等人采用DTW方法對多模態信號進行分類。以太赫茲雷達采集到的10種手勢信號為例，驗證了分析和識別系統的有效性，實驗結果表明，識別精度達到91%以上[32]。Plouffe等人利用DTW算法對目標手勢進行識別，識別率達到96.25%[33]。但是，DTW算法也存在計算復雜度高、魯棒性差的局限性，尤其在手勢動作復雜、訓練樣本量較大時，識別率會大幅度下降。因此，對于原始DTW算法的改進研究應運而生。Ruan X等人在算法執行時增加全局路徑約束以及過程匹配持續更新機制，同時通過失真閾值算法動態調節待測手勢與參考模板匹配的過程，與傳統的DTW算法相比，改進的DTW算法處理速度提升了15%[34]。

4.2 基于統計學習的雷達手勢識別算法

統計機器學習算法是從數據中抽象出概率統計模型，利用模型對新的數據進行分析和預測的理論。基于統計學習的雷達手勢識別算法中應用較為廣泛的有支持向量機(support vector machine, SVM)、 K近鄰法(K-nearest neighbor，KNN)、隱馬爾可夫模型(hidden markov model，HMM)等方法。

SVM是一種有監督的學習模型，該模型主要是是通過核函數將輸入樣本特征向量映射到高維特征空間，在高維空間進行線性分類，找到最優分離超平面，使訓練樣本最大可分。Zhang等人從手勢信號的時頻譜中提取2種微多普勒特征，利用SVM算法對4種動態手勢進行分類，通過實驗驗證得出分類精度高于88.56%[23]。劉釗等人利用分段 FFT 算法，將雷達手勢回波轉化為表征手勢特征的二維圖像，聯合SVM對二維手勢特征量進行訓練與分類，其準確率達90.25%[35]。

KNN是在手勢訓練數據集的基礎上，計算與手勢測試實例距離最近的k個訓練數據，k中數量最多的那一類則為預測結果對新輸入的實例[36]。徐賢等人應用傳統k近鄰算法，同時結合電容式傳感器對動態手勢進行識別,相比傳統閾值識別方式,識別成功率得到有效提高[37]。若出現待識別手勢種類過多的情況,則會導致傳統的KNN算法訓練數據過大,進而影響識別的速度和準確率。陳嘉偉等人利用改進的KNN算法，首先對待識別手勢進行特征提取,根據所提取的特征值對相應手勢進行編碼,使得每個手勢都有唯一編碼,該方法可以有效減少訓練組的數據量,從而將手勢識別的準確率提升了5%[38]。

隱馬爾可夫模型是一種關于時序的統計分析模型，它可以用來描述含有隱藏未知參數的馬爾可夫過程。在利用HMM進行雷達手勢識別時，首先需要單獨為每個手勢構建HMM模型，通過計算每個HMM模型獲得待測手勢的概率，其中概率最大的HMM模型所對應的手勢便作為模型輸出結果。TI公司利用自主研制的77 GHz頻段毫米波雷達芯片，結合HMM模型對6種不同手勢進行識別，其準確率達到83.3%[39]，但識別過程中采用速度能量分布特征，無法滿足手勢類別較多、特征近似的手勢識別。利用從CSI中提取的特征，Wei Wang等人提出使用隱馬爾可夫模型來建立包含多個運動狀態的CSI活動模型，從而完成對動態手勢的識別[40]。Wang X首先利用AdaBoost迭代算法檢測用戶手勢，結合分區采樣進行手勢跟蹤，最后采用HMM完成手勢識別[41]。盡管該方法可以有效提高識別精度，但在算法執行過程中計算量過大，極大限制了識別速度。

4.3 基于深度學習的雷達手勢識別算法

深度學習作為機器學習的一個重要領域，在語音和圖像識別方面取得的效果遠超先前相關技術，尤其在圖像特征提取方面可以有效克服人工提取的局限性[42]。深度學習在雷達手勢識別中所涉及到的算法主要有卷積神經網絡(convolutional neural networks，CNN)，循環神經網絡(recurrent neural network,RNN)。

卷積神經網絡(CNN)作為深度學習的代表算法之一，通常由卷積層、池化層和全連接層構成。由于CNN在行為認知和姿態估計等方面體現出較大優勢，因此在雷達手勢識別技術領域也正迅速興起。王勇等人通過預處理獲得的手勢距離參數、多普勒參數和角度參數特征量，利用CNN對6種不同手勢進行識別分類，其準確率為95.3%[29]，不過該方案中距離參數和角度參數對于手勢的微動變化表征不明顯，同時在與多普勒參數特征融合之后，手勢的識別分類準確率降低，故該方法局限于運動幅度較大時的手勢識別。Dekker B等研究人員將多普勒-時間譜的實部和虛部作為兩個通道的輸入數據，同樣采用深度神經網絡對圖像進行特征提取，并用Softmax分類器完成手勢分類，測試集上都達到了99%的分類準確率[27]。Sruthy等人利用連續波多普勒雷達的兩個接收天線，產生差拍信號的同相和正交分量，將這兩個差拍信號映射到CNN模型中，使得手勢分類準確率超過95%[43]。Pavlo利用光學、深度和雷達傳感器數據融合，通過異源圖像配準及三維卷積神經網絡進行典型駕駛手勢動作識別[44]。

循環神經網絡(recurrent neural network,RNN)是一類具有短期記憶能力的神經網絡，將卷積神經網絡用于雷達手勢識別是目前國內外研究者的最新課題。Infineon公司人員利用所構造的距離多普勒特征圖像，通過對長循環全卷積模型神經網絡進行訓練，實驗結果對于5種小幅度運動的手勢識別效果較好，準確率達到94.34%[20]；Soli團隊通過手勢的距離多普勒特征，提出一種端到端的循環神經網絡方法，進行動態手勢識別的實驗結果表明：當識別目標為4類微動手勢時，識別率為92.1%；當識別目標為11種小運動幅度手勢時，識別率僅為87%[21]。但以上2種基于RNN的識別系統均采用原始的距離多普勒特征，對于多種類的微動手勢識別問題效果不明顯。Choi J 利用數據處理產生的距離多普勒序列，作為長短期記憶網絡(long short-term memory，LSTM)的輸入，使得手勢識別系統成功地識別出10個手勢，分類準確率達99.10%。同時對于新參與者的手勢，識別準確率為98.48%[16]。但該方法在小數據集的性能最佳，對于訓練樣本數量較大時，計算效率會大幅度降低。

從現有的深度學習雷達手勢識別算法來看，常用的算法都有其自身的優缺點，為了便于比較和選擇，表1對不同的手勢識別算法的優劣進行了歸納。

表1 常見雷達手勢識別算法的優劣

5 存在的問題

基于雷達的手勢識別系統克服了傳統數據手套及視覺手勢識別的局限性，具有諸多的優勢；同時該技術也由理論探索階段向實踐商品階段過渡，與智能汽車、智慧家庭、醫療輔助等領域也有著密切的聯系，雷達技術手勢識別向智能化發展是必然趨勢。利用雷達技術進行動態手勢識別已經取得一定的成果，但是技術層面仍存在一些不足：

1) 復雜場景下的雷達手勢識別

與實際的復雜應用環境相比，現有研究的實驗場景比較單一，毫米波雷達進行手勢探測時無太多的干擾物體，即背景環境較為理想。而實際應用中，由于環境的不確定性，檢測的手勢信號樣本數據往往夾雜各種噪聲。因此，未來的研究工作中可以考慮設置較為復雜的實驗場景，或者人為的添加干擾信息，確保手勢識別系統在較為復雜的應用情景下，能夠保持較高的識別速度和準確率。

2) 多雷達傳感器的多視角數據融合

現有的成果中，大多數研究者均通過使用單獨的雷達傳感器進行動態手勢信息感知，并取得了一定效果。但某些特定條件下，所獲得的手勢特征信息不夠豐富與準確，因而，通過多個雷達傳感器進行多視角多尺度的數據融合，獲得更為豐富完整的手勢信息，為后續分類識別系統構造高質量的特征向量，從而能夠保證手勢識別系統擁有更高精度與穩定性，是該領域中一個值得研究的潛在方向。

3) 多用戶下的雷達手勢識別

同獨立用戶手勢的識別比較，多用戶下的雷達手勢識別不但要考慮到不同手勢特征的提取以及手勢模型的構建，還需在同一場景中對不同使用者迅速準確做出響應。故研究同一場景下的多用戶手勢識別，是該領域未來需要突破的方向。

4) 對訓練數據要求較高

雷達手勢識別算法對訓練樣本的質量和數量都有很高的要求，有效的樣本數據是提高動態手勢識別準確率的前提和基礎。在雷達采集手勢信號的過程中，存在著數據污染和數據丟失的情況。針對接收數據質量較差問題，提高模型的魯棒性及保持較高的識別率是要開展的研究方向之一。

6 結論

毫米波雷達手勢識別技術的進步為新型人機交互方式開辟了方向，該技術所帶來的便利性、自然性與靈活性，徹底讓使用者摒棄了外部穿戴電子設備的束縛，極大程度地解放了用戶雙手。伴隨著技術進步，雷達手勢識別系統的智能化是未來重要的發展方向。機器學習是人工智能的核心技術，將機器學習與雷達手勢識別結合是很好的解決方案。本文可為下一步研究提供參考，對促進雷達技術的手勢識別方法的實踐和研究具有意義。