基于77G毫米波雷達的手勢識別

劉子銘 李軍 張法桐 陳濤

（1.哈爾濱工程大學信息與通信工程學院 黑龍江省哈爾濱市 150001 2.中國人民解放軍91977 部隊 北京市 102249）

手勢識別目前廣泛運用于人機交互中，在智能駕駛、VR、手語識別、遠程控制等項目中有著廣泛應用。手勢因為具有生動、形象、直觀等特點，具有較強的視覺特點，最初常應用于基于視覺的識別技術，但是視覺識別技術受光線、天氣、應用場地背景等因素影響較大，且以視頻或圖像等形式進行識別可能會導致用戶隱私泄露；此外還有基于穿戴式數據傳感器、基于超聲波、基于Wi‐Fi 等非寬帶無線通信信號與基于雷達的幾種手勢識別方案，其中穿戴式數據傳感器需要與人體接觸，且操作復雜、穿戴不易，不適用于狹小空間與日常生活；超聲波方法受傳播速度和衍射影響明顯，而非寬帶無線通信信號在進行手勢識別時背景噪聲難以去除，分辨率低，與上述方法相比，使用雷達進行手勢識別具有非接觸，不受光照、天氣、場地等因素影響，可以保護使用者個人隱私，可全時段使用，且具有一定的穿透性，分辨率通過參數設計可調整，可適用于多種場合。

在基于雷達的手勢識別方法中，目前最常應用的是調頻連續波（Frequency modulated continuous wave，FMCW）雷達，相較于其他可用于進行手勢識別的雷達，如脈沖超寬帶雷達等，FMCW 雷達具有帶寬較大，距離分辨率大，易處理干擾等優點。

隨著硬件技術近些年的提升，FMCW 雷達的成本降低，在商業中得到大規模應用。FMCW 雷達因為其抗干擾能力強，且有著優秀的距離速度分辨率等特點，被廣泛應用于車載手勢識別系統中。2019年Soli 團隊開發出基于57‐64GHz 的毫米波級別雷達實現的手勢識別系統，所需要的發射功率僅為15dBmW。近年，WEY 品牌發售的車型摩卡，將毫米波雷達與攝像頭、固態激光雷達結合，可通過手勢召喚的方式就能直接操控摩卡，可實現喚醒、前進和制動功能。2018年王俊等人提出了一種基于距離‐多普勒(Range‐Doppler，RD)域的特征的基礎手勢識別；2019年王勇等人提出了一種多特征多通道神經網絡的手勢識別方法；2020年夏朝陽等人在多通道神經網絡的基礎上對微動手勢進行探究，提出了一種手勢識別方法。

目前基于FMCW 毫米波雷達的手勢識別方法研究側重于對手勢信號的分類識別技術的深化，且數據采集多在暗室中進行，實驗環境比較理想。此外，對于雷達信號參數設計、信號預處理、雷達信號特征提取等方面尚未深入開發。本文提出一種基于77GHz 毫米波雷達的手勢識別方法，通過對雷達參數設置的優化提升信號分辨率，在復雜環境下通過去除靜態雜波處理與恒虛警率(Constant false alarm rate, CFAR)檢測對目標信號進行提取，從距離‐時間特征、速度‐時間特征、距離‐速度特征方面進行手勢信號特征提取，通過卷積神經網絡進行手勢識別。

1 雷達參數設計方法

1.1 雷達參數設計方法

本文基于德州儀器公司推出的IWR1642 BOOST 毫米波雷達芯片與DCA1000EVM 高速數據采集卡進行數據采集。IWR1642 毫米波雷達芯片的發射信號為調頻連續波，覆蓋頻段為77‐81 GHz，最大帶寬為4 GHz，包括兩個發射天線與四個接收天線。本文提出的方案采用一個發射天線與一個接收天線。

雷達單個線性調頻(Chirp)信號調頻周期表示為圖1。

圖1：Chirp 信號調頻方式

圖1 是對IWR 1642 雷達線性調頻方式的表示，可以得到對于單個回波關鍵參數，如調頻起始頻率f0，調頻斜率K，發射天線開始時間TTX‐start，空閑時間Tidle，調頻時間Tramp，整體線性調頻周期Tc，ADC 有效開始時間TADC‐start。

在測量手勢運動時，我們需要實現多個Chirp 信號的累計采樣才可以計算得到目標的特征，所以還有一些采樣參數需要設計，如ADC 采樣點數NADC，ADC 采樣率FADC，幀周期Tf，一幀內發射回波信號數NChirp等。

此外，還有一些手勢特征提取時需要注意的重要參數，距離分辨率dres，最大可測量速度vmax，速度分辨率vres等指標，這幾種指標可由雷達信號參數表示為：

其中，c 為光速，λ 為調頻中心對應波長，B 為有效調頻帶寬，即采樣時間內的帶寬，可表示為：

在設置參數前，首先應對識別手勢運動所需要的距離、速度分辨率等物理量進行預估，但是這些參數之間往往相互矛盾，最大可測量速度若過大則會導致速度分辨率下降，而對于手勢信號的特征提取，重點在于距離分辨率與速度分辨率。通過分析公式，若要實現距離分辨率足夠優秀則要取信號帶寬盡量大，速度分辨率的主要性能取決于幀周期，應滿足能夠采集到的微小的手勢動作。除兩種分辨率外，采樣時間也是重要參數之一，若采樣時間過短，手勢信號特征捕捉不全，若采樣時間過長，會采集到目標信號之外的冗余信息。

理想情況下，我們需要發射FMCW 信號，且兩個Chirp 直接無間歇時間，ADC 采樣可以覆蓋雷達工作全頻段，但是在實際測量時，我們應考慮到硬件的處理能力，在信號調頻時，ADC 需要有啟動時間與結束時間，不能覆蓋全頻段，為了接近理想條件，Chirp 參數設置見表1，采樣參數設置見表2。

表1：Chirp 參數設置

表2：采樣參數設置

雷達發射信號有效帶寬為3411.25 MHz，距離分辨率為4.40 cm、最大可測量速度為6.09 m/s、速度分辨率分別為0.095 m/s。考慮到雷達接收到的回波能量與目標物體距離的四次方成反比，手勢運動的RCS 相對較小，為了保證手勢運動的回波能量足夠大，可以檢測到，結合計算得到的參數，在采集手勢時，運動的手勢位置盡量在雷達附近，手勢運動速度在最大可測量速度與速度分辨率之間。

1.2 雷達信號預處理方法

FMCW 毫米波雷達的信號發射與接收回波的工作原理框圖如圖2所示。

圖2：FMCW 雷達工作原理框圖

FMCW 雷達的信號由頻率綜合器生成，線性調頻（Chirp）信號為正弦信號，且頻率隨著時間線性增加，發射天線發射生成的Chirp 信號，則在一個Chirp 信號中，信號可表示為：

發射信號接觸目標并反射后的回波被接收天線接收，雷達的接收信號可表示為：

其中，τ 為信號時延，受探測目標初始距離d0與目標徑向速度vr影響，可表示為：

雷達接收信號經過混頻器，在經過低通濾波器濾去低頻信號得到的中頻信號可表示為：

中頻信號的頻率中包含速度信息與距離信息兩種變量，當手勢運動速度過大時，會影響對距離特征的計算，且無法通過單次快速傅里葉變換(Fast Fourier Transform, FFT)進行求解。結合上小節中設置的信號參數ADC 采樣時間為T，單Chirp 信號內采樣點數即ADC 采樣點數NADC，發射的Chirp 數量NChirp，連續時間t 可以由兩種采樣時間離散化，表示為一幀內的第n2個Chirp 信號中的第n1個采樣點，即為：

可將式（9）變換為：

其中n1=0,1,2,...,NADC‐1，表示單Chirp 信號內的采樣點序列，n2=0,1,2,...,NChirp‐1，表示Chirp 序列。

式（11）中的頻率部分與相位部分依舊包含兩個變量，但是，對其進行一維FFT 處理，相位部分可呈現為復包絡的形式，故對其進行二維FFT，即可得到目標的多普勒頻率，即，從而求得速度，提取速度‐時間特征。

2 數據集構建方法

雷達采集到的二進制數據進行處理，如對數據進行重新排列，首先根據不同接收天線的進行排列，再根據對不同幀中的數據進行篩選，將同一幀中的數據按照Chirp 信號進行排列，得到若干矩陣，在對矩陣的行列數據進行處理，圖3 為一幀雷達數據示意圖。

圖3：雷達數據矩陣

本文中雷達采用“一發一收”的工作模式，故所得到的數據矩陣中第一列為首個Chirp 信號的回波數據，數據個數為ADC 采樣點數，所以數據矩陣共NADC行，矩陣的列數與每幀中發射的Chirp數量相同。

在處理數據時，進行逐幀處理，對同一Chirp 內的256 個數據進行加窗處理與FFT 處理，也稱作距離維FFT。手勢識別過程中噪聲主要來源為靜止物體，如房屋內的家具、車內飾、周圍擺放的物件等，故進行靜態雜波濾除，方法為對數據矩陣中的一列數據進行累加，取均值，再將該列數據減去這個均值。若檢測物體為靜止物體，其相位信息相同，累加求取平均值后依舊很大，減去均值后則會變小；而運動目標則會因為多普勒效應而不同，相位累計過程中會出現正負抵消的情況下，累計值后求取的均值較小，減取均值后不影響原數值大小。

濾除后得到的矩陣對針對一幀內的128 個Chirp 進行FFT 處理，也稱為速度維FFT，求取幅值后進行速度維與距離維的CFAR 檢測，均采用CA‐CFAR，對目標物體進行檢測識別。得到一幀內的距離與速度特征。逐幀處理，將每一幀得到的數據進行拼接，形成距離‐時間特征，速度‐時間特征與速度‐距離特征。

3 實驗與結果分析

本次實驗的實驗環境為普通教室，并在周圍擺放了一些靜態物品作為干擾，采集到的數據通過以太網傳輸到上位機中，進行數據處理分析，特征提取，針對特征進行神經網絡訓練，實現手勢識別。

3.1 手勢設計與構建數據集

試驗選用雷達水平方向視場角為±60°，但是俯仰角度極小，所以手勢主要選擇在水平范圍內運動的，經過篩選，選擇了6 種運動手勢，推、拉、揮手、轉圈、打叉、對號，為了判別是否存在運動手勢，又加入靜止手勢，共計7 種手勢進行判別。實驗選用5 名工作人員，位于距離雷達70cm 的位置，手勢運動距離雷達在0‐70cm內，在軀干不發生明顯移動的情況下，進行手勢動作，每人每個動作采集40 組數據。經過數據處理形成距離‐時間特征圖、速度‐時間特征圖、距離‐速度圖三種手勢特征圖，如圖4所示，距離‐時間特征表現為相對雷達運動趨勢，隨著圖像的上升或下降表現接近或遠離雷達；速度‐時間圖中線位置對應速度為0，上方表示目標相對雷達徑向速度為正，即靠近雷達，下方則相反；距離‐速度圖縱軸對應距離，橫軸對應速度，反映了速度在不同距離上的分布，中線左側表示速度為負，右側為正。

圖4：手勢特征圖

3.2 多手勢不同特征對比

將數據集按照不同特征進行分類，每種特征圖1000 張圖片，取80%作為訓練集，20%作為測試集，使用獨立搭建的卷積神經網絡進行訓練，網絡包括2 個卷積層、2 個池化層、1 個全連接層與一個輸出層，網絡整體簡單清晰，訓練時間短，單個特征圖像進行訓練時間約為5 分鐘。3 種特征的識別率可見表3，圖5 為3 種特征識別的損失率。

表3：三種特征識別率

圖5：三種特征的損失函數

比較三種手勢特征的識別率，速度‐時間特征的識別率最高、距離‐速度特征的識別率其次，距離‐時間的識別率最差。三種特征的識別率均大于95%，可高效準確的進行手勢識別，且通過三種特征的損失函數可以證明此模型并未出現過擬合情況，對于未經訓練的測試集也有很好的泛化性。

4 結論

本文提出了一種基于FMCW 毫米波雷達的手勢識別技術，說明了雷達主要參數設計、雷達信號預處理以及手勢特征表示的方法，并通過采集7 中手勢的數據集進行驗證，對于測試集識別率分別為95.15%、99.38%、98.65%；對于未訓練的測試對象識別率分別為96.25%、100%、97.50%，此方法在識別手勢準確同時，具有較強泛化性。