基于UKF的毫米波雷達手勢識別算法研究

蔣留兵，朱柏青，車 俐

（1.桂林電子科技大學信息與通信學院，廣西桂林 541004；2.桂林電子科技大學計算機與信息安全學院，廣西桂林 541004;3.廣西無線寬帶通信與信號處理重點實驗室，廣西桂林 541004）

0 引 言

在高度信息化時代，人機交互技術（Human-Computer Interaction, HCI）［1］已成為了各國大力發展的對象。手勢識別作為人機交互技術之一，是國內外研究者所關注的熱點。目前主要有兩種不同類別手勢識別：與觸摸屏交互的手勢識別與無需觸摸屏的手勢識別。無需觸摸屏手勢識別市場主流是基于光學傳感器、可穿戴設備［2-3］和雷達傳感器［4］，其中雷達的手勢識別相較于前兩者具有不受光照條件影響、不受佩戴設備帶來的不適感、成本較低和不侵犯用戶隱私數據等優勢。

而在雷達傳感器中毫米波雷達又以質量輕、體積小、探測性能穩定、穿透煙霧和灰塵的能力強且多普勒頻移較大，距離和速度的測量精度與分辨率較高受到研究者們的青睞。在目前的毫米波雷達手勢研究中，研究者基本采用將距離-多普勒譜圖（Range-Doppler Map, RDM）放入神經網絡［5］中提取手勢的運動特征實現手勢識別。在文獻［6］中作者將RDM 和RAM（Range-Angle Map,RAM）相融合，相比僅使用RDM 具有更好的性能。而在現實手勢識別場景下，還包含著較多靜態干擾和類目標干擾。文獻［7］研究了多人場景下使用FMCW 雷達進行手勢識別，通過辨別感興趣距離對潛在干擾進行消除。而在文獻［8］中研究并提出了一種重用的LSTM（RLSTM）網絡來提取手勢距離和多普勒特征，并用領域閾值檢測方法來過濾干擾信號。在文獻［9］中為了識別兩只手所做手勢，提出了一種基于小波變換、CFAR和FDM算法應用于RDM的干擾抑制。文獻［10］中作者設計了一套完整的目標干擾抑制方法，提出了SIS和DIS算法，并利用膨脹三維網絡（TS-I3D）進行手勢特征提取和分類。在實際應用中，面對類目標干擾，絕大多數選用目標跟蹤算法實現干擾抑制。常用的跟蹤算法為卡爾曼濾波（Kalman Filter，KF）［11］。而手勢動作多數屬于非線性動作，所以擴展卡爾曼濾波（Extended Kalman Filter,EKF）［12］和無跡卡爾曼濾波（Unscented Kalman Filter,UKF）［12-13］比KF 更適合處理非線性系統。在文獻［14］中，作者提出對于雷達跟蹤中的非線性數據濾波問題，EKF 數據圖像精度對于雷達跟蹤數據濾波并不理想，而UKF 能夠得到更準確的結果，可以達到更好的性能。因為非線性函數的均值和協方差矩陣可以通過無跡變換更準確地估計出來,并且通過避免計算雅可比矩陣，顯著降低了計算復雜度。

在本文中，將不同手勢對應不同的運動模型，并針對實際情況，對部分運動模型進行改進。將設計好的手勢運動模型利用無跡卡爾曼濾波算法進行軌跡預測，得到與雷達原始數據幀數相同個數的軌跡信息（距離和多普勒信息）。將預測好的信息放入K最臨近分類器（K-Nearest Neighbor,KNN）中，與原始數據中包含的所有信息進行分類，與預測信息分為一類的屬于手勢原始數據中目標手勢類，其余為類目標干擾類，并將類目標干擾權重置為零，以達到類目標干擾抑制的效果。最后將干擾抑制后特征譜圖放入CNN［15］進行特征提取實現識別。

1 FMCW雷達信號模型、特征提取及數據預處理

在本論文中，采用調頻連續波（Frequency Modulated Continuous Wave, FMCW）雷達對目標手勢和類目標物體進行采集。1.1 節中對FMCW 雷達信號模型進行簡要描述，在1.2 節中對由中頻信號估計距離和多普勒信息過程進行簡要描述，并在1.3 節中介紹了針對RD 圖中背景噪聲太大導致目標難以檢測的情況進行原始數據預處理的過程。

1.1 FMCW 雷達信號模型

FMCW 雷達發射出線性調頻信號，而線性調頻信號又稱Chirp 信號。發射Chirp 信號過程中，在實驗場景中遇到目標會產生反射信號被雷達接收天線接收，在雷達內部與發射信號混頻得到中頻信號。在本文中采用的是鋸齒波，如圖1所示。

圖1 FMCW雷達波形圖

在FMCW 雷達中，單個Chirp 發射信號表達式為

式中，AT為發射天線的增益，fc為載波中心頻率，K=B/T，代表調頻斜率，其中B表示信號帶寬，T表示Chirp的持續時間。于是信號瞬時頻率為

目標反射的回波信號表達式為

式中，AR為接收信號振幅，τ為回波信號時延，fd為多普勒頻移。

在得到回波信號后，我們將發射信號與其混合后傳遞到低通濾波器，獲得中頻信號，中頻信號表達式為

式中φ(θ)表示相位，AIF表示中頻信號功率。

1.2 距離和多普勒（速度）信息估計

目標距離信息可以根據回波時延τ和信號速度c由公式（5）得到：

但在實際中回波時延τ非常小導致難以估計，所以經常采用中頻信號頻率fIF來估計τ，距離信息可以用公式（6）表達：

面對運動目標，FMCW 雷達的發射信號與接收信號之間存在著一定的頻率差Δf而這個頻率差就稱為多普勒頻率fd，所以多普勒信息可由公式（7）得到：

式中λ為雷達信號的波長。

在本文中，我們用128幀雷達數據完整描述手勢動作，每幀包含128 個Chirp，而每個Chirp 中采樣128 個點，所以一個數據會形成一個128×128 的二維矩陣，如圖2 所示。然后分別在快時間維度（距離維度）和慢時間維度（多普勒維度）作快速傅里葉變換（FFT），提取出目標距離和多普勒單元，最后根據相位差得到RDM。

圖2 距離-多普勒特征提取原理圖

1.3 原始雷達數據預處理

在得到RDM 后，我們發現RDM 上目標周圍存在大量背景噪聲，同時能夠檢測到多個目標，這將使得后續識別部分難度提升。本文利用單元平均恒虛警率算法（Cell-Averaging Constant False Alarm Rate,CA-CFAR，如圖3 所示）進行背景噪聲濾除和目標檢測。

圖3 CA-CFAR檢測器原理圖

脈沖回波包括檢測單元、保護單元和訓練單元。本文采用的CA-CFAR核心思想就是通過對參考窗內采樣數據取平均來估計雜波功率，當信號振幅大于雜波功率時，確定有目標。當振幅小于雜波功率時，將其視為噪聲。

2 類目標干擾抑制算法設計流程

在原始數據進行預處理之后，原始RDM 中背景噪聲分量已經得到了基本抑制與消除，但預處理之后的RDM 中能夠檢測到手勢目標、靜態類目標和動態類目標，嚴重影響手勢目標特征提取。為此本文提出一種U-IS 算法（Unscented Kalman Filter-Interference Suppression)，算法主要由UKF 與KNN 組成。U-IS算法具體流程如圖4所示。在2.1節中介紹了針對不同手勢設計的不同運動模型。在2.2 節中介紹了跟蹤和估計手勢運動軌跡的基本算法（UKF）。

圖4 U-IS算法流程圖

2.1 手勢運動模型設計

在本文中分別以前推、后拉、左移、右移、順時針旋轉和逆時針旋轉6 種手勢進行識別。按照運動特性和軌跡來分類，前推和后拉、左移和右移、順時針旋轉和逆時針旋轉兩兩使用同一種運動模型。

2.1.1 前推、后拉手勢模型

因運動方式簡單，我們將前推和后拉手勢設定為一個等速模型（Constant Velocity, CV）。以雷達為原點建立二維坐標系，目標手勢在y軸上作勻速直線運動，如圖5所示。

圖5 前推和后拉手勢運動模型效果圖

手勢模型的狀態空間可以由公式（8）表示：

其中Px和vx為零。而轉移函數如公式（9）所示：

2.1.2 左移、右移手勢模型

對于左移和右移，同樣選取CV 等速模型，跟CV1模型建立同類坐標系，目標手勢面對雷達作左右勻速直線運動，如圖6所示。但模型的狀態空間與前推和后拉的手勢模型狀態空間有所不同，如公式（10）所示。

圖6 左移和右移手勢運動模型效果圖

4 個狀態變量依次為手勢對應坐標系中的橫坐標、縱坐標、與x軸夾角（逆時針為正）、速度。狀態轉移方程如公式（11）所示：

2.1.3 順時針和逆時針旋轉手勢模型

對于時針手勢，運動模型設計復雜，涉及狀態變量較多，為解決傳統二維恒定轉率和速度模型（Constant Turn Rate and Velocity, CTRV）難以描述運動手勢問題，本文基于CTRV 模型提出了三維恒定轉率和速度模型（Three Dimensional CTRV, 3DCTRV）如圖7 所示。此運動模型更加適合時針運動手勢。

圖7 順時針旋轉和逆時針旋轉運動模型效果圖

設此組手勢動作狀態空間變量為

7個狀態變量依次為手勢對應坐標系中的x軸坐標、y軸坐標、z軸坐標、圓周云頂半徑、線速度、轉速、角速度。其中勻速圓周運動線速度的大小等于質點通過的弧長s與時間t的比值。弧長公式為

所以弧長對應的弦長公式為

由此可知CTRV模型的狀態轉移方程為

2.2 無跡卡爾曼濾波算法

在本文中，毫米波原始數據預處理后采用UKF 對目標手勢動作軌跡信息進行預測和估計，相較傳統KF 算法，UKF 能夠更好地解決現實場景中非線性問題。而相比同樣適用于解決非線性問題的拓展卡爾曼濾波，UKF 與其思想基本相同，但Sigma 點近似非線性轉換的效果比線性化更好，也避免了雅可比矩陣的計算，降低了計算的復雜度。圖8 展示了EKF 與UKF 的區別和UKF 使用Sigma點近似非線性分布的基本原理。

圖8 EKF與UKF區別、UKF利用Sigma點近似分布

UKF 分為預測階段和測量階段。預測階段操作為無跡變換過程。本文將分別在2.2.1節和2.2.2節中詳細介紹預測階段和測量階段。

2.2.1 UKF預測階段

1）計算Sigma 點集：首先對Sigma 點數量n的選擇取決于實際手勢系統的狀態維度N。例如左劃手勢包含4種狀態維度，所以對左劃手勢進行無跡變換需要9個Sigma點。

每個Sigma點的計算公式為

本文根據公式（17）計算Sigma 點矩陣，其中公式（17）中第一個公式代表的是均值點，本文對于初始均值點選用的是雷達手勢數據第一幀包含的維度信息。其余點都是圍繞均值的Sigma 點。λ為比例因子，λ大小代表應該選擇距離均值多遠的Sigma點，Σ代表初始協方差矩陣。

2）計算Sigma點權重：在選擇出來我們需要的Sigma 點，應該為每個Sigma 點賦上合適的權重。權重的計算公式為

式中k和α影響著Sigma點與均值點距離，λ為擴散函數，β取值為2 是高斯分布的最佳選擇。本文將k設為1，α設為0.75。

3）計算近似高斯分布均值和協方差：我們得到了帶有權重和非線性等式轉換的Sigma 點，然后可以通過Sigma 點近似新的高斯分布，并計算其均值和協方差。計算公式如下：

式中μ′表示預測均值，Σ′表示預測協方差，g表示預測方程即手勢運動模型。實際場景中，包含著許多不確定性，所以Rt代表著過程噪聲。至此，UKF的預測階段介紹完畢。

2.2.2 UKF測量階段

經過預測階段，我們得到了預測值均值和協方差矩陣。當我們得到來自雷達的測量值后（本文選用雷達第二幀包含的維度信息），需要計算出預測值和測量值之間的差值，我們得從預測的狀態空間轉換到測量狀態空間，依賴公式（22）中h(x)。

式中，Z代表測量空間中Sigma 點集，x則為預測階段得到的Sigma 點矩陣，z?是測量空間均值，S和Q分別代表測量空間協方差矩陣和噪聲。在FMCW雷達中，h(x)表達如公式（25）所示：

式中，ρ、φ和?分別代表測量目標手勢在手勢坐標系下與雷達距離、目標手勢與x軸夾角以及目標手勢與雷達相對距離變化率。

之后我們需要計算卡爾曼增益K，想要得到卡爾曼增益需要計算預測空間中Sigma 點與測量空間中的Sigma點之間的交叉關聯矩陣T。公式（26）和（27）給出了T和K的表示式：

最后利用卡爾曼增益得到我們想要的手勢目標下一幀狀態信息預測：

3 實驗過程及結果

本文實驗中采用德州儀器公司（Texas Instruments, TI）生產設計的AWR1843 雷達和DCA1000數據采集卡（如圖9 所示）采集手勢目標和類目標。設定雷達有1 根發射天線和4 根接收天線，頻率設置77～81 GHz。選擇6 種手勢：前推、后拉、左移、右移、順時針旋轉和逆時針旋轉。對雷達參數配置如表1 所示，針對表1 幀數選擇，主要考慮本文選取的6 種手勢動作一次運動時間，雷達采集一次數據時間取決于采樣周期、采樣點數、Chirp 數與幀數。其中前三項參數分別與速度和速度分辨率有關，所以我們通過調整采集幀數來控制采集時間。若縮小幀數，會導致雷達無法采集完整手勢動作，而增大參數會導致手勢數據中部分沒有手勢動作，生成的RD 圖不利于識別，降低識別性能。

圖9 AWR1843雷達傳感器和DCA1000數據采集卡

表1 雷達參數配置表

設定目標手勢位置距離雷達0.5 m 左右，在距離雷達1.6 m 左右設置一個來回運動的人作為類目標干擾，實驗場景如圖10 所示。在雷達的檢測范圍內，主要可檢測到的目標有目標手勢、采集者的靜止軀干、隨著手勢運動的軀干目標、固定位置的鐵板和在采集者身后運動的目標。

圖10 手勢采集場景

3.1 原始數據預處理

本文采用CA-CFAR算法對雷達原始回波數據進行預處理，可以有效地去除背景噪聲。

我們以順時針手勢RD 圖為例，預處理的效果如圖11所示。

圖11 原始數據預處理前后RDM比較

圖11（a）是原始數據經過1D-FFT與2D-FFT之后得到的RDM，圖11（b）是在圖10（a）基礎上進行了背景噪聲干擾消除后的RDM。從這兩幅圖比較可以看出，原始RD 圖在檢測到目標周圍散布著大量噪聲，嚴重影響后續識別操作，經過預處理之后的RDM 明顯地消除了背景噪聲，使得RDM 更加直觀。

3.2 U-IS算法抑制類目標干擾

在原始數據進行預處理之后，采用U-IS 算法對類目標干擾進行消除。首先利用UKF 算法對128 幀雷達數據包含的主要維度信息（距離和速度）逐幀預測。預測結果如圖12所示。

圖12 UKF對后拉手勢各參數信息進行估計

圖12（a）是UKF 對后拉手勢距離信息從第1幀到第128 幀的估計數據，圖12（b）是UKF 對后拉手勢速度信息從第1 幀到第128 幀的估計數據。從圖12 可以看出，UKF 可以對雷達每一幀數據進行預測和估計。我們得到經過UKF 的預測值并將其與原始數據中包含的參數值放入KNN 中進行比較，將UKF 預測值的標簽設定為手勢目標，將在原始數據中與UKF 預測值距離最近的128 個點歸為目標手勢一類，其余數據點則為類目標干擾，并將類目標干擾在RDM 中的權重設置為0，效果如圖13所示。

圖13 U-IS算法使用前后RDM比較

圖13（a）是在進行U-IS 干擾抑制算法之前的RDM，圖13（b）是U-IS 干擾抑制算法處理后的RDM，比較兩幅圖可以看出U-IS 算法可以很好抑制RDM中類目標干擾。

3.3 手勢識別性能分析

將本文設計的6 種手勢每種采集150 個數據。6 種手勢總樣本數為900。我們以8∶2 的比例劃分訓練集和測試集進行識別實驗。

為了達到比較手勢識別效果的目的，本文建立了兩個數據集，一個是干擾抑制前RDM 數據集，另一個是經U-IS 抑制算法進行干擾抑制后的RDM 數據集。本文采用CNN 網絡，設置學習率為0.000 1，迭代步數設為250 次。經過250 次迭代后，干擾抑制前后的識別準確率和損失值曲線如圖14 所示。

圖14 干擾抑制前后手勢識別準確率與損失值對比

由圖14（a）與（c）的對比可以看出，干擾抑制前的準確率低于干擾抑制后的準確率，且訓練過程中準確率很不穩定，波動較大。由圖14（b）與（d）的對比可以看出，干擾抑制后數據集的損失值較低且穩定。在識別過程中若出現獲取的手勢樣本數量不能夠完全覆蓋各種手勢情況的問題時，可以對RDM樣本進行數據增廣，具體方法有平移、旋轉、反轉、錯切和組合變換等。通過這些方法將數據集擴充到足以覆蓋觀測范圍內各種手勢情況，以提高識別性能。

表2 顯示了在相同網絡和不同數據集下6 種手勢識別的準確性。由表中可以看出，經過U-IS算法處理之后的數據集比干擾抑制前數據集具有更高識別準確率。干擾抑制后的平均識別準確率達到了98.74%，相較于干擾抑制前的平均識別準確率91.45%有著較大提升。

表2 手勢識別準確率對比

3.4 干擾抑制方法對比分析

通過將本文提出的U-IS 方法與其他論文所提出方法進行比較，進一步驗證所提方法的有效性。所選對比方法為文獻［8］和文獻［9］中所提出，簡要描述如下：

1）小波變換-CFAR-FDM：該方法選擇sym4 母小波作為基函數，并對RDM 進行了三級多尺度小波分解實現動態類目標的干擾抑制，再通過CFAR算法與FDM（Frequency-Division Multiplexing）算法的組合對靜態類目標干擾進行消除。

2）SIS-DIS：作者分別提出了SIS（Static Interference Suppressions）和DIS（Dynamic Interference Suppressions）算法。對于SIS 算法，是對于所有多普勒參數為零目標在范圍向量進行排序，若前一時刻目標數量不相等則刪除重復目標以達到靜態干擾的消除。DIS 算法則是將所有目標按照范圍排列，如果距離最小則記錄多普勒，如果多普勒中正數大于負數則記錄成類目標，否則記錄成手勢目標。

將原始數據分別按照上述兩種方法進行類目標干擾抑制后，得到的RDM 數據集分別放入與本文選擇的同一種網絡CNN 中進行訓練與測試，其結果對比如表3所示。

表3 不同干擾抑制方法最終識別精度對比

通過表3中數據對比分析可知，經過使用本文所提出的干擾抑制方法抑制后的數據集相較于WT-CFAR-FDM 方法在各個手勢動作的識別準確率上都有一個較大的提升，而相較于SIS-DIS 方法，在前4 種動作上的識別精度相差甚少，而在時針運動軌跡手勢上，由于本文方法為此類易混淆手勢設計了運動模型，所以在順時針與逆時針旋轉手勢識別精度上有著顯著提升。

4 結束語

本文提出了一種基于UKF 的毫米波雷達手勢識別方法。首先通過預處理消除了手勢信號中的背景噪聲與干擾，再通過UKF 對手勢參數信息進行預測和估計，將預測估計得到的參數信息與原始參數信息放入KNN 中進行分類，消除了實驗環境中的靜態干擾和動態干擾。然后利用CNN 網絡提取手勢特征，結果表明，本論文實驗采用的U-IS干擾抑制算法較無干擾抑制準確率提高7.29%，手勢識別的平均準確率為98.74%。