基于FMCW 毫米波雷達手勢識別

陳濤，張法桐，劉子銘

哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001

手勢識別技術在非接觸式的人機交互中的應用價值廣泛，可用于智能家居[1-2]、虛擬現實[3]、智能駕駛[4-5]、游戲控制[6]等多種應用場景。FMCW 毫米波雷達具有硬件成本低，測距、測速方案簡單，抗干擾能力強，可全天候工作且不會泄露用戶隱私等優點，在手勢識別的應用上具有可觀的應用前景。

FMCW 毫米波雷達是一種可以從目標回波中估計目標的距離、速度、角度信息的一種傳感器，文獻[7-8]介紹了傳統FMCW 雷達的調制波形，討論了FMCW 信號的混頻和調制原理。基于毫米波雷達的手勢識別技術主要通過在回波中提取手勢動作的距離、速度甚至角度等信息進行估計后得到特征譜圖，然后將特征譜圖以圖片數據集的形式使用支持向量機(support vector machine,SVM)[9]或者卷積神經網絡[10-16]等分類器進行識別。谷歌公司在Soli 項目[10-11]中采用了帶寬高達7 GHz 的毫米波雷達對手勢識別進行了研究，利用卷積神經網絡將連續時刻的距離-多普勒像逐幀特征提取，再利用循環神經網絡對時序特征進行提取后進行手勢分類。文獻[12]利用短時傅里葉變換(short-time Fourier transform,STFT)對雷達回波信號進行時頻分析，得到多普勒譜，并將多普勒譜圖像作為卷積神經網絡的輸入數據實現了手勢識別。文獻[13]通過對混頻后的中頻信號進行2 維快速傅里葉變換獲取手勢的距離多普勒圖像，以2 維距離多普勒像構建數據集，并輸入卷積神經網絡進行訓練。文獻[14]通過時頻分析和多重信號分類方法估計了手勢的距離、速度以及角度信息，構建了多維參數輸入的卷積神經網絡，對估計的信息進行了分類；文獻[15]提出了微動手勢的特征提取的最優參數設置準則，利用多特征譜圖進行了微動手勢識別。靳標等[16]提出了一種串聯式一維神經網絡的手勢識別方法，該方法對雷達回波直接進行卷積池化，通過1 維Inception 模塊后，利用長短時記憶網絡進行分類。本文在距離多普勒圖的基礎上，提取了距離、速度變化的時序信息并使用全局池化代替扁平層與全連接層構建了雙通道的卷積神經網絡實現了手勢識別。

1 FMCW 毫米波雷達原理分析

1.1 雷達平臺參數設值

本文采用的FMCW 毫米波雷達設備為TI 公司的IWR1642-BOOST 開發板，支持77～81 GHz 的調頻帶寬，在水平方向具有±60°的視場，支持最多2 個發射天線4 個接收天線。本文僅使用了1 個發射天線，僅讀取了1 個接收天線的數據。波形配置圖如圖1 所示。

圖1 毫米波雷達脈沖配置

從圖1 可以看出，數模轉換器(analog-todigital converter，ADC)會在上升時間之內的一段時間內進行采樣。可以通過配置采樣點數NADC以及采樣率Fs來計算采樣時間TADC：

在采樣時間確定之后，可以通過設置信號的調頻斜率K來得到有效的調頻帶寬B：

在得到有效調頻帶寬后可求得距離分辨率dres：

式中c為光速。

FMCW 毫米波雷達會發射M個圖2 形式的線性調頻脈沖幀,根據FMCW 毫米波雷達測速原理，可以通過配置圖1 中的調頻周期Tc(chirp cycle time)，求得最大測量速度vmax：

圖2 線性調頻脈沖幀

式中 λ為載波頻率對應的波長。

可以通過配置每幀的調頻脈沖數Nchirp來求得速度分辨率vres：

本文中的雷達參數為：調頻起始頻率f0，77 GHz；調頻斜率K，66.6 MHz/μs；調頻周期Tc，160 μs；ADC 采樣率，5 MS/s;ADC 采樣點數，256；幀數，64 f;每幀脈沖數，128。

結合雷達參數配置，根據式（1）求得距離分辨率：

根據式（2）求得可觀測最大速度：

根據式（3）求得速度分辨率：

1.2 手勢成像原理

在一個調頻周期內，雷達發射的FMCW 信號可以表示為

式中：t為一個調頻周期內的快時間索引，AT為發射信號振幅，fc為載波中心頻率。

由發射信號可以將目標場景反射信號表示為

式中：AR為接收信號振幅；Δt為信號飛行時間，Δt=2R/C；R為目標相對雷達的徑向距離；K(τ-Δt)為 τ時刻接收信號頻率；Δfd為多普勒頻移。

接收機將目標場景反射的回波信號與發射信號進行混頻和低通濾波后得到中頻信號，近似為

式中fIF=KΔt為t時刻中頻信號的頻率。所以，得到的中頻信號的相位可表示為

式中：fcΔt相對于快時間來說為一常量，可認為是初相；fIF只與調頻周期內對應的快時間索引有關，由于Tc很小，通常假定一個調頻周期內多普勒頻移 Δfd是恒定的，則可通過對快時間域進行快速傅里葉變換求得到與目標距離相關的中頻信號頻率分布；當不同調頻周期的fIF固定時，即距離相同時，Δfd僅與調頻周期之間對應的慢時間索引有關，從而在慢時間域進行快速傅里葉變換可以得到與目標速度相關的多普勒頻移分布。

為了實現上述方法，需要將雷達回波處理成為一個矩陣的形式：矩陣的每一列代表快時間方向上Nadc個采樣點，每一行代表慢時間不同的Nchirp個脈沖信號的回波在相同快時間處的值。

以幀為單位處理信號，可得到M個Nadc×Nchirp的矩陣。對每一個矩陣快時間維做FFT 即可得到M個二維距離譜圖，后對二維距離譜圖進行自相關，抑制背景噪聲。假設每幀內的目標距離相同，對得到的每一個二維距離譜圖抽取第1 列后，按幀拼接，得到距離-時間譜。

對二維距離譜圖，在慢時間方向做FFT 即可得到距離-多普勒圖，將多個距離多普勒圖按行累加后轉置得到多個列向量，將多個列向量按幀拼接即得到速度-時間譜圖。

最終得到的手勢特征圖大小均為64×64。圖3 給出了手勢動作的示意圖以及手勢動作的回波特征圖。本文將雷達前的人也考慮在內，即距離隨時間變化圖(range-time map，RTM)中距離不變的橫線，以及速度隨時間變化圖(Doppler-time map，DTM)中速度為0 的橫線。

圖3 7 種手勢示意及對應的2 種特征圖

2 卷積神經網絡

在利用上述方法得到特征圖后，需要利用卷積神經網絡進行學習，在學習前首先需要建立樣本集供神經網絡訓練。本文通過4 名志愿者對7 種手勢進行樣本集構建。每種手勢200 個樣本，構建了各有1 400 個樣本的2 個數據集RTM、DTM，在此基礎上構建了二維的數據集，將其命名為MUL，MUL 中每種手勢由2 個特征圖表征。

對于RTM 和DTM 數據集，本文使用了全局平均池化層來代替扁平層以及全連接層，搭建了3 個卷積-池化層的單通道卷積神經網絡。本文所使用的單通道卷積神經網絡結構如表1 所示。

表1 單通道卷積神經網絡結構

本文使用表1 所示的網絡分別對由RTM 和DTM 特征圖構建的樣本集進行了訓練。同時基于表1 網絡構建了雙通道的卷積神經網絡，對本文構建的二維手勢樣本集MUL 進行了訓練，進而驗證雙通道神經網絡對訓練結果的影響。本文所構建的雙通道的卷積神經網絡結構如圖4 所示。

圖4 雙通道卷積神經網絡結構

3 實驗結果

3.1 實驗平臺

使用了TI 公司的DCA1000EVM 高速數據采集卡獲取毫米波雷達中頻信號采樣后的ADC 原始數據，并經過千兆網口傳輸到PC 端(Windows10 64 位操作系統，NVIDIA GeForce GTX 1 050 顯卡)，在Matlab 2020a 中進行數據處理，建立數據集后使用Tensorflow2.1 深度學習框架搭建了神經網絡，并使用本文的樣本集對網絡進行了學習分類。

3.2 單通道卷積神經網絡驗證

在單輸入的網絡驗證中，對RTM 與DTM 這2 種特征圖的操作相同。每種數據集具有1 120個訓練樣本以及280 個測試樣本。使用Adam 的優化算法，初始學習率設置為0.001，選取了指數型學習率衰減的方法，使學習率在100 個epoch內連續衰減10%，設置的批尺寸為8。從圖5 中可以看出卷積神經網絡訓練在測試集的準確率隨迭代步數的變化情況。

圖5 單通道網絡在RTM 和DTM 中的準確率對比

從圖5 中可以看出，卷積神經網絡對在對本文建立的樣本集進行訓練的最終識別率達到了95%以上，DTM 數據集與RTM 數據集的訓練結果近似相同，且2 種數據集在進行了40 個epoch后均達到了收斂。

3.3 雙通道卷積神經網絡驗證

雙通道網絡同樣使用Adam 優化算法，初始學習率設置為0.001，選取指數型學習率衰減的方法，使學習率在100 個epoch 內連續衰減10%，設置批尺寸為8。

測試集的準確率隨迭代步數的變化如圖6 中MUL 所示。

圖6 不同方法訓練結果對比

從圖6 中可以看出，雙通道的卷積神經網絡結構在測試集上的準確率達到了近99%，相較于單通道神經網絡，最終的識別率提升了近4%。由于網絡的優化算法、學習率、衰減率等沒有改變，所以2 種網絡的收斂速度幾乎相同，只是第2 種的網絡規模是第1 種的2 倍，所以在網絡訓練時多輸入網絡用的時間是單輸入的2 倍。本文參考搭建了文獻[13]中的單通道的僅兩層卷積層的網絡模型，并在此基礎上搭建了雙通道網絡模型，2 種模型在本文數據集（單通道對比模型使用RTM 數據集訓練）中的訓練結果分別如圖6 中的單通道對比網絡及雙通道對比網絡所示。

4 結論

本文的FMCW 雷達手勢識別系統將人體作為參考特征，構建了手勢動作的距離-時間、速度-時間特征圖，使用全局平均池化層代替扁平層與全連接層的情況下構建了雙通道的卷積神經網絡。該網絡使用本文構建的數據集訓練，最終在測試集上達到了99%的識別率，相較于單通道的卷積神經網絡，在訓練集上的準確率提高了近4%。通過與其他方法對比可以得出：1）網絡模型對不同的數據集將會產生不同的結果；2）卷積層數增多會提取到更深層的信息，進而在一定條件下得到更好的擬合結果；3）驗證了聯合多特征的識別方法優于單特征的識別方法。