基于微多普勒特征的人體動作識別

文章編號：2096-1472（2024）03-0021-05

DOI：10.19644/j.cnki.issn2096-1472.2024.003.005

摘"要：針對傳統的視覺識別人體動作易受到光照變化、被遮擋和隱私問題等的影響，提出一種基于77 GHz毫米波雷達識別人體動作的方案。首先，使用77 GHz毫米波雷達采集人體動作的雷達回波樣本，處理回波樣本得到微多普勒頻譜圖；其次，首次提出一種新的自適應參數整流線性單元激活函數，將該激活函數與Resnet-18網絡相結合；最后，將微多普勒頻譜圖數據集放入該網絡訓練并分類。實驗結果表明，該方案對5種人體動作的平均識別準確率高達97.56%，較Resnet-PReLU網絡提高了1.78%，有效地提高了對人體動作的識別精度。

關鍵詞：毫米波雷達；人體動作；微多普勒頻譜圖；激活函數

中圖分類號：TP183""文獻標志碼：A

Human Motion Recognition Based on Micro-Doppler Features

LIN Zhiwei¹， LIU Zilong¹， YUAN Yusheng¹， NI Qinwei¹， CAI Zhiming^1，2

（1. School of Electronic， Electrical Engineering and Physics， Fujian University of Technology， Fuzhou 350118， China;

2. National Demonstration Center for Experimental Electronic Information and Electrical Technology Education， Fujian University of Technology， Fuzhou 350118， China）

2211905020@smail.fjut.edu.cn； 2211905025@smail.fjut.edu.cn； 2221908016@smail.fjut.edu.cn；2221905029@smail.fjut.edu.cn； caizm@fjut.edu.cn

Abstract： This paper proposes a solution based on 77 GHz millimeter wave radar to address the impact of lighting changes， being occluded， and privacy issues on traditional visual recognition of human motions. Firstly， the 77 GHz millimeter wave radar is used to collect radar echo samples of human motions， and the echo samples are processed to obtain micro-Doppler spectrograms. Secondly， a new adaptive parameter rectification linear unit activation function that is proposed for the first time is combined with the Resnet-18 network. Finally， the micro-Doppler spectrogram dataset is placed into the network for training and classification. The experimental results show that the average recognition accuracy of this solution for five human moitions is as high as 97.56%， which is 1.78% higher than the Resnet-PReLU network， effectively improving the recognition accuracy of human motions.

Key words： millimeter wave radar; human motions; micro-Doppler spectrogram; activation function

0""引言（Introduction）

人體動作識別可以應用在人機交互、醫療健康檢測、老年人護理^［1］等領域。采用攝像頭對人體動作進行識別時容易受到光照變化、被遮擋等的影響，并且存在隱私問題，不適合在臥室、洗手間等隱私空間使用。基于毫米波雷達的人體動作識別系統解決了攝像頭識別方式的缺陷和識別對象的隱私問題，并且抗干擾能力強。

目前，基于雷達系統的人體動作識別分類已經有大量學者進行了研究。SHRESTHA等^［2］和LI等^［3］使用雙層LSTM（Long Short-Term Memory）結構學習FMCW（Frequency Modulated Continuous Wave）信號，用于識別人體不同的動作。蔣留兵等^［4］構建了基于LC-KSVD（Label Consistent K-Singular Value Decomposition）字典學習的77 GHz雷達人體動作識別系統，使用特征融合方法提升了動作分類準確率。

但是，針對人體動作識別^［5］任務，上述研究仍存在很多問題，例如手動提取特征耗時費力、動作識別精度有待提高等。本文通過深度學習方法學習微多普勒特征^［6-9］，實現人體動作識別，避免了手動提取特征耗時費力的問題。針對識別精度問題，提出了一種新的自適應參數整流線性單元激活函數，能夠更好地發揮激活函數的非線性變換能力，達到提升網絡性能的目的。通過實驗證明，本文所提的方案能夠有效地提高人體動作的識別精度。

1""微多普勒頻譜圖（Micro-Doppler spectrograms）

通過毫米波雷達信號模型采集得到人體動作的雷達信號，將所得到的雷達信號通過3D-FFT（Three-Dimensional Fast Fourier Transform）和CA-CFAR（Cell Average-Constant False Alarm Rate）依次生成距離-多普勒熱力圖和距離-角熱力圖，再使用DBSCAN（Density-Based Spatial Clustering of Applications with Noise）聚類算法和短時傅里葉變換方法，構建出微多普勒頻譜圖。

1.1""毫米波雷達信號模型

毫米波雷達能夠發射調頻連續波，本文采用調頻連續波信號，以此形成所接收到的雷達信號。調頻連續波具有穿透力強、精度高、穩定性強、抗干擾能力強等優點。

可以將毫米波雷達發射信號表示如下：

1.2""微多普勒頻譜圖的構建

圖1為三維快速傅里葉變換流程圖。如圖1所示，首先處理毫米波雷達信號的快、慢時間維度的多周期chirp序列和回波信息，其次提取出人體動作的距離與速度信息。在快時間維度處理中，通過距離-FFT對快時間維度的每一幀進行處理，提取譜峰橫坐標對應的頻率求解目標的距離。在慢時間維度處理中，通過速度-FFT對同一距離單元進行處理，從而提取譜峰橫坐標對應的多普勒頻率，進而得到目標的速度。對雷達回波通過距離-FFT和速度-FFT處理后能夠得到距離-多普勒熱力圖。使用CA-CFAR算法對距離-多普勒熱力圖檢測每一個距離箱的最大多普勒峰值，通過角度-FFT檢測多普勒箱，疊加每個角度-FFT的結果，從而得到距離-角熱力圖。

圖2為構建微多普勒頻譜圖的流程圖。將采集得到的雷達信號通過3D-FFT和CA-CFAR依次生成距離-多普勒熱力圖和距離-角熱力圖。使用DBSCAN聚類算法確定人體目標的中心位置，距離-角熱力圖的人體目標雷達數據通過設置一個邊界框進行提取，以此能夠從原始數據中剪切有效的人體目標數據立方體。由于整個回波序列的FFT會丟失時間信息，因此使用短時傅里葉變換獲得時間與頻率的關系。短時傅里葉變換采用滑動窗口機制設定窗口大小和步長，讓窗口在時域信號上滑動，分別計算每個窗口的傅里葉變換，形成不同時間窗口對應的頻域信號，把這些不同時間窗口對應的頻域信號拼接起來，就能夠得到頻率隨時間變化的關系，從而構建出微多普勒時頻圖，可用于提取人體動作的微多普勒特征。

微多普勒特征的計算公式如下：

其中：x（t）為人體目標信號，ω（t）為窗口函數。

2""改進PReLU激活函數（Improved PReLU activation function）

激活函數在神經網絡中具有重要作用，主要是為了增加神經網絡模型的非線性。通過改進PReLU激活函數，讓它能夠達到更好的效果。

2.1""激活函數

ReLU激活函數是原ResNet網絡模型的激活函數，也是深度學習方法常使用到的激活函數之一。與Sigmoid函數和tanh函數相比較，ReLU激活函數可以有效預防梯度消失和梯度爆炸。ReLU可以表示如下：

為了提升激活函數的性能，已經研究出了許多關于ReLU的變種，如LReLU和PReLU等。LReLU與ReLU的不同之處在于能夠對負特征應用一個較小的、非零的倍增函數（如0.1），并非強制為0，LReLU的公式如下：

y=max（x，0）+0.1min（x，0）（8）

PReLU是LReLU的變種，可以將其表示如下：

y=max（x，0）+αmin（x，0）（9）

其中，α為可訓練的參數。與LReLU不同的是，PReLU能夠使得特征圖的每一個通道都有該通道的α，因此非線性變換變得高度靈活。

2.2""Resnet-IPReLU網絡

為了更好地發揮激活函數的非線性變換能力，本文提出了新的自適應參數整流線性單元激活函數IPReLU，并將其搭載在Resnet-18^［10］網絡模型上。圖3為IPReLU激活函數的結構。

由圖3可知，與PReLU不同的是，IPReLU增加了一個小型全連接網絡對負數特征的權重進行訓練。IPReLU的α由訓練輸入的特征圖像的正負特征值得到，第一步將計算輸入的特征圖得到正特征圖和負特征圖；第二步分別進行全局池化得到正n元向量和負n元向量，將所得到的正n元向量和負n元向量通過級聯后得到2n元向量；第三步把2n元向量通過linear激活函數激活后得到的結果進行歸一化，歸一化的結果再通過softmax激活函數激活，從而得到一個n元權值向量α。

殘差網絡的核心思想是通過將當前特征層的輸出短路直接連接到后面的特征層，作為后面特征層的一部分輸入，通過不斷的短路連接能夠保證梯度在傳遞的過程中不會消失。殘差網絡具有比一般網絡更深的網絡結構，并且使用Batch Normalization代替Dropout加速訓練。目前，常見的殘差網絡模型有Resnet-18、Resnet-34、Resnet-50等，其中數字表示該殘差網絡中有權重的層數，如卷積層與全連接層。本文通過將IPReLU與Resnet-18網絡模型相結合實現人體不同動作的分類。圖4為Resnet-IPReLU網絡模型結構。

3""實驗數據集（Experiment dataset）

采用毫米波雷達采集不同人體動作的雷達回波，對該雷達回波通過一系列處理后得到不同人體動作的微多普勒頻譜圖，從而得到實驗所需的數據集。

3.1""實驗裝置

采集人體不同動作信號所用到的設備為TexasInstruments公司研發的AWR1443BOOST雷達傳感器模塊和DCA1000EVM數據采集適配器模塊。圖5為AWR1443BOOST雷達傳感器模塊，圖6為DCA1000EVM數據采集適配器模塊，表1為毫米波雷達裝置的參數。

3.2""數據采集

本文實驗在室內進行，雷達的扇形掃描平面內除實驗目標外，沒有其他運動目標。將雷達設備放置在距地面高1.5 m處，測試者在雷達正前方1.4～5 m的范圍內做本研究所需的動作。參與本次數據采集的志愿者共有10名，年齡在22～25歲范圍內，身高在1.58～1.85 m范圍內，體重在50～88 kg范圍內。

本研究共采集5個動作，分別為跑步、跳繩、走路、仰臥起坐、深蹲。測試者重復執行每種動作30次，共采集1 500組數據。采集所得到的1 500組數據通過本文“1.2節”提到的方法構建微多普勒頻譜圖，將數據以7∶3的比例分別作為實驗所需的訓練集和測試集。本文采集不同動作的雷達信號構成的微多普勒頻譜圖如圖7所示，圖7（a）至圖7（e）分別表示跑步、跳繩、走路、仰臥起坐、深蹲動作的微多普勒頻譜圖。

4""實驗結果及分析（Experimental results and analysis）

網絡訓練使用的硬件平臺是CPU（Intel酷睿i5-12490F，內存為32 GB）+GPU（NVIDIA RTX 3060Ti，顯存為8 GB）。本實驗的超參數設置如下：batch-size為32，損失函數為交叉熵損失，整個網絡訓練的epoch為30。

為了驗證本文提出的新的自適應參數整流線性單元激活函數的改進效果，將PReLU激活函數同樣搭載在Resnet-18網絡上，對比不同人體動作在兩種網絡模型上所得到的識別準確率。

為了驗證本文提出的基于77 GHz毫米波雷達通過改進的Resnet-18識別人體動作的方案的可行性，并與特征融合^［4］和主成分分析法提取特征^［5］分別在平均識別準確率和單個動作識別準確率上進行對比分析。

4.1""對比PReLU和IPReLU

將采集處理得到的微多普勒頻譜圖作為數據集分別放入Resnet-IPReLU和Resnet-PReLU網絡模型中。表2為通過Resnet-PReLU網絡模型識別不同人體動作準確率的混淆矩陣，表3為通過Resnet-IPReLU網絡模型識別不同人體動作準確率的混淆矩陣。由表2和表3可以看出，Resnet-IPReLU網絡對跑步、走路、仰臥起坐和深蹲4個動作的識別準確率明顯高于Resnet-PReLU網絡，分別提高了1.1%、2.2%、2.2%和3.3%。Resnet-IPReLU網絡模型的平均識別準確率高達97.56%，Resnet-PReLU網絡模型的平均識別準確率為95.78%，兩個網絡模型相對比，Resnet-IPReLU網絡模型提高了1.78%。由此可以看出，本文提出的新的自適應參數整流線性單元激活函數訓練負數特征的權重能更好地提取微多普勒特征，使得網絡對于不同人體動作分類具有更強的鑒別能力。

4.2""不同算法對比

為了驗證本文提出的方案的可行性及對其進行客觀、公正的評價，將本文方案與特征融合和主成分分析法提取特征進行對比分析，對比結果如表4所示。由于每篇文獻的分類算法不同，因此將本研究分類的5個動作與特征融合和主成分分析法提取特征分類的相同動作進行對比分析。此外，特征融合和主成分分析法提取特征中未測試的動作以“—”表示。

如表4所示，經對比發現本文方案得到的平均識別準確率均高于特征融合和主成分分析法提取特征，分別高出4.23%和1.23%。雖然本文方案對走路動作的識別準確率均低于特征融合和主成分分析法提取特征，但是單個動作的識別率能夠達到94%以上，能夠較穩定且準確地對單個動作進行識別。特征融合和主成分分析法提取特征需要手動提取特征后，再將特征組合，并且使用傳統的機器學習方法對特征進行識別分類，特征提取過程耗時費力且提取的特征不夠全面。相比之下，本文方案使用的Resnet-IPReLU網絡模型，不用對特征進行手動提取，并且提出新的自適應參數整流線性單元激活函數使得非線性變換更加靈活，能更好地進行人體動作識別分類，說明了本研究提出方案的優越性。

5""結論（Conclusion）

本文提出的基于77 GHz毫米波雷達識別人體動作的方案通過Resnet-18殘差網絡提取微多普勒特征，引入一種新的自適應參數整流線性單元激活函數提高了網絡對人體動作識別分類的能力。針對人體動作識別問題，本文對激活函數進行改進，提出新的自適應參數整流線性單元激活函數，更好地發揮激活函數的非線性變換能力。實驗結果表明，本文提出的方案對5個不同動作平均識別準確率高達97.56%，較Resnet-PReLU網絡提高了1.78%，證明了本文提出方案的有效性。同時，將其與特征融合和主成分分析法提取特征進行了對比分析，其平均識別準確率均高于對比方案，證明了本文提出方案的可行性。接下來，將嘗試使用其他不同人體動作，并通過提高數據集的大小評估本文研究的網絡模型的性能。

參考文獻（References）

［1］ 元志安，周笑宇，劉心溥，等. 基于RDSNet的毫米波雷達人體跌倒檢測方法［J］. 雷達學報，2021，10（4）：656-664.

［2］ SHRESTHA A，LI H B，LE KERNEC J，et al. Continuous human activity classification from FMCW radar with Bi-LSTM networks［J］. IEEE sensors journal，2020，20（22）：13607-13619.

［3］ LI H B，SHRESTHA A，HEIDARI H，et al. Bi-LSTM network for multimodal continuous human activity recognition and fall detection［J］. IEEE sensors journal，2020，20（3）：1191-1201.

［4］ 蔣留兵，魏光萌，車俐. 基于字典學習的77 GHz雷達人體動作識別［J］. 科學技術與工程，2020，20（6）：2317-2324.

［5］ BRYAN J D，KWON J，LEE N，et al. Application of ultra-wide band radar for classification of human activities［J］. IET radar，sonar amp; navigation，2012，6（3）：172-179.

［7］ ZHANG L，CHEN Y，LIU S，et al. A matching pursuit-based vehicle wheel parameter extraction method from micro-doppler radar signal［J］. Radioengineering，2021，30（4）：719-728.

［8］ VAN EEDEN W D，DE VILLIERS J P，BERNDT R J，et al. Micro-Doppler radar classification of humans and animals in an operational environment［J］. Expert systems with applications，2018，102：1-11.

［9］ HOU J L，CHEN G，ZHOU Q F，et al. Indoor human detection based on micro-Doppler features in the presence of interference from moving clutter sources［J］. Physical communication，2023，58：102037.

［10］ 楊林順，劉航濤. 基于深度殘差網絡的煤泥浮選泡沫圖像分類方法研究［J］. 煤炭技術，2023，42（7）：226-229.

作者簡介：

林志偉（1999-），男，碩士生。研究領域：毫米波雷達及目標檢測。

劉梓隆（1999-），男，碩士生。研究領域：毫米波雷達及目標檢測。

袁煜盛（2000-），男，碩士生。研究領域：毫米波雷達及目標檢測。

倪沁瑋（2000-），女，碩士生。研究領域：毫米波雷達及目標檢測。

蔡志明（1977-），男，博士，教授。研究領域：機器識別與目標跟蹤。本文通信作者。

收稿日期：2023-07-26

基金項目：福建理工大學科研啟動基金（GY-Z21064）