基于RDSNet的毫米波雷達人體跌倒檢測方法

元志安 周笑宇 劉心溥 盧大威* 鄧 彬 馬燕新

①(國防科技大學電子科學學院 長沙 410073)

②(國防科技大學氣象海洋學院 長沙 410073)

1 引言

據統計，我國每年至少有2000萬老年人發生2500萬次跌倒[1]，意外跌倒成為威脅老人安全的重大隱患。在家庭和醫療健康監護中，如何及時準確地進行實時老人狀態監測特別是跌倒檢測成為亟待解決的難題。

跌倒檢測算法主要分為兩種：穿戴式和非穿戴式。穿戴式方法針對固定對象進行跌倒檢測，如利用慣性測量單元、加速度計和陀螺儀等傳感器組成的穿戴式跌倒檢測設備[2,3]；呂艷等人[4]提出一種基于卷積神經網絡(Convolutional Neural Network,CNN)和手機傳感器的跌倒檢測系統，利用神經網絡對智能手機內置的三軸傳感器數據進行訓練和分類，可以達到較好的檢測效果。上述穿戴式方法主要存在體感上的不適和老人忘記主動佩戴等問題。

非穿戴式方法針對固定區域進行檢測，主要有以下幾種傳感器：相機、WiFi、超寬帶雷達、毫米波雷達。基于相機的跌倒檢測方法[5,6]不斷出現：Abobakr等人[7]通過深度殘差卷積長短時記憶網絡(Long Short-Term Memory,LSTM)對RGB-D圖像進行跌倒分類；Feng等人[8]利用目標檢測對復雜場景進行人體檢測，并利用LSTM網絡對圖像進行跌倒結果預測，得到較好的檢測效果。基于圖像檢測的方式存在侵犯個人隱私風險，不適合用于洗手間、臥室等隱私場所，同時需要充足的光線，不適合夜晚場景的使用。基于WiFi的方法有著成本低的優勢：Bao等人[9]基于WiFi通道狀態信息提出一種智能監控系統，根據通道狀態信息的相位和幅度差值來建立跌倒檢測模型；Hu等人[10]提出DeFall的檢測方法，首先建立跌倒的通道狀態信息靜態模板庫，然后利用通道狀態信息估計跌倒時的速度進行相似度匹配。基于WiFi的方式容易收到其他外來信號的干擾，同時上述算法基于傳統建模，泛化性較差。基于超寬帶雷達的方法開始出現：Mokhtari等人[11]對回波信號進行特征提取，計算人體運動速度，利用運動速度的不同來進行跌倒檢測；Maitre等人[12]利用CNN與LSTM網絡對超寬帶雷達信號的回波進行特征提取和學習，能夠較好地完成跌倒檢測任務。上述基于超寬帶雷達的方法成本較高，且只對單一跌倒動作進行檢測，在動作檢測擴展方面仍需改進。相比之下，毫米波雷達具有良好的安全性和穩定性，且測量精度較高，成本較低，在跌倒檢測中有著獨特的優勢。基于毫米波雷達的跌倒檢測算法日漸增多：Jin等人[13]利用毫米波雷達采集微多普勒特征，并利用CNN進行訓練和識別患者動作，計算效率較高，但是算法的準確率有待提高；Wang等人[14]基于CNN提出一種線核卷積神經網絡(Line Kernel Convolutional Neural Network,LKCNN)用于提高跌倒檢測算法的準確性，但存在檢測動作單一的問題；Shrestha等人[15]和Li等人[16]利用雙層LSTM結構來對調頻連續波雷達信號進行學習，達到對人體動作進行分類的目的，這兩種算法時延較大，需要進一步提高運行速度。上述基于毫米波雷達的方法仍存在網絡結構單一，對于信號特征的提取和利用有限的問題。

本文提出一種基于毫米波雷達的人體跌倒檢測算法，針對調頻連續波雷達數據序列，結合CNN和LSTM網絡設計一種距離多普勒熱圖序列檢測網絡(Range Doppler heatmap Sequence detect Network,RDSNet)。本文首先介紹跌倒檢測系統構成，然后設計RDSNet網絡結構，建立距離多普勒熱圖動態序列檢測模型，構建包括跌倒在內的人體6種動作姿態的訓練數據集，通過實時測試結果對本文所提出的方法進行有效驗證和性能分析，并與其他跌倒檢測算法進行對比，證明了算法的檢測精度高且實用性較好。

2 跌倒檢測系統構成

本文設計的跌倒檢測系統屬于非穿戴式檢測設備，主要由毫米波雷達和PC機組成，系統組成如圖1所示。采用毫米波雷達可以在保護檢測對象的隱私情況下有效采集運動信息，同時不受光線影響。PC機搭載的RDSNet可以在經過數據訓練后實時檢測測試對象的跌倒及其他運動行為。

圖1 跌倒檢測系統構成Fig.1 The pipeline of fall detection

2.1 調頻連續波雷達

毫米波雷達采用調頻連續波，一個調頻周期內發射信號為[17]

式中，AT為發射信號的幅度，fc=79 GHz為中心頻率，B=4 GHz為帶寬，Tm=40 μs為信號調頻周期。經過目標和環境反射后，接收天線得到回波信號

式中，AR為回波信號的幅度，Δt為時延，Δfd表示多普勒頻移。發射信號與回波信號混頻處理并低通濾波得到中頻信號

式中，c 為光速，對中頻信號進行采樣，在第n個重復周期的第m個采樣點，離散中頻信號為

式中，N為一幀內重復周期數量，M為一個調頻周期內的采樣點數。對一幀內N個信號調頻周期的M個中頻信號采樣點數據分別做距離快速傅里葉變化(Fast Fourier Transform,FFT)和多普勒FFT，即可得到目標場景的一幀距離多普勒分布熱圖。

2.2 CNN

卷積神經網絡是一種經典的神經網絡結構，具有類似人眼的感受野[18]，能夠全面觀測目標信息，在二維圖像處理領域有著廣泛應用。

對于距離多普勒熱圖的特征提取，CNN有以下幾個優點[19]：原始圖像直接輸入，可以避免大量的預處理；局部感受域獲取特征，可以減小圖像的平移、縮放和旋轉帶來的影響；參數共享機制可以減小網絡結構的復雜度，提高計算效率；下采樣充分利用局部相關性信息，既減小數據處理量又可以保留結構信息。

本文利用CNN的特征提取優勢，通過非線性結構有效地將多普勒熱圖的抽象表達提取出來，同時減少人工干預。

2.3 LSTM

長短時記憶網絡[17]是循環神經網絡的一種特殊自回歸模型，通過加入長期記憶單元和改變門結構，緩解了循環神經網絡(Recurrent Neural Network,RNN)中的梯度彌散和梯度爆炸問題，已廣泛應用在序列數據處理中[20]。

LSTM結構如圖2所示，相比于RNN只有一個傳遞狀態，LSTM有兩個傳輸狀態：ct和ht,ct相對變化速度很慢，對應長時間的變化狀態，ht與當前單元輸入有關，相對變化速度較快，對應短時間變化狀態。LSTM的前向計算公式為

圖2 LSTM網絡單元Fig.2 The unit of LSTM network

其中，ct和ht為本時刻傳輸狀態，Sf,Si,St和S0為4個門控狀態，[xt,ht-1]為輸入xt和上一時刻傳輸狀態ht-1的拼接向量，?為矩陣元素對應相乘，⊕為對應矩陣加法，Wf,Wi,Wt和W0為權重矩陣。

LSTM單元內部主要進行3個操作：

(1) 選擇遺忘：針對上一節點傳輸信息進行選擇性忘記，利用門控狀態Sf來控制上一時刻的狀態ct-1的遺忘策略。

(2) 選擇記憶：針對本節點輸入進行選擇性保留記憶，利用門控狀態Si和St來控制本時刻輸入xt和上一時刻輸出ht-1的記憶策略。

(3) 輸出生成：決定當前模塊單元的輸出狀態，主要利用門控狀態S0來控制當前節點輸出ht。

LSTM通過門控狀態來控制傳輸狀態，記憶需要長時間保留的信息和內容，丟棄不重要信息，將序列數據之間的時間相關性保留記憶并提取，刻畫序列數據的時間關聯信息。

3 RDSNet網絡設計

RDSNet主要由CNN和LSTM網絡組成，利用CNN高效的特征提取能力，完成單幅多普勒熱圖的特征提取；利用LSTM對序列數據的時間關聯刻畫作用，完成特征圖序列的時間相關性描述。輸入數據選擇距離多普勒熱圖，熱圖方法具有幾個優點：敏感度較高，能夠快速準確地捕捉運動信息。數據復雜度低，便于加快計算效率。不涉及成像，能夠較好地保護檢測對象的隱私。

RDSNet整體結構如圖3所示，主要分為3個部分：CNN,LSTM和分類器。CNN有兩層結構：第1層包含4通道3×3卷積核的卷積層和3×3最大值池化層，第2層包含8通道3×3卷積核的卷積層和3×3最大值池化層。LSTM網絡由單一隱藏層構成，隱藏層維度為208。采用單層LSTM是為了加快收斂速度，提升RDSNet的計算效率。分類器網絡包含：拆分多維向量網絡、全連接層和線性整流函數(Rectified Linear Unit,ReLU)。ReLU函數計算方法為

圖3 RDSNet網絡結構Fig.3 The structure of RDSNet

拆分多維向量網絡包含3通道33卷積核的卷積層和22最大值池化層，全連接層中dropout的比例設定為50%。

上述CNN部分層數、卷積核尺寸和通道數選取的依據：首先，參考類似圖像特征提取任務，如圖像分類、目標檢測中的CNN網絡結構設計，選擇了比較常見的網絡層組合思路和結構參數設定；其次，針對距離多普勒熱圖的特性，保證網絡既不會在訓練過程中對訓練集過擬合，也保持對測試集的泛化性，選擇了合適的卷積核數量和卷積層數；最后，RDSNet網絡可以同樣部署在樹莓派平臺，進一步投入實際應用，這需要網絡的結構精簡，計算復雜度較低，所以本文對CNN和LSTM進行合適的結構設定。

RDSNet為端到端的網絡結構，輸入數據后可以自動完成提取特征和學習時間序列模式，網絡最終直接輸出檢測結果。其工作流程為：首先將生成的距離多普勒熱圖序列按照時間順序拆分，每一時刻對應的熱圖分別進入CNN，由CNN網絡提取得到8通道特征向量序列。按照時間順序，依次將每個時刻對應的1通道特征向量作為LSTM網絡記憶模塊的輸入值tm(m=0,1,2,···)，得到LSTM網絡的輸出序列hm(m=0,1,2,···)。將輸出序列hm拆分為多維向量進入全連接層，通過ReLU函數得到最終結果。

4 實驗驗證

4.1 數據集構建

在實驗過程中，設計了跌倒、揮手、起立、靜止、走動和翻身6個動作。單次動作數據包含8張距離多普勒熱圖，如表1所示。每個動作在不同方向和不同姿勢下采集500次，共計3000組數據。同時為使數據具有更好的泛化性，選取身高、體重和年齡各不相同10名實驗人員來進行數據采集，形成人體姿態數據集。

表1 動作設計及距離多普勒熱圖序列Tab.1 Motion design and range Doppler heat map sequence

在采集實驗數據時，針對單人場景下的狀態監測，設立單目標運動場景。同時在采集各個動作時加入隨機性，以不同的角度、位置、速度、方向和對象來進行動作數據的采集。

4.2 RDSNet訓練與測試

實驗采用的調頻連續波毫米波雷達設備支持77～81 GHz最大4 GHz的調頻帶寬，設置1個發射天線和1個接收天線，天線增益為12.2 dB，水平方向視場角為±47°，垂直方向為±19°，為達到足夠的檢測區域，設立雷達架設高度為1.5 m。實驗采用的PC機配置為Windows10 64位操作系統，Intel i7 6核CPU，32 GB運存，NVIDIA Quadro P1000顯卡，環境為Python3.6，深度學習框架為Pytorch 1.0.0。實驗流程如圖4所示。

圖4 實驗流程Fig.4 The process of experiments

首先設置雷達的參數并設計6種人體動作(跌倒、揮手、起立、靜止、走動和翻身)，對各種動作進行數據采集并建立訓練數據集，將采集的熱圖序列輸入RDSNet進行訓練，CNN的輸入圖像分辨率為256×16，采用Adam優化器，權重退化系數為10-5，該優化器在其他圖像處理感知任務中得到廣泛應用，在隨機梯度下降優化器的基礎上能更好地避免陷入局部最優解。學習率為0.001，訓練輪數為20輪，每次迭代的批樣本數(batch size)為20，訓練過程中利用GPU進行加速計算。一次完整的訓練耗時5 min。

模型訓練結束后，采用實時測試的方式進行模型效果驗證，獲取實測結果數據。實驗場景和雷達視角如圖5所示。

圖5 實驗場景和雷達視角示意圖Fig.5 Experimental scene and radar perspective diagram

在測試過程中，為保證實驗的嚴謹性、魯棒性和有效性，在測試過程遵循以下原則：

(1) 實時測試。模擬真實場景，測試對象實施動作中間不停頓，連續完成所有動作。

(2) 對象選取。選取與建立訓練數據集不同的6名實驗人員參與實時測試實驗。

(3) 動作選取。選取600個動作(300次跌倒、其余動作共300次)，動作順序隨機組合。

(4) 動作實施。測試過程選取不同的角度、方向、位置、速度和對象進行測試。

4.3 實驗結果對比分析

為對本文設計的跌倒檢測系統做出客觀公正的評價，將跌倒檢測系統與其他方法進行對比分析。為探究基于毫米波雷達的跌倒檢測系統的可行性，本文將不同傳感器下的不同檢測方法進行對比研究；為探究網絡結構對跌倒檢測效果的影響，本文將基于毫米波雷達的不同網絡結構進行對比分析，分析系統網絡結構的合理性；為探究自身網絡結構的優化，本文將不同層數、類型的CNN和LSTM網絡進行組合，測試網絡分類效果，得到最優組合結構。

首先將系統與不同傳感器下的不同檢測方法進行性能對比，對比結果如表2不同檢測方法結果對比所示。通過結果對比可以看出，與穿戴式設備相比，文獻[3]提出方法在4種動作分類時檢測準確率最高，但是無法實時進行檢測，RDSNet在4種動作分類時檢測準確率低于最高準確率2.33%；文獻[4]提出方案在2種動作分類時檢測準確率最高，同時可以進行有效的實時檢測，RDSNet在2種動作分類時檢測準確率低于最高準確率0.18%；RDSNet在6種動作種類時準確率最高，達到93.33%，相比之下RDSNet對于多類動作檢測泛化性較好；與非穿戴式設備相比，RDSNet在不同傳感器、不同檢測方法和不同種類動作檢測中都具有最高的準確率，在非穿戴式方法中具有明顯的優勢。RDSNet網絡處理的時延小于50 ms，可以達到實時檢測，同時傳感器簡單有效、成本較低，具有較高的實用價值。

表2 不同檢測方法結果對比Tab.2 Comparative experimental results of different detection methods

為進一步探究網絡結構對于實驗結果的影響，選取相同傳感器下(毫米波雷達)的不同網絡結構方法來進行對比和研究，同時本文也對CNN,LSTM和CNN＋LSTM 3種網絡結構進行了實驗對比研究，得出最優的網絡結構，結果對比如表3所示。在不同種類的動作檢測中，CNN＋LSTM的網絡結構都具有最高的準確率，且時延小于50 ms，滿足實時檢測要求，所以RDSNet采用CNN+LSTM的網絡結構。

表3 相同傳感器下不同網絡結構的結果對比Tab.3 The results of different network structures under the same sensor

最后對網絡結構的組合進行對比實驗，得到最優方案。將不同層數的CNN和LSTM進行組合，表4結果表明：2層CNN與1層LSTM組合準確率最高(96.67%)，漏警率最低(3.33%)；3層CNN與1層LSTM組合虛警率最低(6%)；1層CNN與1層LSTM組合時延最低(＜38 ms)。因此最終確定RDSNet為2層CNN與1層LSTM組合，既能達到最高的準確率、最低的漏警率，又可以保證時延較低，達到實時檢測的要求。

表4 不同網絡結構組合結果對比Tab.4 Comparison results of different network structure combinations

測試跌倒(300次)、揮手(100次)、走動(100次)和靜止(100次)4種動作的分類結果及混淆矩陣，結果如圖6所示。

圖6 4種動作分類RDSNet混淆矩陣Fig.6 RDSNet confusion matrix for 4 types of action classification

本文算法跌倒檢測的準確率為96.67%，漏警率為3.33%，虛警率為8%，能夠達到較好的檢測效果。主要誤判結果為跌倒過程判斷為走動(10次)，走動過程判斷為跌倒(7次)，說明走動過程與跌倒過程兩個動作同為劇烈運動，具有一定的相似性。

通過以上的實驗結果對比和分析，得出以下結論：

(1) 通過不同傳感器的不同檢測方法對比，可以發現基于毫米波雷達的方法可以在非穿戴式方法中達到最優檢測效果，在擴展到多種動作分類時具有較好的泛化性，并且可以實時檢測，具有較高的實用價值。

(2) 通過相同傳感器(毫米波雷達)的不同網絡結構的對比，得到CNN與LSTM組合的更優網絡結構，可以達到最佳檢測效果。

(3) 通過相同網絡結構(CNN+LSTM)下的不同層數和類型的CNN和LSTM進行組合，探究得到最優組合結構：2層CNN和1層LSTM組結合。該組合方式既可以達到最高的檢測準確率和最低的漏警率，又可以保持較低時延，保證實時檢測作用。

5 結論

本文提出了一種基于毫米波雷達的人體跌倒檢測算法，能夠在保護個人隱私的前提下和無光線環境中有效工作。針對毫米波雷達的距離多普勒熱圖序列，設計了一種基于CNN和LSTM的RDSNet網絡模型，可以對動態序列特征進行高效學習，達到良好的檢測效果。本文建立了人體姿態數據集，利用數據集對RDSNet進行訓練，利用實時測試的方式對算法檢測結果進行研究。與其他不同傳感器的方法相比，基于毫米波雷達的方法可以達到更優的檢測效果；與其他網絡結構相比，CNN+LSTM的網絡結構在檢測的準確率和泛化性上更具有優勢；對不同的網絡結構組合進行對比研究，RDSNet可以達到最高的檢測準確率和最低的漏警率。以上結果證明本文提出的跌倒檢測算法在提高檢測準確性、降低計算時延、提升多動作檢測泛化能力方面有明顯作用，具有較高實用價值。后續工作將對跌倒檢測算法在存在動態干擾的真實環境中的應用進一步探究。