FMCW毫米波雷達跌倒檢測算法研究

許向陽　張俊強　沈月健　李猛

關鍵詞：毫米波雷達；人工智能算法；雙流融合；跌倒檢測

中圖分類號：TP183 文獻標識碼：A

1 引言（Introduction）

據2021年11月公布的全國第七次人口普查結果統計，我國老年人口達到2.6億，每年約有4 000多萬起居家老人發生意外摔倒的事件[1]。在很多案例中，沒有及時發現老人跌倒往往是導致老人錯過最佳救治時間的主要原因，特別是對養老機構等場所來說，如何在第一時間發現老人跌倒并對其進行及時救治，成為考驗養老機構運營和管理能力的重要指標。由于毫米波雷達具有良好的安全性和穩定性，所以近年來出現了很多基于毫米波雷達的跌倒檢測算法，但現有的基于FMCW雷達信號的人體姿勢感知算法存在對多維信息的利用不夠充分、未考慮到實際環境的復雜性對系統性能的影響、功能比較單一、系統操作煩瑣等問題[2]。為解決以上問題，本文提出一種雙流融合特征提取算法對融合特征進行提取，通過實驗驗證，算法的準確率很高，效果顯著。

2 毫米波雷達平臺（Millimeter wave radar platform）

本系統中的毫米波雷達平臺采用T I公司的AWR1642BOOST毫米波雷達和DCA1000EVM高速數據采集板，通過60引腳Samtec連接線組成，AWR1642與毫米波雷達平臺如圖1所示。

AWR1642硬件的具體參數見表1。

DCA1000EVM為來自TIAWR1642雷達傳感器兩通道和四通道的低壓差分信號流量提供數據實時捕獲和傳輸功能。雷達數據可以通過1 Gbps以太網實時傳輸到上位機，實現數據的捕獲與存儲，然后可以將其傳遞給所選的應用進行數據處理和算法開發。

毫米波雷達的ADC原始數據采集流程如圖2所示。由圖2可知，PC電腦端與AWR1642開發板之間的USB負責程序下載和實現虛擬串口功能；PC端和DCA1000EVM數據采集板之間的USB接口負責控制信號的傳輸通信。AWR1642BOOST毫米波雷達接收到回波信息后，通過混頻器得到中頻信號，ADC分別對四路信號進行采用并存儲到ADC緩存中，然后ADC數據通過LVDS接口經DCA1000EVM通過以太網傳輸達到PC端進行處理。

3 數據集（Data set）

本系統訓練的算法可完成對無人、有人靜止、行走、跌倒、揮手五類人體狀態的識別[3-5]，旨在識別人體動作類別，不需要識別動作的具體方向，因此只需要處理毫米波雷達的距離維和速度維信息。算法階段主要分為雷達信號采集與處理、信號特征提取、基于深度學習的算法實現。

3.1 數據采集

FMCW雷達中頻信號以64幀為采集單位進行采集，每幀數據內有128個掃頻，每個掃頻具有64個采樣點。最大探測距離為5 m，距離分辨率為9 cm，最大探測速度為3 m/s，速度分辨率為0.12 m/s，雷達采集數據的具體參數見表2。

實驗人員在毫米波雷達斜下方1—3 m進行數據采集，為防止過擬合問題的發生，實驗人員必須在不同的位置做動作，本項目共采集300次無人、300次靜止、300次行走、300次跌倒、300次揮手，共計1 500條數據。

3.2 數據預處理

通過調頻連續波雷達采集動作的回波數據并進行預處理得到距離-速度圖，然后將目標所在的距離門信號相干疊加后進行短時傅里葉變換，得到微多普勒時頻譜圖像。

3.2.1 距離-速度圖

距離-速度圖的構建過程如圖3所示，第一次快速傅里葉變換（Fast Fourier Transform，FFT）是在快時間域對雷達信號的頻率進行估計，第二次FFT是在第一次FFT的基礎上在慢時間域對雷達信號的多普勒進行估計，最終得到雷達信號一幀的距離-速度圖。

去除距離-速度圖中的靜態目標干擾，使用幀差法對距離-速度圖進行去靜態目標處理。如公式（1），將若干幀數據進行累積并求得均值X_bk作為背景幀，然后將X_bk帶入公式（2）得到去除靜態目標干擾后的距離-速度圖，圖4（a）為未進行去除靜態目標的距離-速度圖，圖4（b）為去除靜態目標干擾后的距離-速度圖；本研究針對每個動作采集64幀雷達數據，以步長為3幀在64幀數據中得到16幀數據，即每個動作可得到16張距離-速度圖。

其中， X_bk為若干幀數據雷擊后求均值得到的背景幀，s表示距離-速度圖中背景幀的累積個數，m和n分別是距離-速度圖的距離軸和速度軸的像素總數。

3.2.2 多普勒-時間圖

當人在毫米波雷達前做不同動作時，會造成雷達回波信號的頻率發生變化，例如當人行走和跌倒時，由于人在跌倒時的瞬時速度遠大于正常行走速度，因此當人跌倒時會使雷達回波信號產生短暫的頻率升高。構建多普勒-時間圖（多普勒頻率圖），可以通過人體動作的頻率變化檢測該目標的動作類別，這也是目前最常用的人體動作識別輸入數據。多普勒頻率圖可以從距離-時間圖中提取人體運動的多普勒偏移值得到，用來描述某一幀人體運動的速度信息。通過累積N_fra幀雷達數據對多普勒-時間圖進行構建，如圖5所示，在多普勒偏移值的提取過程中進行了背景噪聲去除動態干擾抑制處理。

本文采集的多普勒頻率圖如圖6所示，圖6（a）—圖6（b）分別表示無人、靜止、行走、跌倒、揮手動作的頻率圖。

4 跌倒檢測算法實現（Implementation of fall detectionalgorithm）

本文的跌倒檢測和人體動作識別需要使用深度學習算法實現，使用本研究提出的雙流融合神經網絡識別跌倒、揮手、無人、靜止、行走五類動作[6-7]，獲得距離-時間圖和多普勒頻率圖兩種參數的圖像。本文提出的雙流融合神經網絡主要包括四個部分：①設計殘差網絡（Residual Networks，ResNet）對多普勒頻率圖進行特征提取；②對距離-時間圖設計CNN-LSTM網絡進行特征提取；③將多普勒頻率圖和距離-時間圖提取到的特征進行融合，并使用長短期記憶網絡（Long Short-Term Memory，LSTM）提取融合特征的時序信息；④添加兩個全連接層網絡進行特征分類。

雙流融合神經網絡的實現流程如圖7所示。

4.1 多普勒頻率圖特征提取

為充分提取多普勒頻率圖的特征信息，使用ResNet18神經網絡對圖像進行特征提取，整個網絡包括1個卷積層和5個殘差層即1個全連接層。將多普勒頻率圖輸入ResNet18網絡中，最終在全連接層得到1 000×1維的多普勒特征向量。

4.2 距離-速度圖特征提取

為充分對距離-時間圖的特征信息和時序信息進行提取，本算法使用CNN-LSTM網絡，利用CNN對每幀圖像的特征信息進行提取，利用LSTM對每個動作幀之間的時序信息進行提取。將16幀距離-時間圖經過3層3×3層卷積后，在經過兩次全連接層后，得到16幀1 000×1維的距離-時間圖特征向量，在經過LSTM網絡后得到1000×1的特征向量。

4.3 特征融合時序信息提取

將多普勒頻率圖和距離時間圖生成的兩組1000×1維度特征，并聯組成總長度為1000的融合特征。在生成的融合特征中，每組特征中包含雷達回波信號中的人體運動的距離、速度和多普勒具有時序上的聯系。本系統使用LSTM網絡進行特征提取，將融合后的特征輸入LSTM單元。其中，當前細胞狀態存儲了其前幾步的人體運動信息，并且決定了此時的輸出，由此保留了融合特征的時序信息，生成最終的時序特征向量，具體處理過程如圖8所示。

5 實驗結果（Experimental result）

對二維參數數據集進行預處理后，得到的距離-速度圖和多普勒圖的質量有一定的提升，為了驗證預處理后的效果，分別對處理前和處理后的數據集利用本文提出的雙流融合卷積神經網絡進行實驗，對模型每隔500步迭代保存，并進行測試驗證，驗證數據集的準確率曲線如圖9所示。

為了驗證本文提出的人體跌倒檢測識別方法的可行性，選取元志安等[8]提出的基于距離-速度圖識別的RDSNet神經網絡，孫濟舟等[9]使用5層CNN網絡對老人雷達點云進行分類，以及王智等[10]利用ROS平臺設計并實現的基于激光雷達的室內跌倒檢測系統，分別在速度、準確率、防誤觸方面與本文提出的方法進行對比分析，詳細結果見表3。

從表3中的數據看出，雖然本系統算法在速度上略快于文獻[8]和文獻[10]提出的算法，但是在準確率和防誤觸方面明顯優于其他文獻的算法，準確率高達98.75%，較其他網絡算法出現誤報、漏報的概率大大減小。

6 結論（Conclusion）

本文提出了一種雙流融合特征網絡提取算法，對多普勒頻率圖用ResNet進行特征提取，然后對距離-時間圖設計CNN-LSTM進行特征提取，將提取到的兩種特征進行融合，并對融合特征的時序信息使用LSTM提取，添加2個全連接層和1個輸出層進行特征分類，最后通過大量的硬件和軟件實驗測試，結果表明所提算法準確率高達98.75%。未來，研究人員將采集更加豐富的數據集，進一步對算法進行評價，并加以改進。

作者簡介：

許向陽（1967-），男，碩士，副教授.研究領域：IP網絡，多媒體通信，網絡安全，衛星通信.

張俊強（1997-），男，碩士生.研究領域：衛星通信網絡研究.

沈月健（1997-），男，碩士生.研究領域：人工智能及雷達信號處理.

李猛（1998-），男，碩士生.研究領域：復雜網絡及數據挖掘.