基于深度學(xué)習(xí)的毫米波雷達(dá)人體摔倒檢測系統(tǒng)研究

鄔蘇秦，王府圣，周川鴻，朱衛(wèi)綱，曲衛(wèi)

（航天工程大學(xué)電子與光學(xué)工程系，北京 101416）

據(jù)世界衛(wèi)生組織報告，全世界每年因摔倒造成死亡的有64.6 萬人，跌倒是老年人受傷死亡的重要原因[1]。因此，開發(fā)準(zhǔn)確有效的摔倒檢測系統(tǒng)有重要的現(xiàn)實意義。

通過研究文獻(xiàn)發(fā)現(xiàn)，現(xiàn)有的摔倒檢測方法主要有三種：基于可穿戴設(shè)備的方法[2]、基于視頻分析的方法[3]和基于環(huán)境傳感器的方法。可穿戴檢測設(shè)備影響穿戴者的舒適度，且忘記佩戴時無法檢測[4]。基于視頻分析的方法受限于光照條件，難以全天時全天候檢測，同時需要對檢測區(qū)域進(jìn)行錄像，存在泄露隱私的風(fēng)險。基于紅外、震動等環(huán)境傳感器的方法布置成本高、容易受環(huán)境影響，準(zhǔn)確性較低[5]。

針對以上問題，該文設(shè)計了一種基于深度學(xué)習(xí)的毫米波雷達(dá)摔倒檢測系統(tǒng)，能夠?qū)崿F(xiàn)全天時全天候檢測，且保護(hù)用戶的隱私。

1 系統(tǒng)組成

2 系統(tǒng)設(shè)計與實現(xiàn)

系統(tǒng)包括信號采集、訓(xùn)練數(shù)據(jù)生成、智能檢測和顯示與告警四個部分，摔倒檢測系統(tǒng)構(gòu)成如圖1所示。

圖1 摔倒檢測系統(tǒng)構(gòu)成

2.1 信號采集

該文設(shè)計的摔倒檢測系統(tǒng)采用1 642 毫米波雷達(dá)。雷達(dá)天線發(fā)射線性調(diào)頻信號，遇障礙物后發(fā)生散射，雷達(dá)接收機接收散射回波信號。回波接收信號為：

其中，f0為起始頻率；k為線性調(diào)頻率，表示線性調(diào)頻信號頻率隨時間的增長率；T為回波信號相對于發(fā)射信號的時延[6]。

發(fā)射信號與回波信號經(jīng)過混頻器進(jìn)行解線性調(diào)頻處理后，得到基帶信號。基帶信號經(jīng)ADC 采樣后，在快時間維進(jìn)行短時傅里葉變換，即可得到頻率-時間多普勒熱圖。

2.2 數(shù)據(jù)集構(gòu)建

系統(tǒng)采用短時傅里葉變換對回波數(shù)據(jù)進(jìn)行時頻聯(lián)合分析，能夠獲得數(shù)據(jù)的時域和頻域二維信息，提取到更為豐富的數(shù)據(jù)特征。傳統(tǒng)的傅里葉變換可以從時域信號中提取出不同的頻率分量，但只能反映出信號在頻域的特性，無法得知頻率隨時間的變化，提取到的數(shù)據(jù)信息十分有限。

由于卷積神經(jīng)網(wǎng)絡(luò)可以挖掘圖像數(shù)據(jù)更深層次的信息，因此，該系統(tǒng)構(gòu)建時頻圖像數(shù)據(jù)集能夠提高動作的檢測精度。

2.2.1 短時傅里葉變換

雷達(dá)的回波信號采用短時傅里葉變換進(jìn)行分析。信號x(t)的短時傅里葉變換表達(dá)式為：

在實際應(yīng)用中，需要對采樣量化后的數(shù)字信號進(jìn)行處理。因此，將時域和頻域離散化后的短時傅里葉變換表示為：

其中，m、n分別為時間和頻率的采樣點。

目前，基于雷達(dá)的摔倒檢測研究主要是針對單人場景，該系統(tǒng)通過對數(shù)據(jù)進(jìn)行短時傅里葉變換處理，對時頻圖像進(jìn)行分析識別，能夠?qū)崿F(xiàn)對于多人場景下的摔倒檢測，擴展系統(tǒng)適用范圍、增強真實性。系統(tǒng)構(gòu)建數(shù)據(jù)集時包含了一人行走一人摔倒的多人場景，具體時頻圖像如圖2 所示。

圖2 多人場景時頻圖

2.2.2 訓(xùn)練數(shù)據(jù)生成

由于彎腰和下蹲動作與摔倒動作相似，為減少誤判情況，實驗采集摔倒、彎腰、下蹲三種不同動作的時頻圖像各1 000 張。為貼近日常生活中真實的摔倒情況以及摔倒的環(huán)境，實驗采集了前摔、后摔、側(cè)摔、一人行走的同時一人摔倒四種摔倒動作的時頻圖像，如圖3 所示。

圖3 不同動作的時頻圖像

為提高模型的擬合度，該文采用圖像數(shù)據(jù)增強的方法，對已采集到的時頻圖像進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)以及隨機加入少量的椒鹽噪聲、高斯噪聲或隨機噪聲[8]，如圖4 所示。在實際數(shù)據(jù)有限的情況下，數(shù)據(jù)增強能夠有效地增加網(wǎng)絡(luò)的訓(xùn)練集數(shù)據(jù)量，從而使模型整體的泛化能力提高，增強了模型的穩(wěn)定性和魯棒性。

圖4 數(shù)據(jù)增強后的時頻圖像

實驗設(shè)置的數(shù)據(jù)集如表1 所示。

表1 實驗數(shù)據(jù)集

2.3 智能檢測

2.3.1 ResNet101網(wǎng)絡(luò)結(jié)構(gòu)

針對常規(guī)網(wǎng)絡(luò)層數(shù)增加到一定數(shù)目后梯度逐漸消失，檢測精度大幅下降的問題，該文構(gòu)建了ResNet101網(wǎng)絡(luò)。ResNet101 網(wǎng)絡(luò)增加恒等映射層，將所需要學(xué)習(xí)的函數(shù)H(x)轉(zhuǎn)化成F(x)+x，通過學(xué)習(xí)殘差F(x)提高圖像信息的傳播效率，從而實現(xiàn)對模型的優(yōu)化。借助恒等映射層和殘差網(wǎng)絡(luò)結(jié)構(gòu)兩個部分，ResNet101模型能夠?qū)崿F(xiàn)加深網(wǎng)絡(luò)層數(shù)的同時，有效解決常規(guī)網(wǎng)絡(luò)梯度退化的問題，提升模型的檢測精度[9]。

基于ResNet101 網(wǎng)絡(luò)的動作識別模型利用卷積層提取不同動作時頻圖像的特征，經(jīng)全連接層整合后，Softmax 分類器依據(jù)所提取的特征進(jìn)行圖像分類，最終實現(xiàn)摔倒動作的檢測[10]。

基于ResNet101 網(wǎng)絡(luò)的摔倒動作識別原理如圖5所示（選取101 層網(wǎng)絡(luò)架構(gòu)）。

圖5 基于ResNet101網(wǎng)絡(luò)的動作識別模型

2.3.2 時頻圖像特征提取

基于ResNet101 網(wǎng)絡(luò)進(jìn)行卷積操作，公式如下：

利用卷積核能夠提取到更深層次的圖像特征信息，卷積核的不同能夠提取到的時頻圖像特征也不同，因此能更好地反應(yīng)時頻圖像的本質(zhì)，最終達(dá)到動作檢測的目的[11]。

ResNet101 網(wǎng)絡(luò)卷積輸出可視化如圖6 所示[12]。

圖6 部分卷積輸出可視化

2.3.3 Softmax分類器

第i張時頻圖像識別為第m類動作的概率用softmax 函數(shù)表示為：

其中，xi是第i張時頻圖像經(jīng)過ResNet101 網(wǎng)絡(luò)的卷積層后，全連接層輸入到Softmax 分類器的特征向量；yi是網(wǎng)絡(luò)對第i張時頻圖像識別的動作類別；θ是ResNet101 的模型參數(shù)。訓(xùn)練集由k個已有標(biāo)簽的樣本構(gòu)成：{(x1,y1),…,(xk,yk)}；k是需要識別的動作的類別數(shù)。

Softmax 函數(shù)的輸出是一維向量，向量的每個元素代表輸入的圖像對應(yīng)各個類別的概率，其中對應(yīng)概率值最大的類別就是輸入圖像屬于的類別。Softmax 分類器使用交叉熵?fù)p失作為損失函數(shù),計算公式如下：

其中，Li表示單個訓(xùn)練樣本經(jīng)過網(wǎng)絡(luò)的預(yù)測輸出與真實標(biāo)簽之間的差異。輸出為正確類別的概率盡可能增大，才能使損失函數(shù)減小，使網(wǎng)絡(luò)對于動作的識別精度更高，逐步對網(wǎng)絡(luò)進(jìn)行優(yōu)化[13-14]。

2.4 顯示與告警

時頻圖經(jīng)構(gòu)建的ResNet101 網(wǎng)絡(luò)模型檢測后，借助網(wǎng)絡(luò)返回的檢測參數(shù)，系統(tǒng)設(shè)計的tkinter 界面將實時顯示檢測結(jié)果和精度，如圖7 所示。同時，系統(tǒng)對檢測結(jié)果進(jìn)行判斷，若檢測結(jié)果非摔倒動作，則系統(tǒng)繼續(xù)采集數(shù)據(jù)進(jìn)行檢測；若檢測結(jié)果為摔倒動作，則向遠(yuǎn)程接收端發(fā)送報警信息，提醒監(jiān)護(hù)人采取救護(hù)措施。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境

實驗場景的搭建如圖8 所示。

圖8 實驗場景展示

實驗的硬件平臺：CPU：Intel(R)Core(TM)i7-8565 CPU@1.8 GHz，GPU:TITAN V，操作系統(tǒng)：Window10；軟件方面：基于深度學(xué)習(xí)架構(gòu)Pytorch 和Python 開發(fā)環(huán)境Pycharm。

3.2 實驗評價指標(biāo)

該文采用按類別求平均準(zhǔn)確率作為模型的評價指標(biāo)[15]，如式（7）所示：

其中，Pi為第i類動作的檢測準(zhǔn)確率；TPi為第i類動作被模型正確識別的個數(shù)；P+N表示樣本總量。

3.3 實驗結(jié)果分析

該文使用Adam 對模型進(jìn)行優(yōu)化，網(wǎng)絡(luò)模型的訓(xùn)練次數(shù)為200 次。

為了驗證該文方法的有效性，將時頻圖像與基準(zhǔn)數(shù)據(jù)庫進(jìn)行特征度量，對不同動作時頻圖像進(jìn)行識別。記錄模型的預(yù)測結(jié)果與待檢測動作時頻圖像的真實動作類別，得到混淆矩陣如圖9 所示[16]。

圖9 混淆矩陣

由模型識別的混淆矩陣可知，不同動作時頻圖像的識別效果有所差異。如表2 所示，該文提出的方法平均準(zhǔn)確率達(dá)到了94.3%。

表2 不同動作時頻圖像的識別結(jié)果

4 結(jié)論

針對現(xiàn)有摔倒檢測系統(tǒng)環(huán)境依賴性強和泄露個人隱私的問題，該文設(shè)計了一種基于深度學(xué)習(xí)的毫米波雷達(dá)人體摔倒檢測系統(tǒng)，在實現(xiàn)全天時全天候摔倒檢測的同時，能夠避免對檢測環(huán)境進(jìn)行錄像，有效地保護(hù)了被監(jiān)護(hù)人的隱私。實驗結(jié)果表明，該文方法檢測準(zhǔn)確率可達(dá)到94.3%。

但是，該系統(tǒng)所用毫米波雷達(dá)功率較小，無法穿透較厚的障礙物進(jìn)行檢測。因此，針對穿墻后信號微弱的問題，如何提高信噪比是下一步研究的主要方向。此外，為了提高系統(tǒng)的穩(wěn)定性，該系統(tǒng)將在智能檢測過程中增加閾值判斷，使系統(tǒng)的數(shù)據(jù)集動態(tài)可變，具有拓展性，能夠根據(jù)實際情況改進(jìn)數(shù)據(jù)集。這是系統(tǒng)將要進(jìn)一步完善的地方。