基于卷積神經網絡的雷達人體動作識別方法

蔣留兵 魏光萌 車 俐

1(桂林電子科技大學廣西無線寬帶通信與信號處理重點實驗室 廣西 桂林 541004)2(桂林電子科技大學計算機與信息安全學院 廣西 桂林 541004)

0 引 言

檢測和識別人體動作對于安全監控、人機交互、輔助駕駛和人體健康監測等方面有著重要的意義[1]。目前的研究多是基于攝像頭來進行識別[2-4]，攝像頭對于光照和視距等環境要求很高，且存在侵犯隱私的隱患。因此，有學者嘗試用其他傳感器[5-6]代替攝像頭來感知動作。其中雷達[7-8]具有較好的前景，雷達對光線、視距等環境要求極低，甚至可以忽略靜態障礙物實現穿墻識別[9]，并且已有較成熟的應用[10]。

對人體動作的雷達回波進行特征選擇和提取是識別的關鍵，根據雷達的微多普勒效應，當人體相對于雷達天線產生運動時，從回波信號中可以得到相應的微多普勒特征[11-12]。文獻[13-15]通過提取微多普勒特征，采用不同的識別方法對多個人體動作進行識別，達到較高的準確率。文獻[16]中通過融合距離-微多普勒二維特征，對四種手勢動作實現了有效識別。但大多數基于多普勒雷達的研究沒有充分地利用時間維的連續性特征。根據人體動作的特性，每個動作在持續的時間內是有時間相關性的，這種特性應該在識別中被考慮。超寬帶雷達帶寬比較大，距離分辨力較好，可以分辨人體的多個散射點，并返回各個散射點的距離特征。高距離分辨率的特點和良好的目標識別能力，使其很適合用來感知人體動作[17-18]。

近年來，機器學習和深度學習[19]算法給雷達動作識別的性能帶來很大提升。文獻[20]提取手勢的微多普勒特征，采用深度卷積神經網絡(DCNN)進行識別，對7種手勢達到了93.1%的識別準確率。文獻[21]中提出了一種利用三層深度卷積編碼器來對12種人體動作進行識別的方法，相對于SVM(支持向量機)提高了17.3%的識別率。文獻[22]中提出了一種基于3D-CNN的手勢識別系統。但深度學習算法對于數據量的需求較大，易發生過擬合現象，導致識別效果不好。在雷達識別系統中，數據的采集和處理較繁瑣，沒有公開的數據集來訓練模型，所以如何在較少數據量的基礎上達到較高的識別準確率，也是當前的研究熱點。

基于上述分析，本文提出了一種基于卷積神經網絡的雷達人體動作識別方法，利用無載波超寬帶雷達搭建實驗系統，提取人體多個散射中心的距離信息和時間連續性特征，生成時間-距離二維特征圖；再采用一種改進的卷積神經網絡進行特征提取和識別。本文算法對8種典型動作進行識別，達到較高的識別準確率，具有可行性和應用價值。

1 回波信號預處理

1.1 無載波超寬帶雷達回波信號模型

超寬帶雷達[22](Ultra-Wide-Band，UWB)也被稱為脈沖雷達，在精確定位、目標識別等研究中得到廣泛應用。超寬帶是指這種雷達的一個主要技術特點——占用帶寬非常大。超寬帶雷達一般不使用載波，而是使用時域脈沖來傳輸信息。最常用的發射信號是窄脈沖形式的無載波信號，雖然這種信號受限于平均功率，所以限制了雷達的作用距離，但是很適用于目標特性研究。本文采用這種信號來感知并分析人體動作，理論研究中常采用高斯信號來表示窄脈沖形式無載波信號：

s(t)=Aexp[-a2(t-tm)2]

(1)

雷達信號的固有的距離分辨率的公式為C/(2B)，其中,C為光速，B為信號帶寬，距離分辨率取決于信號帶寬，所以超寬帶雷達的距離分辨率較高。本文充分利用超寬帶雷達的這種特性，研究人體目標的多散射中心，對回波采用理想的多散射中心點模型，雷達回波中包括多個散射點的距離信息。回波模型為：

(2)

式中：h(t)表示接收的回波信號；M表示散射中心點的個數；Ai表示每個散射中心點的強度(幅度)；τi表示時間延遲。脈沖響應用Dirac-delta函數來描述，其表達式為：

(3)

本文中使用的超寬帶雷達實驗平臺為美國GSSI公司研發的SIR-20高性能探地雷達，是GPR系列中最新的產品。SIR-20系統預裝了信號采集軟件，由一臺筆記本電腦控制。本文實驗時的雷達參數如下：雷達天線中心頻率為400 MHz，帶寬為800 MHz，分辨率為5 ps，天線增益為約3 dBI，掃描速率設置為每秒100次，每次掃描采樣點設置為512個。測試的數據可以保存在PC機上，圖1為SIR-20雷達設備實物。

圖1 SIR-20探地雷達

在實測過程中，雷達天線距離地面1 m，人體目標與雷達天線的距離為3.5 m，測試者身高為175 cm，采集8種動作數據，表1為動作描述，每種動作重復50次。圖2為本文實驗采集的原始回波數據示意圖。

表1 8種人體動作

續表1

圖2 原始雷達回波

1.2 回波信號特征處理

超寬帶雷達的人體動作原始回波信號中包括了人體多個散射中心點的距離信息，可以作為區別每個動作的依據，但是部分不同動作的距離信息相似度較大，單獨的距離信息不足以對所有動作進行準確的分類，所以必須研究并提取新的動作特征。

為了避免單一距離特征的不足，本文采取將距離信息與時間維特征融合的方法，即提取距離信息隨時間變化的特征信息。特征提取和數據處理步驟為：

第一步將回波中同一時刻的散射點距離信息轉為序列信息，單一時刻序列反映多個散射點的距離信息；

第二步將距離信息序列在時間軸上排列，得到所有散射點距離信息序列隨時間變化的二維特征；

第三步對二維特征數據進行歸一化處理，消除幅度敏感性；

第四步將所有的動作特征數據統一為128×128大小的矩陣，經過處理的人體動作回波數據如圖3所示。

(a) 向前走 (b) 向前摔倒

(c) 向后摔倒 (d) 原地摔倒

(e) 跳躍 (f) 原地坐下

(g) 原地旋轉 (h) 靜止站立圖3 處理后的人體動作回波數據

因為在特征提取中考慮到時間維特征，所以處理后的數據不僅能夠表現出人體所有散射中心的距離信息，并且可以體現出動作過程中的散射中心距離隨時間變化的規律。從圖3中可以看出，不同動作之間表現出了較明顯的差異，顯著增強了動作之間的可分性，為下一步的識別提供了基礎。

2 基于卷積神經網絡的識別算法

通過對回波處理我們得到了人體動作的二維特征信息，接下來需要進一步提取深度特征以及識別。深度學習算法在學習目標特征和識別上具有很大優勢，近幾年被廣泛應用在各個領域中，尤其是CNN在圖像處理和識別領域表現出色。它可以通過獨特的卷積計算和多層的網絡結構提取目標的多層特征，并根據這些特征參數進行識別。與傳統的特征提取方法相比，不但不需要人工去提取特征，省去了很多工作量，而且在識別率上也有較大的提升[19-20]。

卷積神經網絡是神經網絡的一種，因為在網絡的內部采用了卷積計算而稱為卷積神經網絡。最簡單的單層卷積神經網絡一般包括卷積層、激活層和池化層。卷積層的作用是提取特征，通過預先設定的卷積核對輸入的數據進行特征映射。第一個卷積層的輸入為原始矩陣，后面的卷積層的輸入為上一層的特征圖，每個卷積核與輸入進行卷積都會產生一個特征圖。每層中輸入都會與卷積核進行卷積計算，卷積核在輸入矩陣上按照預設的步長滑動，滑動一次則進行一次卷積。假設輸入的二維數據矩陣為A(m,n)，卷積核為K(i,j)，步長為1，那么這個卷積層的輸出S為：

(4)

圖4演示了矩陣上的卷積運算原理。

圖4 卷積運算示意圖

本文中采用深度卷積神經網絡來對人體動作進行特征提取和識別，并且針對雷達回波信號處理生成的二維特征圖，設計了一種改進的CNN網絡模型。通過在網絡中采用Drop-out層、添加L2正則化項、LRN(局部響應歸一化)層等方法來避免過擬合和提高識別性能，使模型在數量較小的雷達數據集能夠充分學習特征，達到不錯的識別率。圖5為本文所用CNN網絡示意圖。

圖5 CNN網絡示意圖

網絡大致上可以分為5個隱層結構，前4層是卷積層，包含卷積計算，并且在前兩個隱層中加入LRN層，最后一個卷積層的輸出通過全連接層，再通過Drop-out層來調整，最后通過全連接層連接到輸出層，輸出識別的類別。網絡內部采用ReLU(修正線性單元)作為神經元的激活函數，輸出層采用Softmax函數來得到最后的輸出類別。

過擬合是指模型在訓練集上準確率較高，但是在測試集上預測準確率較低，代表模型的“學習能力”太強，導致學習到了很多不重要的特征。在樣本較少而網絡內部參數較多時，容易產生過擬合現象，降低識別率。一般防止過擬合的思想是對模型的權重參數進行“懲罰”，或者對參數的數量進行嚴格的控制，這樣的話這些參數的大小和數量就不會太大，越小或越少的參數代表模型越簡單，相對于復雜的模型，簡單的模型不易產生過擬合現象。為了抑制過擬合問題，本文采取以下幾種方法來對卷積神經網絡進行改進：

(1) 加入Dropout層。在神經網絡的訓練過程中，將網絡單元的權重參數按照一定的概率將其暫時從網絡中丟棄，即每個批次的訓練過程中，都隨機忽略一定的隱層節點參數。這樣每次訓練的網絡是不一樣的，通過訓練大量不同的網絡采用模型平均作為輸出，可以平均識別的準確率。另外由于隨機的忽略掉了一些參數，避免了某些特征只在固定的組合下才產生作用，可以讓網絡去學習數據集的共性而不是某些樣本的一些特性，Dropout是CNN中防止過擬合現象提高準確率的一個較好的方法。

(2) 在損失函數后加上正則化項。損失函數是指訓練過程中預測值與實際值的誤差，神經網絡迭代過程中通過計算梯度來使損失函數盡可能減小，當損失函數收斂時，表示模型已經在訓練集上已經完成擬合。在深度神經網絡的擬合過程中通常傾向于盡可能地減小權值，最后構造出一個所有參數都比較小的模型。因為參數值小的模型能適應不同的數據集，也在一定程度上避免了過擬合現象。若網絡中的參數值很大，那么只要數據偏移一點點，就會對預測結果造成很大的影響，但如果參數值足夠小，數據偏移對預測結果造成的影響較小。所以在損失函數后加入L2正則化項，假設參數為θ,hθ是目標函數(即預測值)，hθ(x)即為輸出值，未添加L2正則化項的損失函數J(θ)如下：

(5)

按照梯度下降法來迭代，學習率設為α，則參數θ的更新規律為：

(6)

如果在損失函數J(θ)之后加上L2正則化項：

(7)

式中：λ為正則化參數。那么θj的更新公式如下：

(8)

從式(8)可以看出，添加L2正則化項的參數每次迭代更新時，θj都要先乘上一個(0,1)區間的因子，所以θj不斷減小，相對于未添加正則化項的迭代公式來說，參數θj更小。

(3) 加入局部響應歸一化層(Local Response Normalization,LRN)。LRN借鑒了生物神經系統中的側抑制概念(指被激活的神經元抑制相鄰的神經元)，對神經網絡的局部神經元建立競爭機制，使得其中響應比較大的權值參數變得相對更大，并抑制其他反饋較小的神經元參數。這樣可以使模型更關注那些對預測結果影響較大的特征，而忽略影響較小的特征，增強了模型的泛化能力，提高識別率。具體計算公式如下：

(9)

3 實 驗

3.1 實驗驗證

基于上述方法，搭建基于卷積神經網絡的UWB人體動作識別系統，識別流程如圖6所示，主要分為數據采集、數據處理和識別算法三個關鍵部分。通過雷達設備采集人體動作的回波，對回波信號進行預處理和特征提取，生成動作數據集。將數據集分為訓練集和測試集，訓練集用來訓練卷積神經網絡，學習人體動作特征，訓練完成后使用測試集來測試性能，得到識別結果，并通過分析測試結果來調整卷積神經網絡內部參數，以期達到更高的性能。識別算法驗證環境采用Python 3.6編程語言和Google研發的TensorFlow深度學習框架。

圖6 基于CNN的人體動作識別系統流程圖

將實測的原始數據集按照3∶1的比例分為訓練集和測試集，在單次實驗中，訓練集和測試集相互獨立。為了減少因數據集劃分產生的誤差，保證實驗結果的有效性，重復進行了5次訓練和驗證，每次實驗都重新劃分訓練集和測試集。損失函數用來衡量網絡模型收斂情況，本文中的損失函數使用交叉熵，當損失函數穩定在一個極小值附近，不再發生較大變化時，認為CNN模型已收斂，學習過程結束，訓練完成。圖7表示單次訓練中損失函數(訓練集誤差)隨迭代次數的變化，可以看出，經過多次訓練，最后損失函數穩定在0.006左右，說明網絡模型在訓練集上經過訓練已經收斂，達到穩定狀態。

圖7 損失函數變化情況

另外，在訓練過程中從訓練集中取出一部分數據作為驗證集來實時檢驗模型在訓練過程中的擬合情況，圖8表示驗證集的分類準確率隨迭代次數變化的趨勢，可以看出，最后在驗證集上達到了超過99.9%的準確率。

圖8 驗證集準確率變化情況

在訓練集上完成所有訓練后，使用測試集來測試模型的識別性能，分別測試5次訓練產生的模型，準確率如表2所示，得到平均正確識別率為99.2%。可以看出，本文方法識別準確率非常高，進而驗證了本文方法的有效性。

表2 卷積神經網絡識別結果

3.2 算法對比

為了更好地驗證本文方法的識別性能，將在本文的實測數據集上與文獻[8，18]中的特征提取和識別算法進行對比，對處理過的回波信號特征矩陣采用主成分分析(PCA)方法提取主成分特征，再通過支持向量機(SVM)分類器進行分類識別。

首先用PCA對雷達回波特征矩陣進行降維，得到數個特征向量。對任意一個動作樣本，將樣本數據向特征向量投影，得到的投影系數作為動作的特征表示，最后使用SVM分類器對這些不同的投影系數向量分類，來進行動作識別。PCA會根據各個主成分特征對應的方差進行排序，方差較大的特征對于樣本數據的貢獻率較大。圖9顯示了對雷達回波特征圖使用PCA方法后提取的多個主成分特征，為了選擇貢獻率較大的前n個主成分。圖10顯示了前50個主成分特征所對應的方差。

圖9 主成分特征

圖10 主成分排序圖

由圖10可以看出，越往前的特征的貢獻率較大，而越往后的特征貢獻率越小，通過多次實驗對比，發現采用前15個主成分特征作為分類特征時效果較好。將數據集按照3∶1的比例分為訓練集和測試集，得到數據集的投影系數，利用訓練集的投影系數訓練出SVM分類器，再用測試集來進行識別，驗證性能。本文的SVM分類器中核函數采用性能較好的高斯核，分類器中的懲罰因子C和gamma參數值采用網格搜索的方式選擇最優值。

實驗結果如表3所示，經過多次實驗，PCA+SVM的特征提取和識別算法平均識別準確率為93%，將不同動作分別分析，發現該識別算法雖然對于部分動作達到了接近100%的準確率，但對向前摔倒、向后摔倒，原地摔倒等區分度較小的動作識別率較低，無法提取不同動作中的細微差異，直接導致總體識別率不高。

表3 PCA+SVM實驗結果

在相同數據集的基礎上，對比本文與文獻[7-8，18]之間的識別算法和性能差異，結果如表4所示。

表4 實驗結果對比

通過對比實驗結果可知，相對于文獻[7]來說，本文采用的優化的DCNN算法識別性能更好，提取的雷達回波中的人體動作特征更準確；相對于采用文獻[8，18]中的特征提取和識別方法來處理本文的實測數據集來說，本文采用算法效果更好，并且對于區分度較低的相似動作也能準確識別。

3.3 綜合分析

與文獻中已有的利用雷達來識別人體動作的方法進行綜合對比，從特征選取和識別方法兩個角度來分析，表5列出了多個參考文獻中的人體動作識別系統。

表5 基于雷達的動作識別方法對比

圖11為上述方法的識別準確率對比，可以看出，本文所提出的基于超寬帶雷達的人體動作識別方法性能較好。從特征選取角度分析，采用時間-距離特征作為識別依據的方法均可以達到90%以上的識別準確率，證明了本文特征選取的合理性。此外，在本文所用的特征數據集上，基于深度卷積神經網絡的識別效果優于文獻[7]以及3.2節中的對比實驗。

圖11 識別準確率對比

經過算法對比和綜合分析可知，本文方法具有較高的識別性能，可以實現準確的人體動作識別。此外，由于本文所用的人體動作數據集規模較小，在實際應用中，為了加強模型的泛化性和實用性，可適當增大數據集的范圍，或者采用多個不同人體目標的動作作為訓練集。

4 結 語

本文通過研究動態人體目標散射點特征，結合超寬帶雷達的特性，提出了一種基于卷積神經網絡的雷達人體動作識別方法。采用超寬帶雷達感知人體動作，提取出人體動作的雷達回波中的時間—距離特征，生成二維特征圖像矩陣，再將特征矩陣輸入到卷積神經網絡模型中進行訓練和識別。實驗證明該方法在實測的8種真實動作數據上達到了99.2%的識別準確率，系統可以對人體動作進行準確識別，驗證了本文方法的可行性和有效性。與傳統方法相比，本文方法不但提高了總體識別準確率，而且提高了對多種相似動作的識別準確率，識別性能更好。