基于MFCC特征的Wi-Fi信道狀態信息人體行為識別方法

蒙倩霞 余 江 常 俊 浦 鈺

(云南大學信息學院 云南 昆明 650500)

0 引 言

基于攝像機的行為識別方法無法監測光線盲區且隱私無法得到保障；基于雷達的部署成本過于昂貴，不適用于普通家庭；基于傳感器的方法傳感器一般佩戴于腰上，對于特殊人群來說，發生意外的時候無疑會增加危險指數。基于Wi-Fi信道狀態信息(CSI)的活動識別系統克服了以上方法的缺陷，為活動識別提供了一種新的保密隱私、價格實惠且無須攜帶設備的方法。Wi-Fi信號易受到人體行為的影響，不同動作速度的快慢、維持的時間、身體的擺動幅度都會對CSI的變化造成不同的影響。因此可以根據CSI的變化去判別相應的行為。

Wi-Fall[1]跌倒檢測系統分析出不同行為CSI幅值變化情況，平均實驗精度為87%，但忽略了相位帶來的影響。Emosens系統[2]從CSI識別用戶的情緒狀態，同樣使用的是幅值特征。文獻[3]提出了一種吸煙檢測系統，用于室內環境吸煙行為檢測，單個人的吸煙檢測正確率為97.6%，但是多人條件下，性能急劇下降。文獻[4]采用RNN網絡可以有效識別其動作，穿墻識別精度高達95%以上。利用機器學習的方法雖然可以自動提取特征，識別精度也甚好，但是計算的復雜度很高，需要大量的數據訓練且提取特征的合理性也難以解釋。在最新的研究成果中，文獻[5]提出了一種穿墻識別的結構，但僅限理論分析。文獻[6]提出的TS-see系統同樣也實現了穿墻識別。文獻[7]提出在多人場景中無設備位置行為特征轉換的問題，場景復雜化和多人適應性將是今后研究的重點之一。文獻[8]利用CSI來識別駕駛員的注意力狀態，獲得了較好的識別性能。文獻[9]利用多通道CSI測量數據轉化二維圖像，并使用深度學習進行訓練和分類，這是基于觀察而得到的方法。

本文利用CSI信號和聲音信號傳播相似性和兩者共享帶寬頻譜的性質，把CSI信號當作語音流來處理，在CSI數據中提取了MFCC特征向量的統計特征以及提取了對數頻譜能量特征，然后用蟻群和粒子群混合優化SVM(Ant Colony and Particle Swarm Optimization SVM，ACO+POS-SVM)[10]算法進行分類識別。實驗結果表明，此方法在會議室場景的視距和非視距情況下都可以獲得較好的識別結果。

1 基于CSI識別基本原理

1.1 Wi-Fi信號傳播模型

由于Wi-Fi信號以多路徑方式傳播，環境中的物體會反射無線信號，那么一個發送信號x(t)就會通過多條路徑到達接收器。假設x(t)通過N條不同的路徑到達接收器，那么接收到的信號y(t)如式(1)所示。

(1)

式中：ak(t)是t時刻第k條路徑的幅值大小；e-j2πfτk(t)是第k條路徑上的相移；τk(t)為其傳播延遲；e-j2πΔft是發送器和接收器之間的載波頻率差Δf引起的相移。如圖1所示。

圖1 行為引起的多徑變化

當人在t到t+Δt的時間內在發射機和接收機的視距之間活動時，第k條路徑上的信號由dk(t)變化到dk(t+Δt),此時接收端產生傳播延遲相移τk(t)=dk(t+Δt)/c，則根據λ=c/f可以得到該條路徑上的相移為e-j2πdk(t+Δt)/λ，其中：λ為波長；c為光速。這說明路徑的變化會導致相應路徑上Wi-Fi信號的幅度和相位的變化。

1.2 CSI數據模型

無線通信鏈路信道的特性通常是用信道信息狀態來衡量，根據時域卷積性質，可以把式(1)表示為：

(2)

由式(1)和式(2)可得信道沖擊響應(Channel Impulse Response，CIR)[11]為：

(3)

在IEEE 802.11n標準中，利用正交頻分復用技術可以從物理層解析得到CSI數據。根據時頻域的轉換性質，可得到頻域的信道信息響應H(f,t)為：

(4)

式中：ak(f,t)是t時刻第k條路徑的衰減和初始相位偏移的復數值表示。

在MIMO系統中，設NTX為發射端的天線數量，NRX為接收端的天線數量。對于每個采樣時刻t，CFR值構成NTX×NRX×i維的一個矩陣，其中i為Wi-Fi的子載波數。所以，在一段時間內，CSI由NTX×NRX×i維CFR值構成。H(f,t)也可以表示為：

(5)

1.3 MFCC特征向量

MFCC向量是基于人耳對聲音的頻率感知的能力，其對應的梅爾頻率與赫茲頻率成非線性關系，頻率與梅爾頻率之間轉換公式如式(6)所示[12]。

(6)

MFCC向量[13]提取過程中首先要對預處理過的信號進行分幀和加窗處理，常用的有漢明窗口如式(7)所示。

w(n)=0.54-0.46cos(2nπ/N-1)

(7)

式中：n是窗口的長度；w是窗口值。

然后，將各幀信號h(n)求快速傅里葉變換(FFT)得到各幀的頻譜H(k)：

H(k)=FFT[h(n)]

(8)

(9)

式中：N是FFT的點數；m為濾波器的中心頻率。Hm(k)是三角形重疊的窗口，其描述方程為：

(10)

在估計了加權頻率系數之后，將梅爾頻譜S(m)進行離散余弦變換(DCT),得到MFCC系數cg：

(11)

式中：cg為第g個MFCC序列，M為濾波器的個數。因為人體日常行為引起的CSI信號主要集中在低頻階段，因此在本文中提取了前12個序列。

2 系統設計

本文首先利用巴特沃斯濾波器去除了原始信號中的高頻信號，然后再用PCA對信號進行處理，結果為一維時間序列。將預處理過的CSI數據當作時間流來提取MFCC系數特征，為了提升識別的精度，本文把統計特征(MFCC的均值、平均標準差和平均變化率)作為分類特征量。此外，CSI數據中的相位信息攜帶的信息是不可忽視的，為了充分利用相位信息，在特征向量中還增加了無偏移信號的對數能量，這個無偏移信號是經過相位校準之后得到的信號，最后進行數據匹配和行為判別，總體流程如圖2所示。

圖2 總體流程

2.1 數據預處理

2.1.1濾波和PCA處理

在數據預處理階段，本文使用巴特沃斯濾波器和PCA聯合的方式對數據進行預處理，由于多徑效應、設備和干擾等多種噪聲的存在，原始采集的CSI信號毛刺較重，十分不平滑；另外，人的活動屬于低頻活動，需要把由于環境和設備而帶入的高頻濾除。經過巴特沃斯濾波器處理后的數據如圖3所示。

圖3 濾波前后結果對比

在t到t+Δt的時間內，當信號的傳播路徑由dk(t)變化到dk(t+Δt)時，假設變化的路徑為Δk(t)，那么Δk(t)=dk(t+Δt)-dk(t)，即dk(t+Δt)=dk(t)+Δk(t)，其中dk(t)是路徑的初始長度，設φk=e-j2πΔft為子載波的初始相位，那么在t+Δt時刻副載波n的相位如式(12)所示。

cos(2πdk(t+Δt)/λn+φk)=

cos(2πdk(t)/λn+2πΔk(t)/λn+φk)=

cos(2πdk(t)/λn+φk)cos(2πΔk(t)/λn)-

sin(2πdk(t)/λn+φk)sin(2πΔk(t)/λn)

(12)

考慮到Wi-Fi信道中子載波的波長之間的差異很小,即兩個不同子載波的波長存在λ1≈λ2的關系，且Δk(t)很小，則可以得到以下兩式：

cos(2πΔk(t)/λ1)≈cos(2πΔk(t)/λ2)

(13)

sin(2πΔk(t)/λ1)≈sin(2πΔk(t)/λ2)

(14)

但是，式(3)中的兩個子載波的常數項是不相等的，因為初始路徑長度dk(t)遠大于Δk(t)，因此，即使波長略有不同，兩個子載波之間的初始相位差不可忽略。因此對于不同的副載波，CSI是具有不同初始相位的同一組時變波形的線性組合，因此，同一根天線上的CSI是相關的。圖4(a)表示的是走動動作發生時一路天線上30個子載波的變化情況，可以直觀地看出不同子載波的數據相關性大、冗余度很高。基于CSI流的相關性，本文采用了PCA對信號進行處理。由上文可知，在采集的CSI原始數據中，無論是靜止環境還是有行為發生子載波之間都呈現出高度的相關性。但是從采集的角度來說，行為發生的時間只占據了整個采集過程的少部分而靜態環境占據絕大部分。在主成分分析時，靜態環境的信號與人體行為信號會一起在第一主成分中被捕獲。然而，根據式(12)，可得知子載波的相位是兩個正交分量的線性組合。根據PCA處理的正交性，可知在第一主成分中捕獲的人體行為信號的所有信息也被捕獲在其他主分量中，但是第一主成分中最多的是靜態環境引起的噪聲，因此，丟棄第一主成分可以消除靜態噪聲且人體行為信息又得到保留。本文方法中丟棄了第一主成分，并計算后五個主成分的平均值。經過PCA處理以后的走動動作的信號如圖4(b)所示。

(a) 走動動作30個子載波 (b) 走動動作PCA處理結果圖4 PCA處理結果對比

2.1.2相位校準

CSI的大量信息存在相位中，相位是不可忽視的一個方面。為了充分利用相位信息，在特征向量中還增加了無偏移信號的對數頻譜能量特征，這個無偏移信號是經過相位校準之后得到的信號。子載波在不同的時刻的原始相位無規律可循，也無法使用。由式(3)可知，相位的偏差既有來自于設備自身誤差也有來自于人體行為的變化引起的影響。如果將信號傳播的路徑分為靜態和動態的話，在t到t+Δt的時間內，當信號的傳播路徑由dk(t)變化到dk(t+Δt)時，式(5)就可以表示為：

(15)

式中：Hs(f)表示靜態路徑的CSI。本文采用共軛乘法來消除時變隨機相位偏移，跌倒動作校準前后的相位如圖5所示。

圖5 跌倒動作相位校準

2.2 特征提取及行為識別

2.2.1MFCC特征向量提取

嘗試在CSI信號中提取MFCC特征的原因有以下四點：(1) 帶寬的相關性。在文獻[14]對CARM數據集的每個日常活動的CSI信號平均占用的帶寬進行了分析；其中包括了跌倒、深蹲和行走等動作，從統計數據中可以得出所用數據集的所有活動的帶寬都在5 kHz以內，這和語音信號的帶寬和能量分布極為相似。可以說由于活動影響CSI信號變化所占用的帶寬是人類聽力頻譜的范圍，大約為2～20 kHz，這為本文提取CSI數據的MFCC向量奠定了基礎。(2) 信號的相似性。MFCC向量特征是識別語音信號的一個重要的特征，語音信號能量集中于低頻段且變化迅速，從而使用密集的梅爾濾波器組放大這種特性。對于CSI信號而言，同樣具備這樣的性質。例如，當跌倒動作發生時，速度極快，CSI信號的變化也非常迅速。(3) 傳播的相似性，語音和Wi-Fi信號分別是聲波和電磁波，它們根據波動方程在測量環境中傳播。它們遵循來自墻壁和其他障礙物的反射、折射和衍射的相同定律到達了它們的接收器，并由于類似的物理機制而變形。無論是聲波和電磁波，都能產生時空共振現象。(4) 在文獻[15]中已經證實OFDM信號的梅爾頻率倒譜既保留了信號的基本特征，也移除了信號的冗余信息，相對原始接收信號的抗噪能力更加魯棒[16]。相關研究表明，基于MFCC特征的方法能夠有效實現多徑信道下OFDM信號子載波多種調制方式的識別，且識別性能優于傳統方法。

基于聲音信號和CSI信號的這些共同特征，本文在CSI時間序列分類中提取MFCC向量特征，不同行為的對數MFCC向量如圖6所示。

(a) 跌倒動作MFCC向量 (b) 深蹲動作MFCC向量

(c) 跳躍動作MFCC向量 (d) 走動動作MFCC向量圖6 MFCC向量特征

不同行為CSI信號的MFCC向量互不相同，因此可以將CSI信號的MFCC向量作為識別不同行為特征參量。為了提高分類的準確性，本文提出使用MFCC向量的統計特征作為分類標準，分別是MFCC向量的均值、標準差和平均變化率作為分類特征量。根據1.3節中對MFCC向量的定義，MFCC向量的均值定義為：

(16)

式中：G是MFCC向量的個數。

平均標準差定義為：

(17)

式中：I表示幀數。

平均變化率定義為:

(18)

2.2.2對數頻譜能量

(19)

(20)

式中：H(f,t)表示經相位校準之后的CSI。

2.2.3識別方法

本文根據ACO和PSO優勢互補特性，對原始SVM算法的懲罰參數和核函數參數進行優化[10]，具體流程如圖7所示。在實驗中，ACO參數設置為：ρ=0.65，Q=70，c1=c2=1.5，種群規模為30，迭代次數為45。PSO參數設置為：c1=c2=1.5，種群規模為28，進化次數為270。

圖7 算法流程

3 實驗與結果分析

3.1 實驗部署

實驗的收發裝置為兩臺配有Intel 5300網卡的主機，其中發射天線網卡上配有1根全向天線，接收天線網卡上均配有3根全向天線，為了得到穩定且采樣率較高的CSI數據，采用Linux 802.11n CSI tool Monitor模式對網卡固件進行修改，帶寬為40 MHz，中心頻率為5 755 MHz。

實驗的場景設置在環境較為復雜空間的會議室，平面圖如圖8所示。把收發裝置放于50 cm高的桌子的對角，收發裝置之間的距離始終保持4.5 m，本實驗中邀請了3名志愿者，在收發裝置的視距(圖8中位置1)和非視距(圖8中位置2和位置3)位置分別進行坐站、走動、跳躍、深蹲和跌倒五個動作，每名志愿者在每個位置重復每個動作30次，每次采集時間為30 s，第15 s的時候開始做動作，第30 s時候停止，重復此過程，接著采集下一個，總共采集1 350個樣本。其中：1 000個樣本用來訓練；350個樣本用來測試。

圖8 實驗場景

3.2 實驗結果分析

3.2.1分類算法的性能分析

表1表示的是用SVM和ACO+POS-SVM[10]對志愿者的五種行為(坐站、走動、跳躍、深蹲和跌倒)進行上述特征識別的結果。結果表明，使用ACO+POS-SVM比SVM平均精度分別提高了5.1百分點、4.8百分點、5.3百分點、4.5百分點和5.1百分點。整體而言，使用ACO+POS-SVM比SVM總平均精度提高了4.8百分點，這說明使用ACO+POS-SVM算法優于傳統的SVM算法。用ACO+POS-SVM識別效果最好為跌倒行為平均達到了93.4%，這是因為跌倒行為與其他行為相比，下降趨勢更明顯、速度更快、能量高度集中，所提取的MFCC向量也更容易識別。而跳躍和深蹲兩個動作識別率比較低，分別是85.5%和86.3%，由于跳躍和深蹲兩個動作都是相似的運動，跳躍動作自下而上，深蹲動作自上而下，而且維持的時間相似以及速度相當，故系統會出現誤報情況。

表1 算法對比(%)

3.2.2視距和非視距位置的性能分析

圖9表示的是基于本文方法對會議室場景不同位置的五種行為的識別結果，其中，在視距條件下(位置1)，坐站、走動、跳躍、深蹲和跌倒平均識別結果分別為90.2%、93.9%、87.2%、88.4%和95.4%，在非視距(位置2和位置3)的行為識別結果會有所下降，但是走動和跌倒的識別結果都在90%以上。走動行為在五個行為里持續時間最長，跌倒行為速度最大，也使得這兩個行為的識別結果較好。在視距情況下，只有一條直射路徑，使得能量高度集中，相比于非視距情況而言，會有更加好的識別效果。在非視距狀態下，實驗采集了距發射機不同距離的兩個位置，位置2和位置3的平均識別結果分別為88.3%和88%，實驗結果表明，非常相似的行為坐站、跳躍和深蹲三個動作的識別結果都在88%以上，且在位置2和位置3的識別結果無明顯差距。在實驗中，位置2和位置3距離收發機的距離是有區別的，這也說明本文的識別方法在靜態多徑沒有變化的情況下，如果僅僅由于位置發生了變化，識別效果不會下降太多，且在非視距的位置識別結果具有相似性。同時也說明了本文的識別方法對活動的人體行為識別具有一定的魯棒性，對于實際情況而言，相比于其他只有視距情況的方法更具有實用性。

圖9 位置識別結果對比

3.2.3特征對性能的影響

不同行為CSI信號的MFCC向量互不相同，因此可以將CSI信號的MFCC向量作為識別不同行為特征參量。為了提高分類的準確性，本文提出了使用MFCC向量的統計特征作為分類標準，分別是MFCC向量的均值、標準差和平均變化率作為分類特征量。圖10為單用MFCC向量識別和用統計特征識別的結果。結果表明，用統計特征識別準確率分別提高3.8百分點、4.4百分點、4.8百分點、5.2百分點和4.7百分點。其中跳躍和深蹲動作提高明顯，這說明了本文提出的基于MFCC向量的統計值比單獨用MFCC向量識別具有一定的優越性。

圖10 統計特征對性能的影響

除了MFCC向量特征外，本文還額外增加了一個無偏移信號的對數頻譜能量作為特征，圖11表示的是此對數能量對整個識別結果的影響。對于總體數據而言，有對數能量的平均識別結果為89.1%，反之，識別結果僅為81.6%。增加了額外對數頻譜能量特征，對于比較相似動作的區分是非常有用的。如圖11所示，跳躍和深蹲動作的識別分別提升了7.4百分點和6.1百分點，這與2.2.2節的理論相符。跌倒動作在視距和非視距情況下平均識別效果可達93.4%。可見，增加無偏移信號的對數頻譜能量特征給整體識別結果帶來了提升，使系統更容易區分速度相似的動作。

圖11 有無對數能量性能對比

本文還將實驗結果與時頻特征和小波特征相進行了對比，如表2所示。結果表明，在預處理相同的前提下，本文方法均優于時頻特征和小波特征識別結果。

表2 方法對比(%)

4 結 語

本文參考了日常行為的CSI信號與語音信號傳播的相似性以及共享帶寬的性質，利用梅爾濾波器組能使低頻率范圍(0～10 kHz)的能量集中更加明顯的特性，提出在CSI信號中提取MFCC向量統計特征作為識別日常人體行為識別方法。本文首先對數據做了濾波處理，論證了CSI信號流之間的相關性并用PCA對其處理，相位校準處理；然后在CSI中提取了MFCC向量統計特征和無相位偏移信號的對數頻譜能量作為分類特征；最后用ACO+POS-SVM算法對在復雜場景下的視距和非視距情況的數據進行了識別，此方法對日常幾個活動的分類達到了較好的效果。但是此實驗中，識別的精度還有限，且僅考慮了一個人識別結果，這是比較局限的，未來的工作將會在實時活動識別、多人及更復雜的條件下推進，增加識別系統的廣泛性與實用性。