基于CRNN的CSI動作識別

丁文超，張俊寶，陰庚雷

(中原工學院 計算機學院，河南 鄭州 450007)

0 引 言

隨著Wi-Fi技術的發展以及相關硬件價格的下降，生活中各種場所幾乎均有Wi-Fi信號的存在。Wi-Fi信號不僅能傳輸數據，利用其信道狀態信息還能進行人體動作識別[1]。

傳統的動作識別需要借助如加速度計、陀螺儀等接觸式傳感設備[2]對用戶進行監測來識別用戶的動作，又或者是借助攝像頭等非接觸設備的基于視覺[3]的動作識別。相較于傳統的識別方式，基于CSI的動作識別利用的是環境中廣泛存在的Wi-Fi信號，具有不依賴特殊傳感器、成本低、易擴展、不存在隱私泄露等優點。

但是當前應用大部分都依賴于手工選擇子載波，構建分類特征。因此，該文提出一種基于學習的識別方法，無需專業知識構建Wi-Fi傳播模型，即可進行訓練識別。

1 相關工作

由于采集數據時網卡報告了多組子載波的CSI，且不同的子載波對于環境變化的敏感度不同，所以要選取合適的子載波來提取CSI數據。WiFall[4]將30組子載波上的CSI取平均值作為訓練數據來檢測摔倒動作的發生。LBR[5]選取CSI方差第二大的子載波作為有效子載波來提取CSI。上述方法均根據某個統計值來選擇子載波，需要大量的時間研究數據從而選擇合適的統計特征。該文提出一種基于SOM[6]聚類的子載波選擇方法。相同的動作，某個子載波上的CSI數據聚類生成多個簇，則說明CSI存在多種變化模式數據間差異較大，數據采集過程中該子載波易受環境干擾。因此對于每個動作，該文選取所有子載波聚類后生成簇較少的子載波作為有效子載波。

在訓練特征的選擇上，CARM[7]使用離散小波變換從不同時間尺度的不同活動中提取頻率分量作為特征。WiSee[8]從手勢動作中提取對應的多普勒頻移特征來識別手勢。兩種方法均需手動設計特征。該文提出使用GASF[9]方法將CSI轉換成圖像從而利用CNN強大的特征提取能力自動提取特征。

由于實驗對象的運動速度以及采樣頻率的差異，相同動作所收集到的CSI數據長度可能不同，但神經網絡輸入數據的長度需要保持一致。所以要對收集到的CSI數據進行截取，以保證數據長度相同，并且截取到的部分需要包含動作發生的整個過程。WiFinger[10]根據統計特征來檢測手勢動作的起始點和結束點。文獻[11]直接采用了人工截取的方式。上述方法需要大量的人力與計算資源來截取數據。文中的CRNN網絡使用CTC[12]作為損失函數，能夠使網絡自動對齊輸入數據中發生動作的部分，無需對數據進行截取。

深度學習網絡需要大量的數據來進行訓練從而防止模型過擬合，但是人工采集大量的數據往往是不容易的。因此，該文通過添加噪音、縮放、滑動平均等方法增加數據量，從而提高模型的魯棒性。

2 信道狀態信息

CSI代表了信號在傳輸過程中所產生的時延、幅度衰減以及相位偏移等變化。換句話說，CSI表征了附近環境的無線特性。假設發送端信號為X(f,t)，接收端信號為Y(f,t)，那么有[1]：

Y(f,t)=H(f,t)·X(f,t)+n

(1)

其中，H(f,t)為信道頻率響應矩陣，CSI就是對H(f,t)的估計。n為高斯白噪聲。對于單個子載波，CSI的形式如下：

Hi=|Hi|ej·sinθ

(2)

其中，|Hi|和θ分別表示CSI的幅度和相位。由于商用網卡接收到的兩個連續的CSI間相位差可能很大，因此該文只使用CSI的振幅進行動作識別。

3 方法設計

圖1所示為方法流程，由信號采集、數據處理、訓練預測三個階段組成。其中信號采集階段將在第3章詳細闡述。

圖1 方法流程

3.1 數據預處理

3.1.1 濾波去噪

由于人體動作的頻率較低以及環境中高頻噪音存在，所以原始CSI需要濾除高頻分量，這里使用常用的巴特沃斯低通濾波器進行濾波[1]。巴特沃斯低通濾波器的增益G2(ω)為：

(3)

其中,n表示濾波器的階數，ωc表示截止頻率即功率下降為-3分貝時的頻率，G0是直流增益。頻率低于ωc的部分會以G0的增益通過，而頻率高于ωc的就會被抑制。由于手部動作頻率范圍在0.3 Hz到4.5 Hz之間[13]，因此設置截止頻率為5 Hz，考慮到濾波效果與計算成本濾波器階數設置為5。圖2所示為濾波前后對比，可以看出濾波后曲線變得平滑高頻噪聲被抑制。

圖2 低通濾波前后CSI幅值對比

3.1.2 子載波選擇

SOM[6]是一種無監督聚類的神經網絡，通過學習自動對輸入進行聚類，且能保持數據的拓撲結構不變。SOM由輸入和輸出(競爭兩層)構成，采用競爭學習的方式進行訓練。首先將網絡權重初始化，接著每個輸入的樣本遍歷競爭層中的每個節點，計算兩者之間的距離(通常為歐式距離)，選取距離最小的節點作為獲勝節點。

接著用隨機梯度下降法更新獲勝節點及其鄰近節點的權重向量使它們向輸入向量移動。輸出節點v的權值更新公式為：

Wv(s+1)=Wv(s)+θ(u,v,s)·α(s)·(D(t)-Wv(s))

(4)

其中，Wv為權重向量，s為迭代次數，D(t)為當前輸入向量，u為獲勝節點，θ(u，v，s)為s下給出u和v之間距離的鄰近函數，用來確定獲勝節點對其近鄰節點的影響強弱。α(s)是一個單調遞減的學習率。對每個輸入向量這個過程會重復進行直到達到提前設置的循環次數λ。

該文設置輸出層SOM神經元的數量為3進行聚類，圖3所示為上下揮手時不同的四個子載波上的CSI聚類后的結果。樣本數量為50，可以看到子載波3聚類后只有一個簇，說明數據內在的分布較一致，受環境干擾較小。子載波1、2、4聚類后均生成多個簇，說明同一個子載波上的CSI間差異較大。因此對于上下揮手動作，選擇提取子載波3上的CSI作為訓練數據。

圖3 上下揮手的四個子載波聚類結果

3.1.3 數據擴增

相較傳統模型，深度學習的參數非常多，故有很強的擬合能力，從而也就需要更多的數據來避免過擬合的發生。但收集和標記大量的數據是耗時耗力的。通過現有的樣本進行數據擴增創建新的樣本，能夠利用有限的數據有效地提高分類性能[14]。該文采取了多種數據擴增方法包括：

(a)添加噪聲，CSI序列加上高斯隨機噪聲序列n。

(b)縮放，CSI序列乘以縮放系數s。

(c)降采樣，設置降采樣因子m，保留CSI序列中間隔為m的采樣點，其余采樣點舍棄。

(d)滑動平均，采樣點i的值由滑動窗口w內CSI數據的平均值代替。

(e)截取，使用長度為l的窗口在CSI序列上截取數據。

圖4所示為使用不同方法所產生的新樣本。可以看到一個樣本能生成多個虛擬樣本。且所生成的樣本保留了CSI的變化模式。

圖4 應用不同數據擴增方法得到的新樣本

3.1.4 CSI轉換為圖像

CNN能夠自動高效地從圖像中提取特征。因此該文沒有手工設計特征，而是使用GASF[9]方法將接收到的CSI編碼為圖像，使用CNN提取特征。設X={x1,x2,…,xn}為濾波后的CSI序列，先通過

(5)

GASF=[cos(φi+φj)]1≤i,j≤n

(6)

于是有：

GASF= [cos(φi)·cos(φj)-sin(φi)·

sin(φj)]n×n

(7)

(8)

圖5所示為6種手勢動作的CSI，通過轉換得到的GASF圖像，可以看到不同的動作生成的圖像有不同的紋理特征。

圖5 不同手勢的CSI轉化得到的圖像

3.2 訓 練

文中的CRNN由CNN、RNN構成，訓練時使用CTC作為損失函數。網絡結構如圖6所示。

圖6 網絡結構

3.2.1 卷積神經網絡

首先使用卷積神經網絡[15]來對圖像提取特征，卷積網絡部分由四個卷積模塊組成，每個卷積模塊由兩個二維卷積層加上一個池化層構成。卷積層l的卷積計算公式為：

(9)

池卷積層的池化操作能夠減少模型的計算量和參數個數，防止過擬合。該文使用了最大池化，其公式為：

fpool=Max(si,j,si+l,j,si,j+1,si+l,j+1)

(10)

其中，fpool是池化后的結果。si,j是特征圖張量上位置(i,j)上的元素。該文使用的池化核大小為2×2。

3.2.2 長短期記憶網絡

由于CSI是時間序列數據，所以接下來使用兩個長短期記憶(long short-term memory，LSTM)層對CSI序列時間上的變化進行建模。LSTM[16]是一種擁有三個“門”的特殊網絡結構，包括遺忘門、輸入門、輸出門。輸入門選擇保留的信息，遺忘門選擇被遺忘的信息，輸出門決定哪些狀態信息需要輸出，如公式(11)所示。

(11)

其中，i，f，o，g分別表示輸入門、遺忘門、輸出門的輸出以及輸入的單元狀態。σ，φ分別為sigmoid、tanh激活函數，ht-1，xt分別為上一時刻的輸出和當前時刻的輸入。當前時刻的單元狀態ct為：

ct=f⊙ct-1+i⊙g

(12)

其中，ct-1為上一時刻的單元狀態，⊙表示元素乘。由當前時刻的輸出門輸出ot和單元狀態可得當前時刻的輸出ht為：

ht=ot⊙tanh(ct)

(13)

3.2.3 CTC損失函數

由于CSI序列長度不一致，那么訓練前每個樣本都需要標記出發生動作的片段在整個CSI序列中的位置，從而截取得到長度一致的輸入數據，該文使用CTC[12]損失函數不需要對數據進行截取。LSTM提取完特征后由兩個全連接層和Softmax層進行分類，分類結果作為CTC損失函數的輸入，此外還需要提供輸入長度、標簽、標簽長度。

(14)

用B表示映射函數，消除重復的標簽和空白標簽，例如：

B(_,a,a,b,b,c,c,_)=(a,b,c)

(15)

因此輸出序列路徑為μ的概率可以表示為經過映射后為μ的所有π的概率之和，即：

(16)

CTC損失函數定義如下：

CTC(X)=-logP(μ|X)

(17)

CTC算法通過最大路徑解碼所解得的概率最大的輸出序列路徑為：

(18)

其中，π*為T幀輸入序列的后驗概率最大的CTC輸出序列路徑。

4 實驗設計

4.1 數據采集

將一臺裝有英特爾5300網卡，系統內核版本為4.1.10的HP Pavilion15筆記本電腦作為接收端接收信號。一個支持802.11n 協議的MERCURY MW305R路由器為發射端發送信號。使用Halperin[17]發布的CSI工具包來修改網卡驅動。設置路由器的工作頻率為2.4 G，發包頻率為20 Hz。由于發射端有兩根天線，接收端有三根天線，每個天線對上有30個子載波。因此接收到的CSI數據為2*3*30的復數矩陣。

圖7(a)所示為實驗環境。實驗對象站在筆記本和路由器之間的桌子前做如圖7(b)所示的6種手勢動作，每個手勢采集50組數據，共計300組數據。使用240組數據訓練模型，剩余60組數據對訓練好的模型進行測試。

(a)實驗環境平面圖

(b)6種手勢

4.2 對比分析

該文做了一系列對照實驗來對比分析提出的方法的有效性。

4.2.1 不同的子載波選擇方法

為了驗證提出的基于SOM聚類的子載波選擇方法的有效性，對照實驗使用了WiFall[4]的所有子載波求平均、LBR[5]的選擇CSI方差第二大的子載波進行對比。僅改變子載波選擇方法，其他步驟相同，實驗結果如表1所示。

表1 不同的子載波選擇方法結果對比

結果表明直接對所有子載波上的CSI求平均，結果準確率較低，原因可能是不同的子載波對動作和環境的敏感度不同，直接求平均值將各種環境因素的影響疊加到一起，使得CSI中的有效信息被掩蓋。選取方差第二大的子載波，準確率雖然有所提高，但是由于CSI易受環境噪音影響，較大的方差可能是由于環境噪音變化引起的，而且不能保證相同動作的CSI變化模式的一致性。通過聚類選擇子載波能夠保證相同動作的CSI數據內部的一致性，不會出現異常數據，準確率較高。

4.2.2 不同的網絡結構

將SignFi[18]使用的CNN及文獻[19]所使用的LSTM作為對照，并把使用交叉熵損失函數的CRNN也作為一種不同的網絡進行對比，結果如表2所示。

表2 不同的網絡結構結果對比

可以看到僅使用LSTM由于模型參數數量較少因此擬合能力較弱。使用CNN能夠達到相對較高的準確率。相較于僅使用CNN或LSTM，同時使用CNN、LSTM能綜合利用兩種網絡結構的優勢，準確率較高。使用CTC損失函數不僅不需要對CSI進行截取，而且能夠有效地識別發生動作的CSI序列片段，從而提高模型的分類準確率。

4.2.3 不同數量的訓練數據

基于學習的識別方法要求有大量的數據訓練模型，本小節通過對比實驗探究不同數量的訓練數據對于識別準確率的影響。分別使用120組數據，240組數據，與文中使用的240組數據并對數據擴增的方法作對比，結果如表3所示。

表3 不同數量的訓練數據結果對比

可以看到隨著訓練數據的增加模型的分類準確率也隨之增加，模型對訓練數據的數量有較高的要求。雖然大規模采集數據是不容易的，但是通過數據擴增的方法，能夠在原有數據的基礎上增加數據的多樣性，有效提升模型的準確率。使得基于學習的方法也能夠以較低的數據成本達到較高的識別效果。

5 結束語

提出了一種基于SOM聚類的子載波選擇方法，并將CSI數據序列轉換為圖像，通過CNN、LSTM構成的網絡使用CTC損失函數進行訓練分類。在數據預處理和模型訓練中，采用聚類和深度學習的方法代替傳統的基于手工設計特征的方法，并利用現有樣本進行了數據擴增。實驗結果表明，該方法能夠在數據量較小的情況下達到較高的識別準確率，且無需手工設計特征。下一步將會致力于研究提高模型的泛化能力。