基于CSI的手勢識別方法研究

熊小樵 馮秀芳 丁 一

1(太原理工大學信息與計算機學院 山西 晉中 030600) 2(太原理工大學軟件學院 山西 晉中 030600)

0 引 言

隨著人機交互技術的發展，手勢識別作為智能家居、手語翻譯、虛擬現實等重要物聯網應用的基礎技術，在日常生活中得到廣泛的應用。

目前，人們普遍運用基于視覺和穿戴式設備兩種手勢識別技術。但是，基于視覺的手勢識別技術存在易受光照條件的影響、設備成本高、無法保障個人隱私等問題，而基于穿戴式設備的手勢識別技術則需要用戶佩戴專用設備，不僅限制了用戶的自由，而且難以實現以人為中心的人機交互。因此，研究一種無須用戶攜帶任何設備、不受光線強弱影響、部署代價低的手勢識別技術，具有很高的現實價值與應用意義。

利用來自Wi-Fi設備的信道狀態信息進行手勢識別，具有無須攜帶設備、保障個人隱私、可在夜間工作和成本低等優點，為消除傳統手勢識別技術運用中存在的各種限制提供了新的解決思路和技術方法。

在多次進行的實驗中發現，當用戶位于Wi-Fi設備信號區域內時，他的每一個手勢動作都會迅速影響Wi-Fi信號的傳播路徑，進而通過分析接收端收集到Wi-Fi信號中的細粒度CSI信號特征，可以立刻識別出用戶不同的手勢動作。然而，由于無線信號傳播具有高動態性，且在傳播過程中穩定性較弱，又因室內環境存在顯著的多徑效應等，也容易限制手勢識別的準確度[1]。

為解決運用Wi-Fi設備進行手勢識別時存在的問題，本文提出基于CSI的手勢識別方法HandFi，其核心技術是引入衡量室內環境變化的指標PEM(Percentage of non-zero Element)，將PEM作為相對于基準環境的擾動因子，根據環境的變化調整手勢數據的特征值矩陣，減少了實驗環境對手勢識別的限制，并設計更具操作性的CNN-GRU模型，同時依托該模型獲得更高的手勢識別準確度。

1 相關工作

在早期基于Wi-Fi設備的手勢識別領域，Abdelnasser等[2]提出了WiGest系統，通過分析RSS信號變化的特征識別7種手勢來控制媒體播放器，在單個接入點的情況下準確率為87.5%；Li等[3]提出WiFinger系統，利用動態時間規整計算不同手指特征的距離作為kNN分類器的輸入，對9種美國符號語言進行識別，實現了手指級別的手勢識別，準確度達到了90.4%；Tan等[4]提出WiFinger，采用主成分分析和多維動態時間規整對手勢進行識別，對環境變化和個體多樣性都具有魯棒性，且達到93%以上的識別準確率。

在跨領域手勢識別研究工作中，研究人員做了大量研究，Venkatnarayan等[5]提出WIMU系統，通過分段DFS功率配置文件以進行多人活動識別；Virmani等[6]提出WiAG從不同領域導出CSI之間的轉換函數，并生成虛擬訓練數據；Zhang等[7]提出CrossSense采用轉移學習的思想，設計出域間信號特征轉換的模型；Zheng等[8]提出Widar3.0在較低的信號水平上推導和估計手勢的速度剖面，只需要訓練一次分類器，實現不同領域手勢的識別。

在手寫識別領域，Fu等[9]提出Wri-Fi無設備手寫識別系統，將26個大寫字母的書寫模式引起的CSI波形作為特征空間，使用隱馬爾可夫模型建模和分類，在兩個寫作區域得到平均準確度分別為86.75%和88.74%；Cao等[10]提出Wi-Wri系統，能以高精度檢測和識別書面信件，手寫字母大小在5 cm左右，且達到98.1%以上的文字運動檢測準確率和82.7%以上的文字識別準確率；Sun等[11]提出的WiDraw系統，實現了空中手寫識別，允許用戶繪制字母、單詞和句子，達到了91%的單詞識別精度。

2 基本理論概述

2.1 CSI概述

802.11 a/g/n網絡使用正交頻分復用技術將信號調制成多個子載波同時傳輸，信號在傳播過程中受到不同程度的衰減和散射，而從接收端物理層獲得的CSI中可以分析出接收端與發射端之間的信道質量，反映出信號在傳播過程中的衰減因子。因此，使用CSI可識別出用戶的手勢動作[12]。

在正交頻分復用系統中，經過多徑信道之后的接收信號可以用式(1)表示。

Y=HX+N

(1)

式中：X和Y分別為發射信號向量和接收信號向量；H是信道增益矩陣；N是高斯白噪聲。

根據式(1)，H可表示為：

(2)

H=[H1，H2，…，Hk，…，HN]

(3)

式中：Hk是第k個子載波的CSI。由于Intel 5300網卡可以獲得30個正交頻分復用子載波上的信道頻率采樣，故N的取值為30。每組CSI代表一個正交頻分復用子載波的振幅和相位：

(4)

通過式(1)-式(4)，得到CSI的信道矩陣，而信道矩陣描述了信號在每條傳輸路徑上的衰減因子，其每個元素的值都包含著信號散射、環境衰弱和距離衰減等信息[13]。因此，在接下來的實驗中，使用收集到的CSI數據中每個子載波的振幅和相位屬性來分析子載波在一段時間內的變化規律[14]。

2.2 PEM擾動因子

為了衡量CSI在室內不同環境的變化程度，本文引入了相對于理想環境下的擾動因子PEM[15]。該算法實現步驟分為三步，第一步是將CSI振幅轉換為二維矩陣，其公式為：

(5)

式中:Cd是處理之后的CSI幅度值矩陣(30×P)，即30行P列的矩陣,其中每個元素都是振幅，P是實驗中收集數據包的總數；Cl和Cu分別是CSI測量的Cd的最小值和最大值；Mc是新建矩陣的行，長度與實驗中收集數據包的總數相同。具體方法是將Mc×P矩陣M0中的元素初始化為0，由式(5)將M0中第k行第j列元素設為1。

第二步是求擴展矩陣。選擇合適的擴展系數D，將1周圍D距離內的所有行列設置為1，擴展之后，CSI的矩陣M0被轉化為擴展后的矩陣M。

第三步是計算每個子載波的擴展矩陣中非零元素百分比P[i]，即第i個子載波的PEM。采樣時重疊區域越多，在擴展矩陣中非零元素百分比越低。因此，P[i]能夠揭示CSI子載波的變化情況，在某種意義上可以表示室內移動人群的數量，反映室內的多徑情況。

這樣，通過上述三個步驟，就可獲得30個子載波的PEM矩陣，如式(6)所示。

P=[PEM1，PEM2，…，PEMk，…，PEM30]

(6)

在之后的實驗中加入PEM擾動因子，通過分析待測試數據的PEM特征，確定當前室內環境的多徑情況，調整在當前環境下待測試數據的特征值矩陣，然后再使用訓練好的模型進行識別測試。

3 HandFi方法的設計與實現

本文提出的基于CSI的手勢識別方法HandFi，分為四個部分：數據采集、信號預處理、識別算法設計和輸出。圖1為HandFi手勢識別方法流程。

圖1 HandFi手勢識別方法流程

3.1 數據采集

在實驗中使用裝有Intel 5300網卡的筆記本電腦作為接收端，PHICOMM K2路由器作為發射端發射信號，頻率為5.2 GHz。通過Halperin等設計的CSI Tool來解析CSI數據，使用MATLAB 2016a處理數據。接收端和發射端之間的距離為1.5 m，距離地面高度為1.1 m，志愿者坐在接收端和發射端旁邊的椅子上在空中手寫阿拉伯數字，手勢區域大小設置為25 cm×25 cm，在進行手勢動作時保持身體其他部位靜止，只用手和手臂來書寫。

實驗場景為安靜的辦公室和環境嘈雜的實驗室，辦公室面積為46.08 m2，只配有1套桌椅和1個書柜，環境空曠；實驗室面積為98.27 m2，其中包含16位實驗室成員、16套辦公桌椅、1個書柜、電腦等實驗設備若干，環境相對嘈雜，多徑效應顯著，與辦公室環境有明顯的區別。

實驗數據限定于在空中手寫10個阿拉伯數字這10種手勢?？紤]到用戶多樣性和實驗環境對實驗的影響，邀請10位志愿者(7位男生和3位女生)參加數據收集工作，志愿者的年齡從22歲到26歲不等，身高從155 cm到185 cm不等。之后在辦公室和實驗室環境中均收集250組數據，每組數據包含空中手寫0～9這10個手勢各1次，得到5 000個樣本。

3.2 信號預處理

1)天線對選取。CSI的頻率具有多樣性，其包含的子載波對于環境變化的敏感度不同。通過分析數據發現，具有較高振幅的子載波具有較大的靜態響應，而具有較大方差的子載波具有較大的動態響應，該子載波對環境變化更敏感。所以，選擇具有較大方差的天線對能提取更多手勢信息，之后數據維度由1×3×30變為1×1×30。

2)巴特沃斯濾波。原始CSI時間序列流具有噪聲，且包含許多的異常值，將數據通過巴特沃斯低通濾波器(Butterworth Low-Pass Filter，BLPF)可移除數據中的高頻噪聲。通過設置濾波器的下限和上限截止頻率，更好地濾除數據中的噪聲。多普勒頻率公式如下：

(7)

式中：υm是手勢動作的速度；λ是電磁波的波長；f是多普勒頻率。對于工作在5.2 GHz頻段的路由器，手和手指運動的下限截止頻率與上限截止頻率分別為0.2 Hz和6 Hz。圖2分別為實驗中三次手勢動作的原始CSI波形以及使用中值濾波、移動平均濾波和BLPF濾波后的波形，通過對比可見經BLPF處理之后，波形更加平滑，去噪效果更好。

(a)原始信號圖

3)主成分分析。由于傳統的低通濾波器不能很好地去除CSI時間序列中的突發和脈沖噪聲，對BLPF濾波之后的CSI數據進行主成分分析(Principal Component Analysis，PCA)可消除突發和脈沖噪聲。圖3為經PCA處理后的CSI波形，可見濾波效果更加明顯。

圖3 主成分分析后的波形圖

4)時頻分析。由于小波變換在時間分辨率和頻率分辨率上具有更高的均衡性，所以在特征提取階段，使用小波變換從時域和頻域兩個方面來分析不同手勢動作的特征。實驗中使用haar小波函數對濾波后的CSI數據進行7層小波分解，使用小波軟閾值過濾掉仍存在于低頻段數據中的噪聲，之后進行每一層的特征提取。

本文獲得了無人、用戶靜坐、手勢動作和走動四種場景的快速傅里葉變換輪廓，驗證不同的運動具有的差異性，從而判斷收集到的數據是否包含手勢信息。圖4是不同場景的快速傅里葉變換頻率分布圖，可見在無人和用戶行走的場景中，運動能量強度差異明顯，但用戶靜坐和手勢動作兩種場景中運動能量強度差異較小。

(a)無人場景

5)數據分割。通過小波變換能觀察到在用戶進行手勢動作時，時頻圖中有明顯的波形變化，但從圖4中發現，用戶在無手勢動作和有手勢動作這兩種場景中，運動能量強度差異相對較小。對于這種情況，本文引入能量指示器來檢測手勢動作，能量指示器計算公式如下：

(8)

式中：E是各個場景的能量；n是時間窗長度；C是時間窗長度內的歸一化快速傅里葉變換系數。

圖5為三位志愿者在上述四種場景中的能量統計。實驗中三位志愿者在安靜的辦公室環境內依次完成靜坐、手勢動作和走動三種運動，每種運動持續4 s。

圖5 三位志愿者在四種場景中的能量

為了找到手勢動作的起點和終點，實驗中持續監控兩個連續窗口的運動能量差異，與預先設置的閾值相比較，找到手勢動作的起點和終點，通過對數據進行分割，提取手勢動作的有效數據。

為減少室內多徑效應對手勢識別準確度的影響，使用PEM擾動因子調整CSI數據的特征值矩陣。圖6是室內人數與PEM值的關系，將擴展系數D設置為15時，隨著室內人數的增多，PEM值呈增長趨勢。因此，根據室內人數使用PEM值調整CSI數據的特征值矩陣，減少實驗環境對識別準確度的影響。

圖6 室內人數與PEM值的關系

3.3 HandFi識別算法設計

本文設計深層神經網絡模型來挖掘手勢動作的時空特征，將預處理后的數據作為輸入，分類結果作為輸出，由用于空間特征提取的卷積神經網絡(Convolutional Neural Network，CNN)和用于時間建模的遞歸神經網絡(Recurrent Neural Network，RNN)組成。圖7所示為HandFi手勢識別模型的流程，它包括輸入層、CNN層、GRU層和輸出層。

圖7 手勢識別模型的流程

CNN是提取空間特征和壓縮數據的有效技術，本文先使用CNN處理輸入數據，卷積層卷積核大小為3×3，池化層用max-pooling對特征進行下采樣，輸出為兩層以ReLU為激活函數的全連接層，且在兩層全連接層之間添加Dropout層減少過擬合，最后一層全連接層的輸出序列作為后續時間模型的輸入。

CSI序列不僅包含手勢的空間特征，還包含手勢動作的時間特征。RNN能模擬復雜的時序動態，而長短期記憶(Long Short-Term Memory，LSTM)和門控遞歸單元(Gated Recurrent Unit，GRU)比原始RNN具有更強的學習長期依賴性的能力，GRU在序列建模方面取得了與LSTM相當的性能，但涉及的參數較少，更容易用較少的數據進行訓練，所以本文選擇GRU進行時序建模。GRU層將CNN層的輸出序列作為輸入，GRU的輸出結果在到達全連接層之前經過一個用于正則化的Dropout層，之后使用具有交叉熵損失的Softmax分類器進行分類預測。模型中選取4 000個樣本作為訓練集，1 000個樣本作為測試集。

4 實驗結果與分析

4.1 子載波數量的影響

將30個子載波按方差大小排序，分別選取10、20和30個子載波做對比實驗。圖8是兩種實驗環境中不同子載波數量對應手勢識別的準確度。在兩種實驗環境中，當子載波數量為30個時，識別準確度明顯高于其他兩種情況。所以，在實驗中設置子載波的數量為30個。

圖8 子載波數量的影響

4.2 手勢區域大小的影響

實驗設置兩種尺寸的手勢區域：25 cm×25 cm和50 cm×50 cm，在辦公室環境中，志愿者在這兩種不同的區域手寫阿拉伯數字，手勢幅度有明顯的不同，為兩個區域訓練獨立的CNN-GRU模型，對比手勢區域大小對識別準確度的影響。

圖9所示是手勢區域大小對手勢識別準確度的影響，在手勢區域擴展之后，手勢識別的平均準確度由94.24%提高到95.17%，表明手勢區域的擴展對于手勢識別準確度提高并不明顯，結合實際情況，本文在實驗過程中設置手勢區域大小為25 cm×25 cm。

圖9 手勢區域大小的影響

4.3 發射速率的影響

不同的發射速率對手勢識別準確度影響很大。實驗中驗證了發射端每秒發送200、400、600、800、1 000個數據包時算法識別準確度。從圖10可以看出，發射速率與識別準確度總體呈正相關性，每秒發送1 000個數據包時準確度最高。但更高的發射速率需要更好的硬件設施來支撐，所以將發射速率設置為每秒發送1 000個數據包。

圖10 發射速率的影響

4.4 系統整體性能

將HandFi所達到的識別準確度和當前流行的手勢識別方法進行對比，從而分析HandFi的識別性能。圖11是兩種實驗環境中10個手勢動作識別準確度的混淆矩陣，其中：X軸是預測分類手勢；Y軸是志愿者實際的手勢動作；對角線為每一種手勢的識別準確度。

(a)辦公室環境

圖11(a)是辦公室環境中手勢識別準確度，圖11(b)是實驗室環境中手勢識別準確度，且HandFi在辦公室場景平均識別準確度為95.29%，在實驗室場景平均識別準確度為93.19%。但可以看出，HandFi對于相似手勢的識別仍存在很大的不足，如在區分相似手勢0和6的過程中存在不可忽視的錯誤。

圖12是HandFi所用CNN-GRU深度學習模型與現有的7種比較典型的方法識別準確度的對比，可見在兩種實驗環境中CNN-GRU模型的識別準確度比其他識別方法的準確度更高，HandFi所用CNN-GRU模型相對于CNN-LSTM模型準確度提高較少，但CNN-GRU模型算法復雜度更低，用較少的數據進行訓練可達到更理想的識別準確度。

圖12 識別算法在不同環境的識別準確度對比

5 結 語

本文提出的基于CSI的手勢識別方法HandFi，以10個阿拉伯數字的獨特書寫模式引起的CSI波形變換為基礎，通過BLPF濾波和PCA提取不同數字手勢動作的特征，引入表示實驗場景環境變化的指標PEM，根據室內多徑情況調整手勢數據特征，減少環境對手勢識別的限制，然后設計CNN-GRU模型挖掘CSI序列的時空特征，實現動態手勢識別。大量的實驗結果表明，在安靜的辦公室和環境嘈雜的實驗室環境中識別準確度分別達到了95.29%和93.19%。但為了有效減少相似手勢的識別誤差，在之后的研究中將考慮使用多個發射器進行手勢識別。同時，為使HandFi能更快地應用于現實生活，仍需進一步解決實時性問題。