基于PHY層的手勢身份識別技術(shù)研究*

郭夢麗 許 勇 何 昕 陳錫敏 李鳳妹 方 群

（安徽師范大學(xué)計算機(jī)與信息學(xué)院 蕪湖 241002）

1 引言

物聯(lián)網(wǎng)的發(fā)展帶動了“智慧+”產(chǎn)業(yè)的興起和應(yīng)用。例如，智能教室、智能家居和智能農(nóng)業(yè)的發(fā)展。同時，用戶的興趣愛好、醫(yī)療信息、社會關(guān)系等敏感信息也有泄露給未經(jīng)授權(quán)人員使用的危險。因此，為智能設(shè)備的接入提供安全有效的接口已成為亟待解決的問題。

長期以來，身份識別一直是以人為中心的計算研究的核心［1］。基于相機(jī)的、傳感器的傳統(tǒng)接觸式身份識別方法有著需要近距離接觸的弊病，不適合在疫情當(dāng)下使用。然而，人臉識別［2～3］、虹膜識別［4］等各種非接觸式識別技術(shù)雖然識別結(jié)果較好。但這些基于視覺的［5～6］識別方法對光照條件要求嚴(yán)格，在實際應(yīng)用中需要無障礙阻擋等嚴(yán)苛條件且不易在室內(nèi)環(huán)境部署。然而，人臉識別更是飽受爭議。2020年9月12日，李開復(fù)在HICOOL全球企業(yè)家峰會上的演講中表示，他的團(tuán)隊曾在早期幫助過曠視科技從美圖和螞蟻金服獲得了大量的人臉數(shù)據(jù)。這個看似成功的商業(yè)案例，將互聯(lián)網(wǎng)公司共享人臉數(shù)據(jù)的“內(nèi)幕”公布與眾。讓人一度懷疑我們的“臉”真的安全嗎？生物特征識別通常容易受到重放攻擊和隱私問題的影響。這些問題的存在促使研究人員整合更加方便、安全和有效的識別技術(shù)。

曾和張等人證明了步態(tài)和手勢是可用于識別人類的重要生物特征。不同人的體型和運動方式存在差異。在執(zhí)行某種行為的過程中，動作引起CSI變化所揭示的信息不僅包括具體的位置，還包括與體型大小和個人習(xí)慣有關(guān)的身份信息。從而對接收到的信號產(chǎn)生高度可識別的特征響應(yīng)［7］。我們提出了DrawU（用手勢來描摹身份），用戶執(zhí)行相應(yīng)的手勢就能識別合法用戶的身份。我們的整體系統(tǒng)設(shè)計如圖1所示。

圖1 DrawU身份識別系統(tǒng)結(jié)構(gòu)

本文的主要貢獻(xiàn)如下：

1）在采集的數(shù)據(jù)集上，我們實現(xiàn)了DrawU，并進(jìn)行廣泛的實驗以評估所提出系統(tǒng)的性能。實驗結(jié)果表明了該系統(tǒng)的可行性和有效性。與現(xiàn)有方法相比，識別準(zhǔn)確率更高，且識別單個用戶的時間僅為0.59389ms，保證了良好的用戶體驗。

2）本文采用改進(jìn)的巴特沃斯濾波器去除噪聲，采用多徑消除算法去除志愿者無意識的冗余動作和環(huán)境中障礙物的靜態(tài)反射，解決了CSI子載波間的信號冗余問題，由于在預(yù)處理階段去除了環(huán)境中的靜態(tài)反射，故本文提出的模型對域的敏感度較低。

3）對于手勢這種細(xì)膩度的人類活動，特征提取更加困難。我們設(shè)計了兩個改進(jìn)的殘差模塊來自動提取更好的特征，并驗證了其他代價損失沒有增加，而且實現(xiàn)了一些優(yōu)化。

2 相關(guān)工作

基于PHY層的身份識別技術(shù)主要包括三大理論和技術(shù)，本節(jié)將做一個簡單的回顧。

2.1 WiFi信號收集方法的進(jìn)展

與RSSI相比，CSI更加敏感和細(xì)膩，促使研究人員開始使用CSI信息進(jìn)行感知活動，但在CSI采集過程中，必要的硬件設(shè)備是必不可少的。目前，我們已經(jīng)通過智能手機(jī)和現(xiàn)有的商用WiFi路由器實現(xiàn)了CSI數(shù)據(jù)的采集。其中，路由器是WiFi報文傳輸?shù)臒狳c。智能手機(jī)嵌入了定制固件和匹配的編碼軟件，以捕獲手勢動作生成的CSI數(shù)據(jù)。

2.2 常用的特征提取算法

WiFi感知身份識別中常用的特征算法主要有三類。基于模板匹配的算法主要有皮爾遜相關(guān)系數(shù)、歐幾里得距離、曼哈頓距離和DTW（動態(tài)時間規(guī)整）算法。例如，Xin等提出的FreeSense［8］通過擴(kuò)展和縮短時序數(shù)據(jù)，直接計算新獲取的信號與模板的相似度，在2人～6人的智能家居環(huán)境中實現(xiàn)了94.5%～88.9%的識別準(zhǔn)確率。無需訓(xùn)練即可快速匹配。基于機(jī)器學(xué)習(xí)的算法主要有KNN算法和SVM算法。WiFiU［9］利用信號處理技術(shù)從CSI數(shù)據(jù)中生成頻譜圖，并使用SVM算法在50人的數(shù)據(jù)集中實現(xiàn)了79.28%的識別率。基于深度學(xué)習(xí)的LSTM（長短期記憶）算法適用于處理時間序列數(shù)據(jù)。CSIID［10］使用LSTM層自動提取特征，減少了人工提取特征的大量數(shù)據(jù)預(yù)處理工作。當(dāng)實驗數(shù)據(jù)為2人～6人時，系統(tǒng)的平均識別準(zhǔn)確率為97.4%～94.8%。CNN感知能力強(qiáng)，但分類器訓(xùn)練耗時。WiNet［11］搭建了卷積神經(jīng)網(wǎng)絡(luò)模型并以頻率能量圖作為模型的輸入矩陣，實現(xiàn)WiFi環(huán)境下的單目標(biāo)步態(tài)識別，在現(xiàn)實的實驗室場景中40個人的分組，識別準(zhǔn)確率達(dá)到98.5%。

2.3 WiFi感知身份的主要方法

目前，基于WiFi感知的步態(tài)識別技術(shù)發(fā)展迅速，取得了豐碩的成果。曾等提出的WiWho在2人～6人的小組中的平均準(zhǔn)確率為92%～80%。實驗者只有步行2m～3m才能達(dá)到更準(zhǔn)確的識別。但是，智能識別的準(zhǔn)確性是從WiWho開始得到驗證的。WiFi-ID［12］展現(xiàn)了步態(tài)識別的可靠性，在2人～6人的數(shù)據(jù)集中實現(xiàn)了93%～77%的識別準(zhǔn)確率。然而，基于手勢的身份識別發(fā)展緩慢。值得一提的是，Kong等設(shè)計的Fingerpass［13］在人機(jī)交互過程中不斷對用戶進(jìn)行認(rèn)證。采用遷移學(xué)習(xí)的方法，實現(xiàn)了系統(tǒng)的跨域。在真實的智能家居環(huán)境下，識別準(zhǔn)確率達(dá)到91.4%。WiHF［14］從WiFi信號中推導(dǎo)出手臂手勢的跨域運動變化模式，通過提出的分割拼接優(yōu)化方法實現(xiàn)手勢和身份的雙任務(wù)識別，準(zhǔn)確率與當(dāng)前最先進(jìn)的方法相當(dāng)，域內(nèi)手勢識別和用戶識別準(zhǔn)確率分別為97.65%和96.74%分別為6個用戶和5個位置和方向，但總處理時間縮短了30倍。

與現(xiàn)有工作不同，我們的工作旨在感知人機(jī)交互過程中的細(xì)粒度手勢，從而識別執(zhí)行預(yù)定義的手勢的用戶，實現(xiàn)更輕量級的用戶識別系統(tǒng)，可以嵌入到智能設(shè)備中，適應(yīng)更多真實場景，為“智能+”行業(yè)提供更便捷的應(yīng)用。

3 理論基礎(chǔ)

本節(jié)簡要介紹DrawU的理論基礎(chǔ)，即通道狀態(tài)信息、基于WiFi的手勢識別和身份識別。

在過去的幾年里，基于WiFi的傳感已經(jīng)獲得了極大的普及。研究人員提出了多種基于WiFi的系統(tǒng)來識別人類手勢的系統(tǒng)［15～18］。在逐步探索和實踐中，也驗證了WiFi感知的可行性和有效性。CSI描述了WiFi信號傳播路徑的信道特性，主要以信道頻率響應(yīng)（CFR）［19］的形式表示，即：

使用OFDM調(diào)制時，每個子載波上的幅度和相位信息可以看作是CFR頻譜的一組采樣數(shù)據(jù)。CSI可以表示為

其中，H()fk代表以fk子載波為中心頻率的CSI，和∠H()

fk分別代表第k個子載波的幅度和相位。

手勢動作的特征是否足以代表用戶身份？根據(jù)實驗觀察，當(dāng)志愿者執(zhí)行手勢時，潛在生物識別手的大小和執(zhí)行速度不同，導(dǎo)致不同用戶做出相同手勢時CSI的幅度存在顯著差異。因此可以識別不同的用戶。

4 系統(tǒng)概述

與基于被動步態(tài)識別的方案相比，以基于WiFi的手勢識別為前提的身份識別具有兩個優(yōu)點：1）無需步行一定距離即可收集到足夠的信息。2）手勢動作不需要移動，保證了驗證的靈活性。因此，我們設(shè)計了一個基于殘差卷積神經(jīng)網(wǎng)絡(luò)的DrawU。基于WiFi的手勢身份識別，主要包括數(shù)據(jù)預(yù)處理和模型訓(xùn)練與分類兩個階段。

4.1 數(shù)據(jù)采集

本文使用的數(shù)據(jù)集是使用智能手機(jī)收集的CSI數(shù)據(jù)集。15名志愿者由年齡在22歲至27歲（7名女性和8名男性）的本科生和研究生組成。志愿者從初始站立狀態(tài)執(zhí)行規(guī)定動作到恢復(fù)站立狀態(tài)為一個完整的周期，共30個周期。我們共收集了20種常見的步態(tài)和手勢，其中9種手勢的數(shù)據(jù)被用于我們的實驗，手勢樣式如圖2所示。

圖2 手勢樣式圖

4.2 濾波去噪

在所設(shè)計的系統(tǒng)中，考慮到計算復(fù)雜度和效率，使用四階巴特沃斯IIR濾波器，并借助了巴特沃斯濾波器在阻帶內(nèi)逐漸下降到零的特點。數(shù)據(jù)采樣頻率為1000Hz，濾波器的截止頻率wc可以通過以下公式進(jìn)行估算：

4.3 多路徑去除

手勢動作是一種相對剛性的動作，但它無法避免志愿者產(chǎn)生的其他無意識動作和環(huán)境引起的靜態(tài)反射的存在，這些數(shù)據(jù)中并不反映身份信息。因此，我們需要去除延遲較長的反射在我們的實驗中。DrawU使用商用正交頻分復(fù)用（OFDM）的WiFi設(shè)備對CSI去除部分多路徑。首先，對采集到的CSI信號采用逆快速傅里葉變換（IFFT），得到近似時域的功率延遲分布。然后我們根據(jù)經(jīng)驗去除延遲超過500ns［19］的多徑分量。最后，通過快速傅里葉變換（FFT）將剩余功率延遲曲線轉(zhuǎn)換回頻域中的CSI。多徑去除提高了用戶認(rèn)證的魯棒性，降低了系統(tǒng)對域的靈敏度。

4.4 離散小波變換

對處理后的數(shù)據(jù)進(jìn)行小波變換，小波變換的尺度收縮性促使小波能夠捕獲信號之間的局部相似性，可用于數(shù)據(jù)壓縮和特征提取。根據(jù)小波變換原理，將信號分解為近似系數(shù)和細(xì)節(jié)系數(shù)，為了保留CSI信號的形狀和趨勢，同時保留足夠的CSI特征用于身份識別。我們使用DB4小波變換，結(jié)合了實驗的時間復(fù)雜度和運算的效率。

4.5 分割

對經(jīng)過信號處理技術(shù)處理后的CSI數(shù)據(jù)進(jìn)行分割，去除不反映身份信息的部分，我們提出了一種分割算法。檢測信號波動的波動因子，從而獲得手勢的起點和終點。由于志愿者連續(xù)執(zhí)行30組相同的手勢，因此智能手機(jī)接收到的CSI序列是一個連續(xù)的時間序列，需要對接收到的時間序列進(jìn)行分割。從上圖中可以看出，每個周期的數(shù)據(jù)中都有明顯的間隔來分割不同的周期，具體過程如算法1所示。

4.6 模型訓(xùn)練和分類

為了解決WiFi信號中手指手勢動作特征難以高效提取的問題，以及變化率、信號能量、幅度、最大峰值和最小谷值等普通特征由于不同的人具有相似性，所以效果不佳。因此，為了從射頻信號中自動提取更好反映身份的手勢特征，本文提出了一種基于殘差網(wǎng)絡(luò)的深度學(xué)習(xí)算法來提取特征矩陣的深層特征。故本文基于手勢的身份識別系統(tǒng)的分類是基于CNN和ResNet。與直接通過CNN網(wǎng)絡(luò)進(jìn)行識別相比，ResNet網(wǎng)絡(luò)更好地擬合了分類功能，獲得了更高的識別準(zhǔn)確率。網(wǎng)絡(luò)模型如圖3所示。ResNet網(wǎng)絡(luò)是通過多個卷積層和BN層構(gòu)成的，在兩個殘差塊的連接處連接了一個池化層。各層的結(jié)構(gòu)和設(shè)置說明如下。

圖3 模型殘差網(wǎng)絡(luò)結(jié)構(gòu)

殘差模塊：常見的殘差網(wǎng)絡(luò)結(jié)構(gòu)都是由殘差和直接映射組成。殘差塊的設(shè)計與相關(guān)參數(shù)設(shè)置如圖4所示。

圖4 殘差結(jié)構(gòu)設(shè)計

殘差部分包括三個卷積層。每一層卷積層后都連接一個BN標(biāo)準(zhǔn)化（BN），以提高模型的收斂速度。相比Dropout層，BN不僅簡化了參數(shù)調(diào)整過程的步驟，而且大大提高了訓(xùn)練速度。值得一提的是，本文使用的激活函數(shù)是Gelu。直接映射部分連接了一個卷積層和一個1×1的卷積核來匹配輸入的維度。通過實驗驗證，殘差網(wǎng)絡(luò)可以有效解決由于加深網(wǎng)絡(luò)層次而導(dǎo)致的網(wǎng)絡(luò)退化問題，以提取細(xì)化的特征。剩余模塊的其余部分的計算表示如下。

池化層：具有特征矩陣下采樣、擴(kuò)展感知域、降維等功能。在本文中，Maxpool函數(shù)被用作第一個殘差塊之后的池化層。為了簡化網(wǎng)絡(luò)參數(shù)調(diào)整的步驟，增加網(wǎng)絡(luò)的可移植性，在第二個殘差模塊的末尾使用了AdaptivePool2d函數(shù)，它可以獨立于接收到的殘差的輸入張量來處理不同數(shù)據(jù)維度的架構(gòu)。池化層的輸入為x，輸出可以由式（5）計算得出：

卷積層：在這一層，本文使用了1×1的二維卷積核，可以在一定程度上提高模型的表示能力。使用1×1卷積核降維后，為了壓縮網(wǎng)絡(luò)結(jié)構(gòu)和減少參數(shù)，我們并沒有使用全連接層，神經(jīng)元的卷積過程表示為

數(shù)據(jù)展平層（Flatten）：大大減少了參數(shù)的使用，避免了過擬合現(xiàn)象，簡化了網(wǎng)絡(luò)計算。

5 實驗結(jié)果

為了測試模型的性能，我們在真實環(huán)境中進(jìn)行了測試，在實驗中取得了不錯的效果。

5.1 實驗環(huán)境

為了驗證模型的可靠性，本文選擇了兩個真實環(huán)境進(jìn)行驗證。測試環(huán)境1為學(xué)院南樓2號樓一樓實驗室，面積為6m×8m。實驗室環(huán)境相對開闊，障礙物較少，故多路徑組件較少。另一個測試環(huán)境是學(xué)院南樓1號樓二樓的實驗室，面積為10m×15m。這個實驗室里擺滿了各種實驗設(shè)備和家具。是一個典型的復(fù)雜室內(nèi)環(huán)境，環(huán)境中有墻壁、桌椅、書架等靜態(tài)反射器，故障礙物多、多路徑組件多。實驗室旁邊的教室只有上課時間有噪音，實驗室場景如圖5所示。

圖5 實驗室場景圖

5.2 結(jié)果性能分析

不同分組大小的比較分析：本文通過輸入隨機(jī)選擇的不同CSI數(shù)據(jù)分組大小來訓(xùn)練DrawU。當(dāng)人類識別群體規(guī)模為2人～8人時，DrawU在兩種室內(nèi)環(huán)境下的準(zhǔn)確率分別達(dá)到97.86%～100%和97.2%～99.35%。圖6展示了本文所提出的模型在不同實驗場景中的結(jié)果，展現(xiàn)了的系統(tǒng)的魯棒性，在15人的群體中識別準(zhǔn)確率均達(dá)到了92%以上，但隨著識別人數(shù)的增加，相似度變大，識別準(zhǔn)確率避免不了有所下降。圖7是復(fù)雜環(huán)境下8人分組時的混淆矩陣。圖中黑色部分記錄了一個身份被正確識別的頻率，白色部分記錄了一個身份被錯誤識別的頻率。

圖6 不同分組檢測精度

圖7 混淆矩陣

不同激活函數(shù)的比較：在本文中，選擇了Gelu激活函數(shù)。作為一種新穎的激活函數(shù)，與Relu、tanh等其他激活函數(shù)相比，Gelu引入了隨機(jī)正則的思想。是對神經(jīng)元輸入的概率描述，更符合訓(xùn)練過程中的自然理解。然而Relu等其他激活函數(shù)缺少隨機(jī)因素。實驗結(jié)果繪制在圖8中。Gelu作為模型的激活函數(shù)，定義為

圖8 不同激活函數(shù)對準(zhǔn)確性的影響

與現(xiàn)有方法的比較：圖9顯示了DrawU和其他模型在不同分組中的基于手勢的身份識別結(jié)果。觀察實驗結(jié)果，隨著手勢識別規(guī)模的增加，不同模型的識別準(zhǔn)確率或多或少都有所下降。但本文提出的模型具有良好的魯棒性。隨著問題規(guī)模的增加，準(zhǔn)確率仍然保持在很高的水平。

圖9 不同模型對識別精度的影響

6 結(jié)語

身份識別是人類信息安全的重要保障。隨著WiFi設(shè)備的普及，在物理層使用PHY層的感知技術(shù)也正在成為一個新的研究方向。在此前提下，利用現(xiàn)有Wi-Fi協(xié)議（802.11n）中可用的細(xì)膩度CSI，實現(xiàn)基于手勢動作和物理層信息無設(shè)備的身份認(rèn)證。本文提出了一種利用殘差網(wǎng)絡(luò)提取CSI特征矩陣的算法。實驗結(jié)果表明，該系統(tǒng)具有良好的識別性能，8人組的平均識別準(zhǔn)確率為98.1%。但是，也存在一些不足之處。識別準(zhǔn)確率與數(shù)據(jù)預(yù)處理的“清潔”程度有很大關(guān)系，這也促使我們簡化實驗步驟，計算更準(zhǔn)確的特征，避免繁瑣的數(shù)據(jù)處理。使用基于WiFi的手勢識別來增強(qiáng)用戶識別的另一個應(yīng)用領(lǐng)域是軟訪問。比如在智慧教室中，課程老師的手勢可以控制投影設(shè)備，但是一些坐在講臺下的學(xué)生的類似的動作是不被允許控制設(shè)備的。最近，一些團(tuán)隊已經(jīng)實現(xiàn)了交互過程，防止當(dāng)前“智能+”行業(yè)提供的服務(wù)被錯誤地提供給其他用戶，使身份識別不是一次性行為。但是，交互間隔很難確定。因此，在本文中，我們的工作將適用場景設(shè)置為智慧教室，并通過課堂節(jié)奏設(shè)置用戶交互。在未來的工作中，我們將更多地關(guān)注WiFi傳感中的交互。