基于SSGAN的與人無關(guān)的CSI手勢識別

摘 要：為解決目前大多數(shù)基于WiFi的手勢識別算法運(yùn)用于缺乏訓(xùn)練的遺漏用戶手勢時(shí)，算法精度偏低的問題，現(xiàn)提出一種基于SSGAN的與人無關(guān)的CSI手勢識別算法AP-SGGR。首先，從原始CSI子載波中提取幅值和相位序列；其次，對其進(jìn)行離群值去除、巴特沃斯低通濾波去噪以及線性變換等預(yù)處理操作，構(gòu)成聯(lián)合特征的CSI圖像；然后，選取少量遺漏用戶的無標(biāo)簽CSI數(shù)據(jù)，通過半監(jiān)督學(xué)習(xí)，建立起用戶與模型的映射關(guān)系；最后，在大規(guī)模多類型手勢數(shù)據(jù)集上進(jìn)行對比測試，其平均準(zhǔn)確率達(dá)到了91.39%。實(shí)驗(yàn)結(jié)果表明，該算法提高了對遺漏用戶手勢的識別準(zhǔn)確率。

關(guān)鍵詞：物聯(lián)網(wǎng)；人機(jī)交互；手勢識別；SSGAN；信道狀態(tài)信息；半監(jiān)督生成對抗網(wǎng)絡(luò)

中圖分類號：TP183；TN92 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2024）12-00-06

0 引 言

手勢識別作為人機(jī)交互的核心技術(shù)之一，具有廣泛的應(yīng)用前景。目前國內(nèi)外對手勢識別的研究主要分為基于計(jì)算機(jī)視覺、基于可穿戴設(shè)備和基于無線信號等3個(gè)研究方向。

基于計(jì)算機(jī)視覺[1-2]的研究主要借助高清攝像機(jī)采集的圖片或視頻，然后利用圖像處理技術(shù)進(jìn)行特征提取，達(dá)到手勢識別的目的。但該研究方法在昏暗或視野受限的條件下，識別精度有限且易造成隱私泄露等問題；基于可穿戴設(shè)備[3-4]的研究主要依托于人體可接觸的傳感器，并根據(jù)不同行為產(chǎn)生的傳感器變化信息實(shí)現(xiàn)手勢識別，但該研究方法成本高、安全系數(shù)低，不易大規(guī)模應(yīng)用于日常生活。

相較于以上技術(shù)，基于無線信號的手勢識別有更好的普適性，其主要依托于日常生活中常見的WiFi信號，從特定設(shè)備中獲取包含人體行為的信道狀態(tài)信息，并利用其波動特征進(jìn)行動作識別，這種方法具有隱私保護(hù)性強(qiáng)、成本低以及分布廣等特點(diǎn)。文獻(xiàn)[5]引入一種學(xué)習(xí)子空間投影算法消除CSI（Channel State Information）噪聲，并通過帶移位不變特征提取器的循環(huán)神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了手勢識別；文獻(xiàn)[6]基于LSTM模型實(shí)現(xiàn)了對4種不同手勢的識別；文獻(xiàn)[7]通過Bi-LSTM特征融合模型對CSI信號進(jìn)行深層特征提取，實(shí)現(xiàn)了對6種不同手勢的識別。

上述手勢識別方法效果雖然不錯(cuò)，但普遍未考慮已訓(xùn)練模型識別未用于模型訓(xùn)練的用戶手勢時(shí)性能下降的問題（本文稱該類用戶為遺漏用戶）。主要原因是各用戶的身體特征和行為習(xí)慣存在差異，做出相同手勢也會引起不同的信號波動。為此，本文提出一種獨(dú)立于人的手勢識別算法AP-SGGR（Amplitude Phase Semi Supervised Generative Adversarial Networks Gesture Recognition），通過將幅值與相位聯(lián)合的CSI圖像作為特征信號，提升手勢信息的維度，可以更加精準(zhǔn)地捕捉手勢特征，并用SSGAN（Semi Supervised Generative Adversarial Networks）進(jìn)行特征提取，通過半監(jiān)督學(xué)習(xí)，引入少量遺漏用戶的無標(biāo)簽樣本，以建立起該類用戶與模型的映射關(guān)系，提升識別準(zhǔn)確率。最后在大規(guī)模多類型數(shù)據(jù)集上進(jìn)行對比測試，解決目前手勢研究主要集中在小種類手勢識別方面的問題。結(jié)果表明，本算法對遺漏用戶在多類別的手勢識別工作中表現(xiàn)穩(wěn)定。

1 WiFi感知原理

1.1 信道狀態(tài)信息

信道狀態(tài)信息是描述無線通信鏈路信道屬性并考慮影響信號傳播若干因素（如信號散射、環(huán)境衰減和距離衰減）的度量。其揭示了當(dāng)無線信號以多徑方式傳播時(shí)，由于視線路徑中物體的阻擋，產(chǎn)生的信號時(shí)延、幅度衰減和相偏現(xiàn)象[8]。在IEEE 802.11n/ac標(biāo)準(zhǔn)中，使用正交頻分復(fù)用（OFDM）技術(shù)可從物理層測量和解析出CSI數(shù)據(jù)，其中每組CSI數(shù)據(jù)包含幅值和相位信息，具體如式（1）所示：

（1）

式中：H（k）為第k個(gè)子載波的CSI數(shù)據(jù)；|H（k）|為第k個(gè)子載波的幅值數(shù)據(jù)；∠Hk為第k個(gè)子載波的相位數(shù)據(jù)。本文選擇將CSI幅值和相位的聯(lián)合信號作為手勢特征。

1.2 信號動態(tài)傳播模型

在室內(nèi)環(huán)境中，無線信號通常以多徑方式傳播，并且當(dāng)WiFi信號范圍內(nèi)無人時(shí)，無線信道保持相對穩(wěn)定。一旦有人在覆蓋范圍內(nèi)站立或移動，信號傳播路徑將由于信號反射而改變，產(chǎn)生信道干擾，導(dǎo)致CSI數(shù)據(jù)發(fā)生變化。而基于CSI的手勢識別就是通過對WiFi信號覆蓋范圍內(nèi)由于人體運(yùn)動引起的CSI數(shù)據(jù)變化進(jìn)行檢測分析，從而識別人類行為。WiFi信號的傳播模型如圖1所示。

在頻域中，無線信號的動態(tài)傳播可以定義為：

（2）

式中：X（f， t）和Y（f， t）分別為發(fā)射端和接收端的信號；H（f， t）表示信道頻率響應(yīng)（CFR），即信道狀態(tài)信息。

當(dāng)無線信號沿多條路徑到達(dá)接收端時(shí)，CFR表示如下：

（3）

式中：ak（f， t）為第k條路徑的衰減和初相偏移；e-j2πfτk（t）為第k條路徑由時(shí)延τk（t）引起的相位誤差；e-j2πΔft為子載波頻移引起的相位誤差。

總CSI數(shù)據(jù)由靜態(tài)路徑的信道狀態(tài)響應(yīng)和動態(tài)路徑的信道狀態(tài)響應(yīng)2部分組成，具體如式（4）所示：

（4）

式中：Hd（f， t）和Hs（f， t）分別為動態(tài)信道狀態(tài)響應(yīng)和靜態(tài)信道狀態(tài)響應(yīng)。當(dāng)感知用戶執(zhí)行手勢時(shí)，信號中動態(tài)CFR會產(chǎn)生變化，導(dǎo)致總CSI數(shù)據(jù)也產(chǎn)生相應(yīng)變化[9]。本文主要依托于人體手勢動作發(fā)生變化時(shí)獲取的原始CSI數(shù)據(jù)，通過對其進(jìn)行處理分析，最終得到手勢分類結(jié)果。

2 AP-SGGR算法設(shè)計(jì)

AP-SGGR算法主要包括半監(jiān)督訓(xùn)練階段和測試階段，具體流程如圖2所示。將原始CSI數(shù)據(jù)分成無標(biāo)簽的遺漏用戶訓(xùn)練數(shù)據(jù)、帶標(biāo)簽的遺漏用戶測試數(shù)據(jù)以及帶標(biāo)簽的其他用戶訓(xùn)練數(shù)據(jù)。由于WiFi信號易受硬件設(shè)備、周圍環(huán)境等因素的影響，導(dǎo)致原始CSI數(shù)據(jù)中含有大量噪聲，因此需采用預(yù)處理操作消除噪聲數(shù)據(jù)。在訓(xùn)練階段，從訓(xùn)練數(shù)據(jù)中提取CSI幅值和相位序列；然后對幅值序列進(jìn)行離群值剔除、巴特沃斯低通濾波去噪處理，對相位序列進(jìn)行線性變換，消除偏移誤差；最后將經(jīng)過預(yù)處理的幅值和相位序列歸一化，構(gòu)成CSI圖像訓(xùn)練集，輸入SSGAN網(wǎng)絡(luò)中進(jìn)行半監(jiān)督訓(xùn)練。在測試階段，將測試數(shù)據(jù)經(jīng)相同預(yù)處理操作后，輸入已訓(xùn)練好的SSGAN網(wǎng)絡(luò)中進(jìn)行測試識別，并統(tǒng)計(jì)識別準(zhǔn)確率。

2.1 數(shù)據(jù)獲取

本算法所使用的CSI數(shù)據(jù)來源于SignFi[10]公開數(shù)據(jù)集，包括多名用戶的150種日常使用的手勢。在WiFi范圍內(nèi)，人體執(zhí)行每個(gè)手勢動作將產(chǎn)生相對應(yīng)的CSI數(shù)據(jù)，其數(shù)據(jù)格式為200×30×3×1的復(fù)數(shù)矩陣，其中200表示做每個(gè)手勢時(shí)所采集到的數(shù)據(jù)包數(shù)，30表示每個(gè)CSI數(shù)據(jù)包中30個(gè)OFDM子載波信息，3表示接收端天線數(shù)量，1表示發(fā)射端天線數(shù)量。每個(gè)數(shù)據(jù)包的CSI數(shù)據(jù)如式（5）所示：

（5）

式中：Hi， j為每個(gè)子載波的CSI值；i為第i根接收天線；j為第j個(gè)子載波。

2.2 數(shù)據(jù)預(yù)處理

由于WiFi信號易受多徑傳播、信號衰減等因素干擾，使得原始CSI數(shù)據(jù)出現(xiàn)噪聲過大等問題，不能直接使用。因此，需對CSI數(shù)據(jù)進(jìn)行預(yù)處理，去除噪聲干擾。

2.2.1 幅值去噪

（1）離群值剔除

當(dāng)WiFi設(shè)備通信狀態(tài)不佳或受到外界干擾時(shí)，會產(chǎn)生區(qū)別于其他信號的異常值（或稱離群值），若不移除，該突變數(shù)據(jù)將導(dǎo)致手勢識別準(zhǔn)確率降低。為此，本文采用Hampel算法消除離群值[11]，利用移動平均窗口的方法發(fā)現(xiàn)原始CSI幅值序列{X|x1， x2， ...， xn}中的離群值，并用其中位數(shù)來代替，從而消除異常數(shù)據(jù)帶來的負(fù)面影響。將式（6）范圍之外的所有點(diǎn)定義為離群值：

（6）

式中：i為第i個(gè)原始CSI幅值數(shù)據(jù)；k為數(shù)據(jù)左右窗口的大小；μi， k為窗口的中位數(shù)；σ為中位數(shù)絕對偏差的標(biāo)準(zhǔn)差；γ為剔除因子。

（2）巴特沃斯低通濾波

去除異常值后，接下來需要去除CSI幅值序列中的噪聲。在本文所研究的手勢識別中，人體運(yùn)動部位主要是手臂，其振頻較低，而噪聲主要分布在較高頻率的細(xì)節(jié)信息中。鑒于該特點(diǎn)，本文選擇巴特沃斯低通濾波器，主要考慮到其具有通帶內(nèi)最平坦的頻率響應(yīng)，不會對手勢信息造成較大的失真，從而提升特征提取的效果。

圖3為原始CSI子載波幅值序列和濾波后的幅值序列對比圖。

2.2.2 相位去噪

相位作為一種對動作變化敏感的特征信息，可以用于識別不同的手勢動作，但由于WiFi收發(fā)設(shè)備的采樣時(shí)鐘和頻率不同步，導(dǎo)致接收端采樣得到的相位存在一定偏差，使得其無法準(zhǔn)確反映環(huán)境中的手勢變化。為盡可能恢復(fù)其規(guī)律，需采用一種有效的相位校正方法來緩解相位偏移。

未經(jīng)校正的接收端采樣得到的第i個(gè)子載波的測量相位φi'如式（7）所示：

（7）

式中：φi表示真實(shí)相位值；Δt表示采樣頻率偏移導(dǎo)致的時(shí)間偏移；β表示未知的相位偏移；Z表示測量噪聲；mi表示從-28到28的30個(gè)子載波的索引；N表示快速傅里葉變換點(diǎn)數(shù)，在IEEE 802.11n標(biāo)準(zhǔn)中，規(guī)定其為64。由于Δt和β未知，無法獲得真實(shí)相位，本文選擇通過線性變換消除未知誤差。

將整個(gè)頻帶上的相位斜率和偏移量分別定義為l1和l2。由于30個(gè)子載波是對稱的，可以推斷出：

（8）

因Z較小，可以忽略不計(jì)，通過將測量相位φi'減去線性項(xiàng)l1mi+l2，即可得到真實(shí)相位φi的線性組合值：

（9）

由此消除了Δt和β未知誤差。圖4為原始CSI子載波相位序列和線性變換后的相位序列對比圖。

2.3 CSI圖像構(gòu)建

由于CSI描述的是WiFi信號在接收天線與發(fā)射天線之間的子載波信道信息，而不同天線對因手勢動作變化引起的數(shù)據(jù)波動存在差異，為保證手勢特征信息的完整性，本文設(shè)計(jì)將3個(gè)天線對上經(jīng)濾波和校正后的幅值和相位序列矩陣轉(zhuǎn)換成三通道的CSI圖像。具體每個(gè)通道的構(gòu)建過程如

式（10）～式（12）所示：

（10）

（11）

（12）

式中：t表示CSI子載波流的數(shù)據(jù)包數(shù)；m表示CSI子載波數(shù)；HA表示幅值序列的浮點(diǎn)數(shù)矩陣；HAmt表示CSI子載波流的

第m條子載波的第t個(gè)幅值數(shù)據(jù)；HP為相位序列的浮點(diǎn)數(shù)矩陣；HPmt表示CSI子載波流的第m條子載波的第t個(gè)相位數(shù)據(jù)；H表示每對天線對上幅值與相位序列合并而成的聯(lián)合矩陣。

為提高模型在訓(xùn)練過程中的數(shù)值穩(wěn)定性、收斂速度以及泛化能力，需將聯(lián)合矩陣?yán)锏母↑c(diǎn)數(shù)映射為[-1，1]區(qū)間的數(shù)：

（13）

（14）

（15）

式中：HA'表示映射后的新幅值序列矩陣；HP'表示映射后的新相位序列矩陣；H'表示映射后的新聯(lián)合矩陣。將其他2個(gè)天線對上的數(shù)據(jù)流按同樣的方式處理，即可獲得CSI圖像。

2.4 基于SSGAN的CSI手勢識別模型

文獻(xiàn)[12]于2014年提出了一種由生成器和判別器組成的生成式模型GAN。其中，生成器將隨機(jī)噪聲張量z作為輸入，輸出為與真實(shí)樣本x保持相似特征分布的偽樣本G（z）；判別器將真實(shí)樣本x和偽樣本G（z）作為輸入，輸出屬于真實(shí)樣本的概率值，其目的是準(zhǔn)確判別出哪些樣本屬于真實(shí)樣本，哪些樣本屬于偽樣本。

但GAN主要用于圖像生成和二分類領(lǐng)域，為實(shí)現(xiàn)多分類的手勢識別任務(wù)，本文選擇SSGAN作為識別模型。原因是SSGAN將輸出層的Sigmoid激活函數(shù)替換為Softmax激活函數(shù)，實(shí)現(xiàn)了從判別真?zhèn)螛颖镜秸鎸?shí)標(biāo)簽多分類的轉(zhuǎn)變，使得生成的對抗網(wǎng)絡(luò)不僅具備生成和判別真?zhèn)蔚哪芰Γ瑫r(shí)還具有多分類功能，能更好地完成多類別的手勢識別工作。與此同時(shí)，SSGAN網(wǎng)絡(luò)中判別器的輸入除G（z）和無標(biāo)簽樣本xu外，還增加了帶標(biāo)簽樣本（xl， y）指導(dǎo)訓(xùn)練。假設(shè)對于一個(gè)M分類任務(wù)，把偽樣本標(biāo)記為M+1類，最后經(jīng)判別器的輸出層輸出判別結(jié)果，由M維擴(kuò)展至M+1維。基于SSGAN的CSI手勢識別模型結(jié)構(gòu)如圖5所示。

2.4.1 生成器

將1個(gè)100維的隨機(jī)噪聲張量z輸入到生成器中，通過全連接層映射為25×5×512的3維張量，然后經(jīng)過3層轉(zhuǎn)置卷積層進(jìn)行上采樣，實(shí)現(xiàn)對特征圖的擴(kuò)充。前2層使用ReLU激活函數(shù)，最后1層使用Tanh激活函數(shù)。3次上采樣后，最后輸出張量大小為200×60×3的偽樣本。生成器的結(jié)構(gòu)參數(shù)見表1。

2.4.2 判別器

在判別器中，使用9層卷積層和1層全連接層，其中卷積層的激活函數(shù)設(shè)置為LeakyReLU函數(shù)，且在每3層卷積層后加入池化層和dropout層，用于簡化判別器的復(fù)雜度，防止過擬合。首先將偽樣本、帶標(biāo)簽樣本和無標(biāo)簽樣本圖像一同輸入到判別器中，經(jīng)卷積層進(jìn)行下采樣，實(shí)現(xiàn)特征提取。再利用Flatten展平特征參數(shù)，加速網(wǎng)絡(luò)收斂，通過1層全連接層（激活函數(shù)設(shè)置為Softmax函數(shù)），輸出M+1個(gè)類別概率值。判別器的結(jié)構(gòu)參數(shù)見表2。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)設(shè)計(jì)

鑒于當(dāng)前研究主要集中在手勢類型較少的場景，無法滿足日常生活的需要。為此，本文將實(shí)驗(yàn)條件設(shè)置為同時(shí)測試50種手勢，并與文獻(xiàn)[10]提出的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行綜合性實(shí)驗(yàn)對比。

3.2 實(shí)驗(yàn)環(huán)境

本文進(jìn)行的所有實(shí)驗(yàn)均依托于Python 3.7.5下的谷歌深度學(xué)習(xí)框架Tensorflow 1.15。硬件配置見表3。

3.3 實(shí)驗(yàn)分析

3.3.1 半監(jiān)督學(xué)習(xí)下測試遺漏用戶手勢的表現(xiàn)

為評估本算法在半監(jiān)督學(xué)習(xí)下對遺漏用戶的手勢識別性能。隨機(jī)選取數(shù)據(jù)集中的一個(gè)用戶作為遺漏用戶，并把該用戶數(shù)據(jù)分成非重疊的無標(biāo)簽訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，而其他用戶數(shù)據(jù)作為標(biāo)簽訓(xùn)練數(shù)據(jù)。

（1）標(biāo)簽訓(xùn)練樣本大小對遺漏用戶手勢識別的影響

標(biāo)簽樣本作為SSGAN網(wǎng)絡(luò)進(jìn)行半監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)之一，不同數(shù)量的標(biāo)簽樣本會對本算法的識別準(zhǔn)確率產(chǎn)生影響。為驗(yàn)證本算法在不同標(biāo)簽樣本下的迭代擬合能力，本文隨機(jī)選取了l=（20%，40%，60%，80%，100%）的標(biāo)簽樣本進(jìn)行對比測試，結(jié)果如圖6所示。

從圖6中觀察可知，隨著標(biāo)簽樣本比例的增加，本算法的識別準(zhǔn)確率也在提升，且在不同的標(biāo)簽數(shù)據(jù)下，均取得了最優(yōu)的手勢識別準(zhǔn)確率。實(shí)驗(yàn)表明：標(biāo)簽樣本的大小對本算法的識別性能有顯著影響，且需要一定數(shù)量的標(biāo)簽數(shù)據(jù)才能達(dá)到較好的識別性能。當(dāng)選擇l=60%的標(biāo)簽數(shù)據(jù)時(shí)，本算法的識別準(zhǔn)確率超過85%，接近所有標(biāo)簽數(shù)據(jù)參與訓(xùn)練時(shí)的準(zhǔn)確率。

（2）無標(biāo)簽訓(xùn)練樣本大小對遺漏用戶手勢識別的影響

上節(jié)實(shí)驗(yàn)已證明本算法能有效利用標(biāo)簽樣本來提升對遺漏用戶的識別性能。但目前尚不清楚本算法是否可以有效利用無標(biāo)簽樣本。

為此，本小節(jié)實(shí)驗(yàn)隨機(jī)選取u=（20%，40%，60%，80%，100%）的無標(biāo)簽樣本參與SSGAN網(wǎng)絡(luò)的半監(jiān)督訓(xùn)練，實(shí)驗(yàn)結(jié)果如圖7所示。隨著u的增大，準(zhǔn)確率不斷提升，且本算法在不同的無標(biāo)簽數(shù)據(jù)下，均取得了最優(yōu)的手勢識別準(zhǔn)確率。當(dāng)u=20%時(shí)的準(zhǔn)確率僅比u=100%時(shí)低5.42個(gè)百分點(diǎn)。結(jié)果表明，即使采用少量的遺漏用戶的無標(biāo)簽數(shù)據(jù)，本算法也可以很好地學(xué)習(xí)該用戶特征，提高對遺漏用戶的手勢識別準(zhǔn)確率。

3.3.2 監(jiān)督學(xué)習(xí)下測試遺漏用戶手勢的表現(xiàn)

當(dāng)不存在遺漏用戶的無標(biāo)簽數(shù)據(jù)時(shí)，不能通過捕獲遺漏用戶特征來提高模型手勢識別性能。為驗(yàn)證此條件下本算法對遺漏用戶的識別能力，隨機(jī)將數(shù)據(jù)集中的一個(gè)用戶數(shù)據(jù)作為遺漏用戶測試集，其他用戶數(shù)據(jù)作為標(biāo)簽訓(xùn)練集。但為滿足半監(jiān)督訓(xùn)練的輸入要求，從標(biāo)簽訓(xùn)練集中隨機(jī)選取一小部分標(biāo)簽樣本作為無標(biāo)簽樣本用于SSGAN訓(xùn)練，具體結(jié)果見表4。研究表明，本算法在沒有遺漏用戶數(shù)據(jù)的場景中仍有效。

3.3.3 泛化能力的驗(yàn)證

為評價(jià)本算法在實(shí)際應(yīng)用中的能力，選取2種指標(biāo)進(jìn)行驗(yàn)證，包括不同的手勢類別數(shù)和遺漏用戶。

（1）不同手勢類別數(shù)對手勢識別的影響

為評估本算法在不同手勢種類中的表現(xiàn)，隨機(jī)選取SignFi數(shù)據(jù)集中的50、130和150種手勢進(jìn)行識別，結(jié)果見表5。其中，本算法在50種手勢時(shí)的準(zhǔn)確率為90.42%，130種手勢時(shí)的準(zhǔn)確率為86.60%，150種手勢時(shí)的準(zhǔn)確率為70.14%。隨著手勢種類數(shù)量的增加，識別準(zhǔn)確率在下降。這是因?yàn)槭謩荻鄻有缘脑黾邮沟媚Ｐ偷膶W(xué)習(xí)任務(wù)變得更加復(fù)雜，并且削弱了其對遺漏用戶特征分布的學(xué)習(xí)能力。但總體來說，本算法足以滿足日常生活的需要。

（2）不同遺漏用戶對手勢識別的影響

為驗(yàn)證本算法在不同遺漏用戶中的魯棒性，隨機(jī)選取SignFi數(shù)據(jù)集中的3個(gè)用戶分別作為遺漏用戶，結(jié)果見表6。其中，3個(gè)用戶的準(zhǔn)確率分別為90.42%、87.08%、96.67%，平均準(zhǔn)確率為91.39%。實(shí)驗(yàn)結(jié)果表明，本算法針對不同的遺漏用戶仍具有不弱的泛化和識別能力。

綜上所述，本算法能勝任多個(gè)場景下的手勢識別工作，具有較強(qiáng)的泛化能力，可滿足日常需求。

4 結(jié) 語

本文提出了一種基于SSGAN網(wǎng)絡(luò)的手勢識別算法AP-SGGR，該算法利用生成對抗網(wǎng)絡(luò)通過半監(jiān)督訓(xùn)練的方法，提高了對遺漏用戶的手勢識別。首先將原始CSI數(shù)據(jù)分成無標(biāo)簽的遺漏用戶訓(xùn)練數(shù)據(jù)、帶標(biāo)簽的遺漏用戶測試數(shù)據(jù)以及帶標(biāo)簽的其他用戶訓(xùn)練數(shù)據(jù)。訓(xùn)練數(shù)據(jù)經(jīng)異常值去除、低通濾波去噪、線性變換消除相位偏移誤差、歸一化等預(yù)處理操作后，輸入到SSGAN網(wǎng)絡(luò)中，通過調(diào)節(jié)各參數(shù)以進(jìn)行半監(jiān)督學(xué)習(xí)。將測試數(shù)據(jù)經(jīng)相同預(yù)處理操作后，輸入到訓(xùn)練好的SSGAN網(wǎng)絡(luò)中進(jìn)行測試識別，最終實(shí)現(xiàn)了在多場景下對遺漏用戶的多類型手勢識別。與傳統(tǒng)手勢識別方法相比，本算法從信息利用角度出發(fā)，通過聯(lián)合CSI幅值與相位信息，增強(qiáng)了手勢特征，并利用半監(jiān)督學(xué)習(xí)建立起模型與遺漏用戶的映射關(guān)系，捕獲了遺漏用戶的手勢相關(guān)信息，從而提高了對該用戶手勢識別的準(zhǔn)確率。此外，本文探討了選取不同標(biāo)簽數(shù)據(jù)對算法識別遺漏用戶手勢準(zhǔn)確率的影響、不同無標(biāo)簽數(shù)據(jù)對算法識別遺漏用戶手勢準(zhǔn)確率的影響，以及不同手勢種類和遺漏用戶對算法識別準(zhǔn)確率的影響。結(jié)果表明，本算法對遺漏用戶具有較高的手勢識別準(zhǔn)確率。

鑒于CSI在不同環(huán)境下特征表現(xiàn)不同，對環(huán)境存在一定的依賴性，因此如何減少環(huán)境干擾，實(shí)現(xiàn)高精度的跨環(huán)境手勢識別是未來工作的重點(diǎn)研究內(nèi)容。

注：本文通訊作者為楊嘉。

參考文獻(xiàn)

[1] MA R， ZHANG Z， CHEN E. Human motion gesture recognition based on computer vision [J]. Complexity， 2021： 1-11.

[2] OUDAH M， AL-NAJI A， CHAHL J. Hand gesture recognition based on computer vision： a review of techniques [J]. Journal of imaging， 2020， 6（8）： 73.

[3] NGUYEN-TRONG K， VU H N， TRUNG N N， et al. Gesture recognition using wearable sensors with bi-long short-term memory convolutional neural networks [J]. IEEE sensors journal， 2021， 21（13）： 15065-15079.

[4] YUAN G， LIU X， YAN Q， et al. Hand gesture recognition using deep feature fusion network based on wearable sensors [J]. IEEE sensors journal， 2020， 21（1）： 539-547.

[5] KHAN D A， RAZAK S， RAJ B， et al. Human behaviour recognition using WiFi channel state information [C]// ICASSP 2019-2019 IEEE International Conference on Acoustics， Speech and Signal Processing（ICASSP）. Brighton， UK： IEEE， 2019： 7625-7629.

[6]劉佳慧，王昱潔，雷藝.基于LSTM的CSI手勢識別方法[J].計(jì)算機(jī)科學(xué)，2019，46（z2）：283-288.

[7]郭浩雨，馮秀芳.基于Bi-LSTM的CSI手勢識別算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2022，43（9）：2614-2621.

[8] LEE C C， HUANG X C. Human activity detection via wifi signals using deep neural networks [C]// 2018 IEEE/ACM International Conference on Utility and Cloud Computing Companion（UCC Companion）. [S.l]： [s.n.]， 2018： 3-4.

[9] CHOI J S， LEE W H， LEE J H， et al. Deep learning based NLOS identification with commodity WLAN devices [J]. IEEE transactions on vehicular technology， 2017， 67（4）： 3295-3303.

[10] MA Y， ZHOU G， WANG S， et al. Signfi： sign language recognition using wifi [J]. Proceedings of the ACM on interactive， mobile， wearable and ubiquitous technologies， 2018， 2（1）： 1-21.

[11] LI T， SHI C， LI P， et al. A novel gesture recognition system based on CSI extracted from a smartphone with nexmon firmware [J]. Sensors， 2020， 21（1）： 222.

[12] GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks [J]. Communications of the ACM， 2020， 63（11）： 139-144.

基金項(xiàng)目：重慶市教育委員會科學(xué)技術(shù)研究項(xiàng)目（KJQN202000 615）

作者簡介：高 云（1981—），女，在讀博士研究生，副教授，研究方向?yàn)槲锫?lián)網(wǎng)應(yīng)用技術(shù)、人工智能。