基于小樣本和隨機化的跨域人體動作泛化識別模型

摘 要：隨著IEEE 802.11bf標準的發布，WiFi感知技術已從學術研究走向工業應用。針對現有人體動作識別在域內能夠準確感知，但面對跨域場景時模型識別性能差的問題，提出了一種基于小樣本和隨機化的跨域人體動作泛化識別模型SSRCD-Fi。首先，使用特征提取器將輸入樣本映射到向量空間，實現同一動作的樣本聚集、不同動作的樣本分離；然后針對新的場景域，通過隨機化方法和少量被標記樣本計算出動作的原型表示；最后，計算查詢樣本與動作原型之間的距離，從而實現了人體動作的分類。實驗結果和分析表明，SSRCD-Fi能夠實現魯棒的跨域人體動作的泛化感知，在不可見的用戶和位置上實驗準確率分別為92.73%和97.99%。實驗代碼公開在：https：//github.com/4three2one/SSRCD-Fi。

關鍵詞：人體動作識別；小樣本；隨機化；跨域泛化感知

中圖分類號：TP391.41"" 文獻標志碼：A""" 文章編號：1001-3695（2025）03-027-0849-07

doi： 10.19734/j.issn.1001-3695.2024.05.0308

Cross domain human action generalization recognition model based on small sample size and randomization

Hu Ming1， 2， Xu Jiawei2， Zhao Lijun3， Wang Yang2， Ouyang Shaoxiong2， Hou Hailun2

（1.School of Network Engineering， Wuhu Institute of Technology， Wuhu Anhui 241002， China; 2. School of Computer amp; Information， Anhui Normal University， Wuhu Anhui 241000， China; 3. Yangtze River Delta Region Hart Robotics Industry Technology Research Institute， Wuhu Anhui 241000， China）

Abstract：The release of the IEEE 802.11bf standard propels WiFi sensing technology from academic research to industrial applications. Existing human action recognition models perform well within a single domain， but their recognition accuracy significantly deteriorates in cross-domain scenarios. To address this issue， this paper proposed a small sample and randomized cross-domain human action generalization recognition model called SSRCD-Fi to achieve cross-domain human action generalization perception in WiFi. The SSRCD-Fi model operated in several steps. Firstly， it" used a feature extractor to map input samples to a vector space， achieved sample aggregation for the same action and sample separation for different actions. Then， for a new scene domain， randomization and a small number of labeled samples could calculate the prototype representation of the action. Finally， it calculated the distance between the query sample and the action prototype achieves the classification of human actions. The experimental results and analysis show that SSRCD-Fi can achieve robust cross domain generalization perception of human actions， with accuracies of 92.73% and 97.99% for unseen users and locations， respectively. The experimental code of this article is publicly available at： https：//github.com/4three2one/SSRCD-Fi .

Key words：human motion recognition; small sample; randomization; cross domain generalization perception

0 引言

人體動作識別一直是計算機視覺和無線感知研究領域的關鍵研究內容之一［1～5］。隨著視頻網絡信息量的急劇增加，傳統的機器學習方法如基于人體關節點、基于時空興趣點和基于密集軌跡等已經不能滿足日益增長的應用需求，因此人體動作識別的關鍵技術已經轉向應用深度學習和WiFi感知技術融合的方式。其難點主要在于：a）場景的復雜性。場景復雜性主要是影響動作識別的準確性，在不同角度、不同光照下，場景所呈現的信息往往不同，相同的人體動作通常也會產生較為明顯的差異；此外，對于人體活動尺度較大、不同人的外型和人體自遮掩、部分物體遮掩等問題也都是人體動作識別中場景信息復雜性的體現，對動作識別準確性有很大影響。 b）動作邊界的模糊性。對于實時視頻來說，其中可以包括多個動作，并且每個動作的延續時間長短不同、速度變化快，不能在時間上對動作邊界進行準確的定位，也不能在時域和時序范圍內對人體動作進行更加精細的分析。 然而，模糊的動作邊界在很大程度上會減弱動作識別的準確度，并且對動作識別效率也有較大影響。

基于WiFi的感知工作利用細粒度的物理層屬性信道狀態信息（channel state information，CSI）來測量人體在WiFi環境下執行動作（如走動或肘部移動）對無線信號的特定變化。然而，無線信號歷經多徑傳播，采集到的CSI樣本中不僅包含人體動作信息同時包含環境信息。圖1顯示同一動作跨域（跨用戶、跨位置、跨方向）且相同動作轉換兩次時，CSI幅度的變化情況。可以看出 CSI幅值模型存在顯著差異，此現象被稱為域轉移（domain shift）。具體來說，圖1（a）顯示的是位置相同、方向相同、僅用戶不同時CSI振幅的變化情況；圖1（b）顯示的是在用戶相同、方向相同、僅位置不同時CSI振幅的變化情況；圖1（c）顯示的是在用戶相同、位置相同、僅方向不同時CSI振幅的變化情況。

現有基于深度學習的WiFi感知方案，主要從同一域采集一定量的標記數據進行訓練和測試，因此域轉移會直接影響模型性能［５］。以ARIL（activity recognition and indoor localization）模型［６］為例，在同一位置上訓練和測試時平均準確率可以達到80%以上，然而訓練模型時使用位置為1～10的數據，測試的數據為11～16位置上時，模型活動識別準確率僅為36.79%。為了進一步說明域轉移對模型的影響，圖2使用t-SNE分別可視化源域數據和目標域數據（見電子版），展示了經過ARIL模型的編碼層輸出的向量化表征（embeddings）。當測試數據為不可見的目標域時，同類動作向量化的可視化點非常分散，說明模型不能有效學習到目標域數據中同類動作的共性特征表示。

為了解決WiFi跨域感知的問題，學術界已經提出了多種解決方案，主要包括基于域無關特征、基于遷移學習、基于域對抗訓練和基于少樣本學習等［7～13］。基于域無關特征的方法通常不僅需要手動設計特征，而且依賴于多個特征提取器。基于遷移學習的思想旨在利用預訓練模型，將源域的知識遷移到新的目標域中。然而實際場景下，當源域和目標域之間存在較大差異時，可能會出現負遷移現象。域對抗訓練可以促使特征提取器學習到具有泛化能力的特征表示，從而在新的目標域上有更好的性能表現，但目前基于域對抗訓練的方法依賴大量來自源域和目標域的樣本進行訓練。基于少樣本學習的方法利用少量目標域數據就可將源域映射到目標域，并且不需要重新訓練模型，但小樣本學習器并不能學習到域無關的特征表示，僅在基本集的多個任務下找到最優的起點，以便快速適應測試任務。

1 問題分析與系統模型

WiFi信號經歷多徑傳播過程的時變特性導致環境的改變最終反映在正交頻分復用（orthogonal frequency division multiplexing，OFDM）系統中每個子載波的子信道參數上，因此在WiFi環境下，人體的活動會引起CSI在時間和子信道參數上的變化［14，15］。WiFi感知首先需要搭建數據采集環境采集數據，一般包括發射端和接收端，如發射端為一臺商用無線路由器，接收端為一臺配有Intel 5300網卡的電腦。通常采集的CSI數據充滿噪聲，并且接收端收到的數據也可能出現丟包，這時需要對收集的數據使用信號處理技術進行降噪，丟失過多的包需要進行插值。接著需要根據具體場景設計合理的模型來感知目標任務。有了模型和數據后還需要經過訓練，找到最優的模型參數，才可以實現魯棒的感知，且不同的訓練方式也決定模型優化方向。

1.1 問題分析

小樣本學習（few-shot learning，FSL）的目標是解決在數據稀缺條件下模型仍可以進行有效學習的問題。傳統的深度學習算法訓練模型時依賴大量樣本數據，而小樣本學習從極少的標注樣本中提取并學習到有效的特征，在新的少量樣本上同樣可以進行準確預測。為了實現小樣本學習，其中常見的方法是元學習。小樣本學習作為一種元學習技術，在計算機視覺領域已經得到廣泛應用。傳統深度學習模型旨在學習數據獨有的特征表示，并以此預測所對應的類別標簽。相比之下，FSL的特征提取器使用基本集（訓練集）預訓練，接著利用少量標記數據構建支持集，并通過查詢集和支持集特征表示的相似性進行預測。最近，FSL技術同樣被應用在WiFi感知領域，以解決域轉移問題。一般而言，機器學習的目標是設計一個可以從訓練數據中學習知識的模型，然后將模型應用在新的測試數據上。傳統的機器學習模型是假設訓練數據和測試數據獨立同分布的，然而在實際場景下訓練和測試數據的分布并不是一致的，特別是在無線感知領域，訓練與測試數據的分布往往差異很大，機器模型的性能因此也會大大降低。域泛化學習的目標在于增強模型在訓練和測試數據分布不一致，并且測試數據完全不可見的情況下的泛化能力。現有實現域泛化的主要方式有：a）數據操作。其專注于通過操作輸入數據來輔助模型學習泛化特征表示，常見技術有：（a）數據增強，對輸入數據進行增強、隨機化和變換；（b）數據生成，通過生成多樣化的樣本實現泛化。b）表征學習。其是領域泛化中最常用方式，主要有：（a）域不變表征學習，包括核方法、對抗訓練或不變風險最小化等；（b）特征解纏，將特征解纏為域共享或域特定，從而得到更好的泛化效果。c）學習策略。利用學習策略提高模型的泛化特征表示能力，主要有：（a）集成學習，依賴于集成的方法學習到通用且泛化的預測函數；（b）元學習，構建元學習任務模擬域轉移，以此學習到泛化表征；（c）分布魯棒性優化，優化訓練領域最壞情況分布場景的方法；（d）梯度操作，直接對梯度進行操作來學習到泛化表示；（e）自監督學習，設計好的前置任務學習到泛化特征表示。

本文設計了基于小樣本和隨機化的跨域WiFi人體動作泛化識別模型：SSRCD-Fi。首先，特征提取器將輸入樣本映射到向量空間，同一動作的樣本被聚集，不同動作的樣本被分離；然后，面對新域僅需要少量標記樣本，即可計算出原型表示；最后，計算查詢樣本與原型之間的距離實現分類。

1.2 系統模型

為了讓SSRCD-Fi特征提取器學習到動作相關但域無關的特征表示，本節對原型網絡進行如下改進：a）在特征提取器上加入子載波注意力結構，讓特征提取器更關注受人體動作影響更為顯著的子載波信號；b）加入共享特征提取器的動作分類器，輔助原型網絡更好地學習到每類動作的原型表示；c）將嵌入的特征表示的均值和方差作為域風格，然后對特征使用域風格隨機化，迫使特征提取器學習到域無關的特征表示。

圖3直觀展示了SSRCD-Fi模型的學習過程，顏色一致為同類動作，形狀一致為同一個域（見電子版）。模型首先需要學習同類動作的原型表示，動作分類器輔助原型網絡將同類動作更好地聚集，不同類別的動作盡量遠離，但僅使用原型網絡和動作分類器，學習到的原型表示會受到域信號的影響，如圖3會聚集顏色一致但形狀不同的向量。因此，本節加入域隨機化，讓模型在模糊的域風格向量下學習到域無關的原型表示。

2 實驗設計與結果分析

2.1 數據集選擇

本節在三個人體動作數據集上驗證SSRCD-Fi模型的跨域感知能力：

a）ARIL（action recognition and indoor localization dataset）數據集［6］。該數據集支持人體動作識別和室內定位的聯合任務，具體為單個房間內的15個位置上的6種活動，包括手向上、手向下、手向左、手向右、手繞圈和手交叉的具體動作。ARIL 數據集中的 CSI 樣本使用通用軟件無線電外圍設備（universal software radio peripherals，USRP）收集，每個CSI樣本的數據形狀為 1×52×192，域信息僅有位置。記錄活動期間的CSI信息后，并對數據進行去噪和歸一化等預處理，以提取關鍵特征。隨后，通過特征提取分析出如幅度和相位等特征，并將每個樣本關聯到具體的活動標簽。利用圖表和熱圖等可視化方法展示不同活動在特征空間中的分布差異，使用機器學習或深度學習模型進行訓練，實現自動識別。最后，通過驗證集評估模型的準確性、精確率和召回率，并使用混淆矩陣分析不同活動的分類準確性，從而將每種活動映射為可識別的結構化數據，支持后續的分析和應用。

b）CSIDA（channel state information data for applications）數據集［7］。其為基線模型WiGr［7］所采集，基于Atheros網卡平臺，由一個發射端和一個接收端組成，工作在5 GHz的monitor模式，信道帶寬為40 MHz，子載波數量為114個，采樣頻率為1 kHz，經過預處理后每個CSI樣本的數據形狀為3×114×1 800，域信息包括位置、人員、房間。

c）本文數據集。數據采集平臺由1個路由器和1臺配有Intel 5300 網卡的電腦組成，路由器充當發射器，安裝Intel 5300 網卡的電腦充當接收器。本文數據集采集了6種動作，包括滑動、推手、畫圈、舉手、鼓掌和握拳。經過處理后每個CSI樣本形狀為3×30×500，域信息位置、人員。

2.2 實驗環境及參數

本節具體的跨域實驗包含多種子實驗，如跨位置實驗中，對每名人員不同位置上進行實驗，因此本節后續實驗均以多次實驗的平均精度（mean Acc）作為評價指標。訓練模型時均使用Adam優化器，學習率統一為5E-4，Lf損失的權重λ設為1，迭代次數為300輪。訓練框架選用的PyTorch-lightning版本為1.1.8，對應的PyTorch版本為1.8.0。具體實驗環境如表1所示。

2.3 域內識別結果

本節首先驗證模型在同一個域下，其小樣本學習能力。圖7給出了在各個數據集上6-way 1-shot識別結果的混淆矩陣（這里混淆矩陣的準確率值相對較簡單，因為在同一域上的同一類動作測試的樣本數量也較少）；最終得到在ARIL、CSIDA、本文數據集的識別結果，對應的準確率分別為83.3%、91.67%和87.5%。

可以看到在域內環境下，本文在自采集的真實場景下的六種動作實驗結果如圖7（c）所示，其中Y軸代表實際的動作類別，X軸代表預測的動作類別。可以看到模型對slide、raise、fist這三種動作正確預測分類表現非常好，正確率達到100%；push動作被正確預測分類概率為88%，12%的錯誤分類為slide；circle動作被正確預測分類概率為88%，12%的錯誤分類為fist；clap動作被正確預測分類概率僅僅50%，25%被錯誤預測為push，另外25%被錯誤預測為fist。出現上述部分動作分類不精準的原因可能是某些動作在執行時存在較高的相似性，導致模型難以區分。例如，clap和fist可能在某些特定姿勢或動作過程中有相似的特征（如手部動作或肢體運動軌跡），這可能導致模型將clap誤分類為 fist，push和 clap可能在手臂或手部的初始或終止位置相似，導致模型在某些情況下無法準確區分。另外也可能是特征提取不足，模型可能在特征提取過程中未能捕捉到某些動作類別的關鍵特征。例如，clap動作可能涉及到雙手接觸的細微特征，如果模型未能有效捕捉這些特征，可能會導致誤分類。雖然存在一定動作分類的誤差，但模型整體性能優異，實驗效果顯著，保證了SSRCD-Fi模型在域內環境下的魯棒性。

2.4 跨域識別結果

本節進一步在三個數據集上測試了模型的跨域實驗結果，實驗包括了跨位置、跨用戶、跨場景。對于每個跨域實驗，本節僅改變單個域信息。

a）跨位置分析。在ARIL［6］、本文數據集上進行了跨位置實驗。其中，ARIL包含的位置有16個；本文數據集共包含4個位置。圖８（a）表明1-shot平均準確率分別為60%、78%左右，可以看到隨著支持集樣本數量增加，模型在ARIL、本文數據集跨位置性能也隨之提升，當3-shot時本文數據集與ARIL的平均準確率相近，表明本文模型在跨位置自采集的真實場景下的實驗效果顯著，能很好地識別每種動作，并且可以很好地在實際場景中進行具體應用。

b）跨用戶分析。在CSIDA和本文數據集上進行了跨人員實驗，CSIDA和本文數據集人員分別為5與4名。如圖8（b）中所示，在兩個數據集上1-shot平均準確率分別在70%、90%左右，隨著支持集樣本數量增加，模型在CSIDA上的平均準確率達到95%以上。從圖8（b）可以觀察到，在3-shot時本文數據集在跨用戶上平均準確率達到將近90%，表明本文模型在跨用戶環境中自采集的真實場景下的有效性和適用性。

c）跨場景分析。跨場景實驗僅在CSIDA上進行，圖8（c）表明，1-shot、2-shot和3-shot的平均結果在80%～90%。

2.5 與其他模型對比

本文對比的其他模型分別為WiGr［7］、EI［8］、JADA［9］，其中EI與JADA基于域對抗學習，WiGr基于小樣本學習。表2給出具體比較結果：a）JADA使用4個階段的訓練方式，其參數量最高，本文SSRCD-Fi因為加入注意力機制以及域模糊，其參數量相較于WiGr更高；b）SSRCD-Fi、WiGr相較于基于域對抗訓練的EI、JADA，在平均準確率上提升明顯；c）SSRCD-Fi的平均準確率對比WiGr更優，說明本文模型更能幫助模型學習到域無關的特征表示。

2.6 輸入類型的對比

CSI樣本包含幅度和相位信息，本節在CSIDA和本文數據集上進行跨域實驗，以此評估輸入類型（僅幅值、僅相位、幅值和相位）對模型學習的影響。圖9給出了模型在CSIDA和本文數據集的實驗結果：a）僅幅值的實驗結果最差；b）實驗人員的手勢運動影響到無線信號的傳播路徑，進而引起接收端CSI的相位變化，因此不管是在公開數據集還是自采數據集中相位的變化比幅值的變化包含更多信息，相位對實驗結果影響更顯著。

2.7 相似性度量的比較

在原型學習任務的階段，查詢向量需要與每個類別的原型表示進行相似性計算，通過這個計算結果來判斷動作的類別（這與傳統的線性預測方式有很大區別）。例如，在本文數據集中，系統需要識別一名用戶在特定位置上做出的“滑動”動作。首先，系統通過特征提取器對輸入的CSI數據進行處理，將其映射到向量空間中。接下來，系統利用本文SSRCD-Fi計算該樣本與各個動作原型之間的余弦相似性，余弦相似性最高的為識別結果，經過測試可以得到，在本文數據集上利用本文模型能夠準確識別出“滑動”動作；在自采集的真實場景下的六種動作進行實驗，對每種動作都能精準識別區分，實驗效果顯著，保證了SSRCD-Fi在判斷動作類別上的魯棒性。因此，相似性計算方式對模型的感知性能有著重要的影響。比較歐氏距離與余弦相似性這兩種方式的影響，如圖10所示（注：ARIL僅包含一個域因素，因此使用柱狀圖）。可以看出，使用余弦相似性在三個數據集上的表現均優于使用歐氏距離的結果。需要注意的是，基線模型WiGr通過正交正則化輔助特征提取器構建適合余弦相似性的特征嵌入空間。然而SSRCD-Fi未加入正交正則化，說明線性預測任務同樣能夠促進構建適合余弦相似性的特征嵌入空間。

2.8 模型結構消融

本節通過實驗探究隨機化、子載波注意力結構對模型的貢獻程度。圖11給出在本文數據集上跨位置以及跨用戶6-way 1-shot的實驗結果。

圖11中的“w/o DRamp;SA”表示兩個結構都不加入域隨機化和子載波注意力結構；“w/o SA”表示不加入子載波注意結構；“w/o DR”表示不加入域隨機化。可以看出，當域隨機化和子載波注意力結構均加入時即本文SSRCD-Fi，整體實現結果最優。

3 結束語

本文主要提出了一種基于小樣本學習的SSRCD-Fi模型。模型通過在原型網絡上加入輔助的線性動作識別任務，并結合域隨機化操作，有效實現動作相關但域無關的特征表示學習。由于基于原型網絡的小樣本學習需要依賴目標域的支持集數據，所以SSRCD-Fi編碼器尚不能學習到獨立于目標域數據的泛化表征。為解決這一問題，將在下一步工作中使用子載波的統計特征作為域風格，并加入對抗域學習，以期從多個源域數據集中學習泛化的特征表示。

參考文獻：

［1］Chen Zhenghua， Zhang Le， Jiang Chaoyang，et al. WiFi CSI based passive human activity recognition using attention based BLSTM ［J］. IEEE Trans on Mobile Computing， 2019， 18（11）： 2714-2724.

［2］朱相華， 智敏. 基于改進深度學習方法的人體動作識別綜述 ［J］. 計算機應用研究， 2022， 39（2）： 342-348. （Zhu Xianghua， Zhi Min. Review of human action recognition based on improved deep learning methods ［J］. Application Research of Computers， 2022， 39（2）： 342-348.）

［3］Yao Yancheng， Zhao Chuanxin， Pan Yahui，et al. Human gesture recognition based on CT-A hybrid deep learning model in WiFi environment ［J］. IEEE Sensors Journal， 2023， 23（22）： 28021-28034

［4］Tan Sheng， Yang Jie， Chen Yingying. Enabling fine-grained finger gesture recognition on commodity WiFi devices ［J］. IEEE Trans on Mobile Computing， 2022， 21（8）： 2789-2802.

［5］王楊， 許佳煒， 王傲， 等. 基于CSI實例標準化的域泛化人體動作識別模型 ［J］. 通信學報， 2024， 45（6）： 196-209. （Wang Yang， Xu Jiawei， Wang Ao， et al. Domain-generalization human activity recognition model based on CSI instance normalization ［J］. Journal on Communications， 2024， 45（6）： 196-209.）

［6］Wang Fei， Feng Jianwei， Zhao Yinliang，et al. Joint activity recognition and indoor localization with WiFi fingerprints ［J］. IEEE Access， 2019， 7： 80058-80068.

［7］Zhang Xie， Tang Chengpei， Yin Kang，et al. WiFi-based cross-domain gesture recognition via modified prototypical networks ［J］. IEEE Internet of Things Journal， 2021， 9（11）： 8584-8596.

［8］Jiang Wenjun， Miao Chenglin， Ma Fenglong，et al. Towards environment independent device free human activity recognition［C］// Proc of the 24th Annual International Conference on Mobile Computing and Networking. New York： ACM Press， 2018： 289-304.

［9］Zou Han， Yang Jianfei， Zhou Yuxun，et al. Joint adversarial domain adaptation for resilient WiFi-enabled device-free gesture recognition ［C］//Proc of the 17th IEEE International Conference on Machine Learning and Applications. Piscataway，NJ：IEEE Press， 2018： 202-207.

［10］Liu Shijia， Chen Yanru， Wang Hao，et al. A low-calculation contactless continuous authentication based on postural transition ［J］. IEEE Trans on Information Forensics and Security， 2022， 17： 3077-3090.

［11］Zhou Mu， Long Yuexin， Pu Qiaolin，et al. Indoor WiFi fingerprint localization method based on CSI tensor decomposition. ［J］. Journal on Communications， 2021， 42（11）： 159-171.

［12］Wu Dan， Zeng Youwei， Gao Ruiyang，et al. WiTraj： robust indoor motion tracking with WiFi signals ［J］. IEEE Trans on Mobile Computing， 2023， 22（5）： 3062-3078.

［13］Zhang Jin， Chen Zhuangzhuang， Luo Chengwen，et al. MetaGanFi： cross-domain unseen individual identification using WiFi signals ［C］//Proc of ACM on Interactive， Mobile， Wearable and Ubiquitous Technologies. New York：ACM Press， 2022： 1-21.

［14］Chignell M， Wang Lu， Zare A，et al. The evolution of HCI and human factors： integrating human and artificial intelligence ［J］. ACM Trans on Computer-Human Interaction， 2023， 30（2）： 1-30.

［15］Yang Jianfei， Zou Han， Jiang Hao，et al. Device-free occupant activity sensing using WiFi-enabled IoT devices for smart homes ［J］. IEEE Internet of Things Journal， 2018， 5（5）： 3991-4002.