一種信道狀態信息下的復雜動態手勢識別方法

黨小超,劉 洋,郝占軍,曹 淵

1(西北師范大學 計算機科學與工程學院,蘭州 730070)2(甘肅省物聯網工程研究中心,蘭州 730070)

1 概 述

隨著物聯網技術的快速發展,使得過去僅用于傳輸數據的WiFi信號,還可用于行為識別和環境感知等領域[1,2].基于WiFi信號的行為識別技術已經成為人機交互(Human Computer Interaction,HCI)的重要研究方向,HCI技術不斷進步對手勢識別技術也提出了更高的要求[3,4].傳統的手勢識別技術主要是基于計算機圖像的手勢識別技術、基于傳感器設備的手勢識別技術和基于專用特殊硬件的手勢識別技術等,但受到周圍環境和視距情況的影響,以及硬件設備成本昂貴、技術開銷大等原因限制,其推廣難度較大.隨著網絡技術的飛速發展,WiFi設備得以廣泛部署與應用,為借助WiFi信號的無線感知技術提供了可能,因此也為無線感知應用的推廣創造了條件[5].

普通WiFi信號環境下使用信道狀態信息(Channel State Information,CSI)的細粒度無線信道測量技術進行細粒度手勢識別,既易實現,且成本低廉[6](1)http://kns.cnki.net/kcms/detail/11.1826.TP.20180303.1407.018.html..CSI用作物理層(Physical Layer,PHY)信息[7],并且對于室內環境的變化十分敏感,目前大量文獻通過獲取WiFi信號中的CSI數據來實現行為識別[8,9]與室內定位[10,11].文獻[12]中提出了WiGest,該系統分析了信號與其他參數的組合,如速度和振幅.具體而言,對于單個接入點和三個接入點,WiGest的識別精度分別為0.87和0.96.與接收信號強度(Received Signal Strength,RSS)的物理特性相比,通過分析CSI的波動,細粒度的CSI則更適合用于動作識別.文獻[13]中提出FIMD方案,通過利用CSI在靜態環境中研究了人體移動檢測,但沒有考慮到環境的遷移性,該方法魯棒性有待提高.文獻[14]提出了WiG方案,該方案設計了對4種常見揮手手勢的識別,不同場景下識別平均準確率達到0.9.與上述方法不同,本文提出了一種基于CSI的復雜動態手勢識別技術,即用戶無需佩戴任何傳感器設備,利用數據處理方法與手勢匹配算法,識別出空中手寫0-9中任意一個數字的動作手勢.

通過實驗發現手勢動作對CSI信號的影響情況,證明了CSI信號子載波敏感性的差異;借助有效的降噪濾波算法對CSI信號進行處理,可利用詳細細粒度CSI信號來表征每個手勢動作所表達的不同含義;結合K-means和DTW兩個算法的特性,得到K-DTW手勢匹配算法,該算法能夠準確、有效地識別空中數字手勢動作.

2 復雜動態手勢識別方法

手勢是一種形象、直觀、便于理解、包含豐富信息和具有較強視覺效果的肢體語言,通常利用手勢動作來傳達相關信息,手勢動作是人們日常生活中的“第二語言”.手指做出各種各樣的手勢動作,而每個手勢動作所代表的含義也是多姿多彩的,因此進行手勢識別技術的研究對于推動HCI技術的發展有著很大的幫助,同時對改善人類日常生活有著巨大的意義[15,16].本文提出一種基于CSI的空中數字手勢識別技術CSI-Num,用于識別空中手寫0-9中任意一個數字的動作手勢.

圖1 CIS-Num結構圖Fig.1 Structure of CIS-Num

CSI-Num方法的識別過程主要通過采集CSI的原始數據包,對采集到的數據進行子載波選擇,以得到識別需要的數據形式.接著,對數據使用小波閾值函數降噪和平滑處理,消除人為的噪聲或環境的干擾得到平滑的數據圖像[17,18],通過手勢識別算法提取有效的手勢圖像,獲得有意義的數據內容,并對其進行數據特征提取,找到不同手勢相對應的數據.最后,在線下階段借助機器學習中K-means算法,訓練相同數字的手勢聚類的模型,在線上階段從利用DTW算法通過訓練好的模型進行手勢識別,本文提出的空中手寫數字識別流程圖,如圖1主要分為兩個主要階段進行研究:研究動態手勢數據選取與處理;研究動態手勢數據特征匹配與識別.

3 CSI-Num數據選取與處理

由于CSI信號易受多徑效應、信號衰減等干擾因素的影響,直接獲取的手勢數據則含有諸多干擾數據,無法直接用于手勢的匹配和識別,需要對數據進行預先處理,其目的是將噪聲數據從手勢數據中去除.在該階段,首先進行子載波的選取[19],并對選取到的子載波CSI振幅的原始數據進行處理,處理過程中先使用小波閾值[20]對原始數據進行降噪,再使用五點三次平滑法對處理過的CSI數據實現進一步降噪平滑的作用,從而更加清晰地展現了每個手勢對應子載波變化的局部特征.

3.1 子載波選取

由于接收和發送兩端的多根天線在空間上的分布特點,決定了執行同一手勢時任一組收發天線對應的不同數據流下的CSI具有不同的變化趨勢,以及由于不同頻段對應的子載波相差范圍并不大,決定了執行同一手勢時不同子載波對應的CSI具有相似的變化趨,如圖2所示.

圖2 不同子載波的變化Fig.2 Variation for different subcarriers

經過理論分析發現,同組數據流中子載波幅值的方差越大,表示其對環境的變化越敏感.單純的 CSI 幅值信息并不能很好地反映每個手勢動作的特征,只能表示不同手勢動作引起 CSI 序列整體的變化情況,并且每個子載波的變化和CSI值也有一定的差異.因此選取方差作為特征值,對于任意動作對應的 CSI 序列,在選取的每一個時隙內,方差的分布情況能夠反映 CSI幅值的離散程度,同時也可以反映對應手勢動作的變化情況,并作為每個動作的特征.因此,通過計算 CSI 值的方差來提取每個動作的特征是合理并且有效的.對于每個手勢,從同一數據流的30個子載波中得到30個CSI幅值流.假設樣本數是M,那么用來存儲CSI振幅流的矩陣有M行和30列,計算矩陣每一列的方差,將方差值小于方差最大值的子載波過濾掉,選取方差最大值子載波作為被選取的原始數據,原始CSI振幅如圖3(a)所示.

3.2 數據的降噪和平滑

選取出能夠刻畫手勢動作變化情況的子載波信號后,由于CSI信號特征,子載波信號中的噪聲會對信號的質量造成嚴重的干擾,直接影響動作檢測、特征提取等過程,會導致后期的手勢識別結果出現偏差,甚至是錯誤,所以必須對選取到的信號進行進一步的降噪和平滑處理.

對被選取子載波數據中的幅值進行小波閾值降噪,

s(i)=f(i)+e(i)i=1,2,…,n-1

(1)

其中f(i)代表原始信號,e(i)代表噪聲信號,s(i)代表含噪聲的原始信號;對原始信號進行離散小波變換:

(2)

其中Ψj,k(t)為離散小波基函數;將原始信號表示為:

Sj,k=Fj,k+Ej,k

(3)

其中Sj,k為含噪信號,s(i)小波變換后的各層小波系數,Fj,k為原始信號f(i)的小波變換系數,Ej,k為噪聲信號,e(i)的小波變換系數;根據有用信號和噪聲小波系數的統計特征,采用軟閾值函數為:

(4)

為了消除突變數據的影響,通過五點三次平滑方法處理降噪后的手勢數據,在手勢數據中取五個相鄰的采樣點,參照最小二乘法的原理,擬合出一條三次多項式的平滑曲線,從而構建動態手勢數據模型.

圖3 手勢數據處理Fig.3 Processing of gesture data

(5)

經過上述CSI數據的處理后,得到圖3(c)所示完整的CSI手勢曲線圖,并為后期的CSI-Num特征提取打下基礎.

4 CSI-Num特征提取與識別

4.1 有效手勢提取

在進行人體手勢動作識別的研究過程中,對手勢動作數據特征的提取是非常關鍵的.原始數據的信息并不能直接被分類器識別,因此需要從原始的手勢數據中提取和選擇那些最能代表手勢的特征.為了可以有效的提取出手勢數據,一個完整的手勢動作需要包括三部分:手勢前的靜止狀態、手勢動作、手勢后的靜止狀態,本文使用約束條件進行特征提取,特征提取流程如圖4所示.k-means聚類算法是一種無監督硬聚類算法,所謂無監督是指在對數據進行聚類之前沒有對任何數據進行分類標識,硬聚類算法是指當聚類結果產生時,各類之間不存在數據重疊,DTW算法采用動態規劃的思想可以求出不同長度數據的相似度,并且可以調整數據在時間上的差異性,使匹配最接近.

通過對處理后的動態手勢信號幅值|H(fj,t)|的變化進行判斷,在不作任何手勢的情況下采集一段數據,取平均值作為閾值T;根據一般手勢特點,以A[i]為起點,A[1]表示手勢

圖4 手勢提取流程圖Fig.4 Fflow chart of gesture extraction

數據中的第一個數據,逐個判斷|A[n]|是否大于閾值T,得到A[n]中|A[n]|連續大于閾值T的第一段數據區A[a]～A[b],判斷樣本數目是否在區間{start,end}內,滿足約束條件(6)的數據為有效手勢數據;

(6)

其中t為手勢持續時間,若實驗時發包速率為200 p/s,有效手勢動作從第4秒開始至第8秒結束,手勢前后均有一段靜止狀態,得出樣本數目{start,end}={800,1600};提取出手勢數據后,如果直接作為特征來訓練分類器,將會使計算復雜度很大,為此對提取出的特征再進行處理,計算出手勢數據的關鍵信息平均絕對偏差MAD;

(7)

其中P為提取出的手勢特征數據.

4.2 手勢的匹配和識別

(8)

重復計算中心點,不斷迭代直到中心點不再變化;聚類結束輸出k個手勢類,并設每類模板手勢數據m(i)={m1,m2,…,mm},1≤i≤m,其中m為模板手勢數據m(i)的數據點個數,待識別手勢s(j)={s1,s2,…,sn},1≤j≤n,其中n為待識別手勢數據m(i)的數據點個數,使用動態規劃的思想,計算出待識別手勢數據的每一個數據與模板手勢數據的每一個數據之間的距離,距離矩陣R(i,j):

R(i,j)=(m(i)-s(i))2

(9)

根據距離矩陣R(i,j)求出每一列、每一行匹配距離,并得到匹配距離DS(d,n):

DS(d,n)=D(i,j)+DD=min[DS(i-1,j),DS(i-1,j-1),DS(i,j-1)]

(10)

得出待識別手勢數據與所有模板手勢數據的匹配距離DS[k],k表示第k種模板手勢,由與最接近的匹配距離對應的模板手勢表示的手勢與待識別手勢表示的手勢結果一致,從而完成復雜動態手勢識別.

圖5 手勢識別流程圖Fig.5 Flow chart of gesture recognition

5 實驗結果與分析

5.1 實驗數據采集

在實驗階段,使用裝有Intel 5300NIC無線網卡的天線作為接收器(DP)接收信號,通過TP-link路由器作為發射器(AP)發射信號,頻率為5GHz.CSI值由Daniel Halperin等人提出的Linux CSI Tool解析[21],并使用MATLAB軟件處理數據.在室內多徑實驗室和室內空曠會議室兩個環境中評估該方法.實驗中選取了空中手寫數字0-9的10個手勢,測試者兩種環境下分別做手寫10個數字的手勢動作,同時利用CSI工具在接收端獲得實驗所需的CSI信息.

圖6(a)為實驗室平面圖,該場景下辦公桌、辦公椅、書柜、電腦、花卉等物品較多,并有人員干擾,其大小為7米×8米,圖6(b)為會議室平面圖,相對空曠的會議室大小為6米×4米.在室內空曠和室內多徑兩個環境中分別建立手勢數據庫,數據庫中包含了上述10種測試手勢,每種手勢測試行為前后均有一段靜止時間,手勢動作持續時間為4秒,測試人員在兩個場景中反復進行試驗.

圖6 實驗場景分布圖Fig.6 Distribution diagram of experimental scenario

5.2 硬件參數優化分析

5.2.1 不同發包速率的影響

不同的分組傳輸速率通常對實驗的準確率具有很大的影響.在本文實驗中,驗證了在實驗室和會議室兩個不同的室內環境下,當發射速率分別為50p/s、100p/s、150p/s、200p/s、250p/s、300p/s 時,該方法對準確度的影響.如圖7(a)所示,兩個不同的場景的發包速率均與該場景下的準確率呈正相關性,在發射速率為200p/s 時,該方法準確率達到最高值,且空曠的會議室內識別效果優于復雜多徑的實驗室,但 300p/s以上的發射速率則需要更好的硬件設施來支撐存儲以及計算的開銷,因此對于發射速率大于300p/s的情況不予討論.在后續的實驗中,則將發射速率統一設置為200p/s,以對實驗產生最好的效果.

5.2.2 子載波數不同的影響

子載波數量不同時,也會對實驗效果產生很大的影響.在子載波的選取階段,分析了子載波的選取方法,但單一子載波通常不能很好的反映出信號包含的所有信息.因而在此環節,主要通過實驗驗證了不同場景中子載波數量對于實驗準確度的影響.選取子載波時,從方差最大值依次開始選取,分別選取了數量為 1個、2個、3個、4個和5個子載波作對比,識別結果則采用多數優先,識別相同次數多的為最終結果.實驗結果如圖7(b)所示,分別在兩個不同場景中采集CSI手勢數據,選取3個子載波時手勢識別準確率最高,當選取數量大于3個時,識別準確度呈下降趨勢,是因為剩余的大部分子載波方差值相對較小,會導致識別準確度下降,后續實驗均設置子載波選取數目為3.

5.2.3 發射機、接收機高度

無線信號在室內沿直線傳播,會在地面、墻壁、設備等地方發生反射和折射等現象.當動態手勢動作發生時會改變無線信號的傳播路徑,但當測試者的抬手高度與接收機、發射機不在同一高度時,則對CSI信號的影響程度有所區別,本文在兩個不同室內場景中,分別在0.6米、0.8 米、1.0米、1.2米、1.4米和1.6米高度進行測驗,圖7(c)描述了CSI-Num性能受高度變化的影響情況,在初始條件下,由于不相關的身體運動和嚴重的多路徑效應,手勢動作的平均準確率最低.當天線高度達到1.2m時,準確度達到峰值,且反射信號較強,在實驗室和會議室內均表現出較好的識別效果.因此需保證測試者抬手高度與接收機、發射機高度越接近時,可提高手勢識別率,經過反復的實驗測試,當動作手指與接收機、發射機的高度接近時,系統檢測性能最好.

圖7 硬件參數對準確率的影響Fig.7 Influence of hardware parameters on accuracy

5.3 樣本數量優化分析

為了確定樣本數量對手寫數字手勢識別準確度的影響,本次實驗測試了在實驗室和會議室兩種室內環境中,CSI-Num分別在每個數字10、50、100個訓練樣本集情況下的數字識別準確度.圖8展示了兩個場景不同訓練樣本集中的識別平均準確率,從圖中可以看出,設置100個訓練樣本集的兩種室內場景中平均準確率明顯高于10、50個訓練樣本集中的平均準確率.因此,通過適當增加訓練樣本集的數量,可以提高識別準確精度.

圖8 樣本數對準確率的影響Fig.8 Effect of the number of sample on accuracy

5.4 魯棒性對比分析

本小節選擇兩種較典型的不同情況進行詳細闡述,表1為7位不同測試人員的身體指標,由圖9(a)所示7位不同的測試人員在兩種不同實驗場景中手勢識別準確度對比情況,圖9(b)分別對比三種不同的數據分類算法,從而分析不同算法與準確率的關系.圖9(a)中,無論是在實驗室還是會議室,不同的測試人員進行實驗的準確率均保持在較高的水平,測試人員的改變,不會對測試結果造成較大波動.在本文實驗場景下,算法的計算復雜度與待測手勢數據點個數,模板手勢數據點個數以及迭代次數相關,K-DTW計算復雜度為O(n3)與SVM相同,略高于KNN,但出于對算法性能和識別準確度的考慮,如圖9(b)所示對使用KNN、SVM和K-DTW算法分別進行測試,可以看出K-DTW算法的性能高于KNN或SVM算法,最終本文選擇K-DTW算法對不同手勢動作進行匹配識別.實驗結果表明,CSI-Num的平均準確率高于92%,在不同情況下獲得較高的檢測率,能夠充分考慮各類因素的影響,其魯棒性較高.

表1 不同人員身體指標
Table 1 Body indexes of different people

人員編號ABCDEFG性別男男女男女女男身高cm180176160173157166187體重kg65795361504973

圖9 魯棒性分析對比圖Fig.9 Diagram of analyzing and comparing the robustness

5.5 系統性能分析

此外,為了進一步評估方法性能,圖10對于不同手勢在

圖10 不同手勢的識別情況Fig.10 Situations of recognition for various gestures

最優條件的下的識別情況進行了描述,即數據包發送速率200 p/s,處理數據時選擇方差最大的3個子載波以及設備高度1.2米,在此情況下進行兩種室內場景測試,并與同類方案FIMD和WiG的識別率進行對比如圖11,從圖中可以看出,無論是所有手勢的識別率,還是不同手勢的平均識別率,其識別效果均保持在較高水平上,且優于同類方案.這也驗證了CSI-Num復雜動態手勢數據處理方法和匹配算法的有效性.

6 結束語

本文提出了一種基于CSI的復雜動態手勢識別方法CSI-Num.主要將子載波幅值作為特征值,首先進行信號采集、子載波選取、數據處理、有效手勢提取等步驟,然后利用k-means算法和DTW算法特征相融合的k-DTW匹配算法識別出不同的手勢動作,該方法具備良好的有效性和穩定性.可針對不同環境的室內場景,相應地調整參數設置,能夠穩定且高效的識別出10個空中手寫數字手勢,從而實現復雜動態手勢識別的目的.整體實驗結果表明,CSI-Num方法在靈敏度、魯棒性、準確率等方面均有較好表現.后續的工作需要對該方法進行進一步完善,以實現多種復雜動態手勢在家居環境下的識別.

圖11 不同方案的準確度對比Fig.11 Accuracy comparison of different schemes