基于單振元超聲傳感器的手勢識別系統*

李躍峰，劉洪海

(上海交通大學 機械系統與振動國家重點實驗室，上海 200240)

0 引 言

隨著科技的發展，生活中人與機器的互動和交流越來越多，人機交互的方式已經成為一個研究熱點。直接采集肌肉信息讀取人體運動姿態信息或者運動意圖的新型人機接口正在涌現。這種類型的人機接口操作非常符合人的直覺，方便實用，尤其適合用于控制真實世界或虛擬環境中的運動物體，比如假肢手[1]、康復機器人[2]和游戲互動等。

基于表面肌電人機接口，最成熟的方式是采集表面肌電信號(surface electro myogram,sEMG)以讀取肌肉收縮情況，判斷人體動作。在該領域已有許多文獻研究[3]，市場上亦有成型產品,但也存在一些根本的問題：表面肌電信號是在皮膚表面采集的，無法在深度方向上區分不同層次的肌肉，空間分辨率不高，因此，在識別精細的運動，如手指動作時有所不足[4]。

基于超聲的人機接口能很好地解決空間分辨率的問題，因為超聲波能夠穿透人體的組織，檢測不同深度的信息。目前,這方面大部分研究均基于超聲成像技術的[5～7]。超聲成像技術能提供清晰的肌肉圖像，但其依賴于B超設備，成本很高，體積龐大，并且要求很強的數據處理能力，難以走出實驗室。

為了解決這些問題，本文設計了一種基于單振元超聲傳感器的手勢識別系統。通過在前臂放置多個單振元超聲傳感器，對肌肉進行A超掃描，采集肌肉信息，利用機器學習的方法對回波數據進行模式識別，判斷手勢動作。實驗結果表明：系統能夠有效判別手指動作。

1 肌肉運動和超聲信號的關系

為了獲得前臂肌肉信息，可以將超聲傳感器放置于前臂表面。超聲傳感器向人體組織內部發射超聲波，聲波遇到肌肉—肌肉或肌肉—骨骼等組織界面時，會發生反射，反射波回到超聲探頭，形成超聲回波。通過判斷回波峰值的位置和大小，即可檢測組織界面的深度和特性。通過對前臂進行B超成像，可以看到，在手指動作時，前臂橫截面內的各塊肌肉會有很大程度的形狀、面積和密度的變化。這個變化體現在A超回波上，即為各個波峰的位置和幅值的變化。通過對這些波峰的變化進行分類和識別，判斷手指的運動。

2 單振元超聲傳感器設計

超聲波傳感器是整個手勢識別系統的最前端，其作用是在激勵電壓的作用下發射超聲波，并接收反射的回波信號，兼具收發作用，因此，也被稱作換能器。

考慮到成本和整個系統復雜度，選擇單振元超聲傳感器。其主要參數包括直徑、形狀、中心頻率和帶寬等。參考工業無損檢測和醫學超聲的案例[8]，最終選擇了直徑10 mm、中心頻率5 MHz的壓電陶瓷。為了更好地適合人體應用，自行設計了匹配層，并將其與壓電陶瓷進行了整體封裝，加工完成的傳感器如圖1所示。

前臂的肌肉非常復雜，僅僅使用一個探頭無法檢測到所有肌肉的信息，但一味增加探頭數量又會增加硬件設計和數據處理的難度，因此，采用4只超聲傳感器，用一條綁帶以臂帶的形式繞在前臂，起到固定傳感器的作用。

圖1 超聲傳感器

3 手勢識別系統設計

3.1 系統總體結構

除了最前端的傳感器之外，手勢識別系統主要包括兩大部分：硬件平臺和處理算法，如圖2所示。

圖2 手勢識別系統框圖

3.2 超聲信號的獲取與調理

超聲傳感器需要用高頻的激勵電壓驅動，另一方面，接收的回波需要進行信號調理和數/模轉換，兩部分的工作均由一塊超聲發射/接收板卡ZXUS4完成。

考慮到安全性，探頭的激勵電壓被限制在40V，脈沖的重復頻率為20 Hz。采用100 MHz/8 bit的采樣率獲取長度為8 192個像素點的信號。

3.3 超聲信號的預處理

采集到的信號用MATLAB進行離線處理。根據文獻[9]，利用B超成像技術得到的圖像是在手勢識別方面良好的信號源，因此,本實驗也采用類似于超聲成像技術[10]中的超聲信號調制方法。

具體分為4個步驟：時間增益補償(time gain compensation,TGC)、帶通濾波、包絡檢波和對數壓縮。時間增益補償用于補償超聲波在傳播過程中由于發散和阻尼所造成的能量衰減；帶通濾波的環節中，采用了中心頻率定位在通帶中心的高斯濾波器，濾除非線性傳播和電路中的噪聲；包絡檢波的方法對信號進行Hilbert變換；對數壓縮的目的是將時間增益補償造成的大動態范圍壓縮到較小的空間中，便于后續的處理。預處理示意如圖3所示。

圖3 預處理示意

3.4 特征提取與模式識別

整個模式識別的過程可以分為2個步驟:1)對訓練集的數據進行處理，根據一定的方法提取特征;2)將特征送入分類器，對其進行訓練;3)利用訓練完成的分類器，對測試集的數據進行手勢的判別。

參照文獻[5]，采用類似的特征提取方法。對經過預處理得到的每一個通道的每一幀信號，將其以120個像素點為窗長進行分段，對每一小段進行線性回歸，然后將所有線性回歸得到的系數串聯起來，構成該幀特征向量。得到的特征向量長度約800維，為了便于分類器分析，先采用主成分分析(principal component analysis,PCA)的方法對其進行降維，最終選取35維主成分送入常用的線性判別分析(linear discriminant analysis,LDA)分類器，根據實驗的范式，選用一定量的數據作為訓練集，使用其余數據作為測試集或者直接進行在線測試。

4 實驗測試與結果分析

為了測試搭建的手勢識別系統，進行了離線的手勢識別實驗，即將采集數據和分析數據的過程分開，分析數據的過程在采集完所有數據之后進行。

4.1 實驗范式

考慮到手指的精細動作識別是表面肌電等其他人機接口的難點，因此，采用手指屈的動作作為目標動作。包括5個手指的屈動作和靜息態共6個。實驗時，受試者坐在椅子上，手和前臂水平于椅子的扶手上。調節椅子的高度使受試者無任何不適。將臂帶佩戴在手臂上，并使2只傳感器對準內側的尺側腕伸肌，2只傳感器對準外側的橈側腕屈肌。放置位置距離腕關節大約5 cm。

受試者按照屏幕的指示完成實驗動作，分別包括拇指屈、食指屈、中指屈、無名指屈和小指屈，每個動作維持5 s，動作之間插入5 s的休息態。一組動作共同時50 s，進行10組該動作，需要500 s的時間。

將采集到的10組數據中的前5組作為訓練集，后5組作為測試集，利用前述模式識別算法進行驗證，計算手勢識別的正確率。采用這樣的方式來決定訓練集和測試集，目的是希望盡可能地模擬在線測試的情況，即在前半段時間進行分類器的訓練，在后半段時間利用訓練的分類器進行在線的測試。

4.2 實驗結果

分別計算5位受試者的手勢識別率如圖4所示。圖4(a)給出了6個動作((1～6分別對應休息態、拇指屈、食指屈、中指屈、無名指屈和小指屈)的識別率，圖4(b)中給出了5位受試者的手勢識別率。游標指示了標準差。

可以看出：針對6個識別動作的范式，平均識別率達到了91.1 %，不同受試者之間手勢識別率有一定差異，其標準差約為5 %，最差的受試者(S2)的手勢識別率也在85 %以上。針對不同的動作，可以看到其識別率之間有所差異，其中小拇指和中指的識別率比較高，而且在不同受試者之間的差異也比較小。

圖4 不同動作和受試者的手勢識別率

5 結 論

設計并實現了一種基于多通道單振元超聲傳感器的手勢識別系統。應用多個單振元超聲傳感器對前臂肌肉進行A超掃描，獲得肌肉的層次信息，利用模式識別的算法在超聲信號和手指動作建立映射關系。實驗表明：手勢識別系統具有很高的識別正確率。

[1] 李天博,陳 玲,陳坤華,等.基于MSP430的肌電假手系統設計[J].傳感器與微系統,2012,31(4):75-78.

[2] 李慶玲.基于sEMG信號的外骨骼式機器人上肢康復系統研究[D].哈爾濱：哈爾濱工業大學，2009.

[3] 丁其川，熊安斌，趙新剛，等.基于表面肌電的運動意圖識別方法研究及應用綜述[J].自動化學報，2016,42(1):13-25.

[4] Fang Y F,Hettiarachch I N,Liu H H,et al.Multi-modal sensing techniques for interfacing hand prostheses:A review[J].IEEE Sensors Journal,2015,15(11):6065-6076．

[5] Castellini C,Passig G,Zarka E,et al.Using ultrasound images of the forearm to predict finger positions[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2012,20(6):788-797.

[6] Shi J,Guo J Y,Hu S X,et al.Recognition of finger flexion motion from ultrasound image:A feasibility study[J].Ultrasound in Medicine & Biology,2012,38(10):1695-1704.

[7] Sikdar S,Rangwala H,Eastlake E B,et al.Novel method for predicting dexterous individual finger movements by imaging muscle activity using a wearable ultrasonic system[J].IEEE Transactions on Neural Systems and Rehabilitation Engineering,2014,22(1):69-76.

[8] 李洪陽，李毅彬，李申龍，等.基于A型超聲波傳感器的血壓連續測量系統[J].傳感器與微系統,2016,35(2):87-90.

[9] Huang Y,Liu H.Performances of surface EMG and ultrasound signals in recognizing finger motion[C]∥International Confe-rence on Human System Interactions,London:IEEE,2016:117-122.

[10] 伍于添. 醫學超聲設備：原理·設計·應用 [M].北京:科學技術文獻出版社,2012.