融合注意力機制的多視圖卷積手勢識別研究

袁文濤，衛文韜，高德民*

（1.南京林業大學信息科學技術學院，江蘇 南京 210037；2.南京理工大學設計藝術與傳媒學院，江蘇 南京 210094）

0 引言

表面肌電信號（sEMG）是通過放置在皮膚上的電極來記錄骨骼肌收縮過程中的生物信號，該類生物信號提供了人們豐富的活動信息。目前，表面肌電信號已經發展成為一種測量、分析和診斷工具，廣泛應用于康復醫學［1］、人機交互［2］、假肢控制［3］等領域。由于手是人體中最多樣化和最靈巧的部分，可以采用不同的運動策略來與環境交互，因此基于表面肌電信號的手勢識別成為肌肉計算接口（MCI）的技術核心［4］。與基于視覺圖像進行手勢識別的方法相比，基于表面肌電信號的手勢識別方法可以忽略光照、背景、遮擋等復雜因素的影響［5］，記錄真實的動作電位，從而更好地應用于現實場景中。

根據所用傳感器密度的不同，sEMG 數據采集可分為稀疏多通道sEMG 和高密度sEMG（HDsEMG）。HD-sEMG 一般使用二維電極陣來捕獲肌肉活動中運動電位的空間和時間分布［6］，這不僅增加了數據收集的數量和成本，還提高了手勢識別系統的復雜性。相比之下，稀疏多通道sEMG 使用更少的電極來記錄運動信息，并且對sEMG 的域變化非常敏感，在可穿戴設備中得到了廣泛應用。

文獻［7］提出一種基于卷積神經網絡（CNN）的手勢識別模型，在HD-sEMG 上得到的手勢識別準確率為99.30%。文獻［8］所提模型在CapgMyo DB-a高密度sEMG 數據集上達到了99.20%的識別準確率。目前，基于稀疏多通道sEMG 的識別模型準確率與上述模型相比仍有較大差距，因此，如何針對稀疏多通道sEMG 來提升手勢識別準確率是一項具有挑戰性的工作。基于稀疏多通道sEMG 的手勢識別主要使用傳統機器學習和深度學習2 種方法，傳統機器學習通常在肌電信號中提取時域、頻域和時頻域特征并進行必要的降維處理［9-10］，將其輸入傳統的機器學習分類模型中，如支持向量機（SVM）、隨機森林（RF）、線性判別式分析（LDA）等。文獻［11］使用隨機森林算法獲得了NinaPro DB1 和NinaPro DB2數據集的平均分類準確率，分別為75.32%和75.27%。文獻［12］在NinaPro DB7 的40 個手勢分類中基于LDA 算法取得的平均分類準確率為60.10%。

深度學習方法主要有2 種模式：一種是直接將原始肌電信號轉換為肌電圖像輸入CNN 中，自動學習高級特征來進行手勢識別。如文獻［13］使用sEMG 瞬時圖像對NinaPro DB1 的平均手勢分類準確率為78.90%，MSCANet［14］使用多 流卷積 網絡對NinaPro DB1 的平均分類準確率為84.39%；另一種是和機器學習方法一樣對原始肌電信號進行特征提取，將肌電特征轉換為肌電圖像輸入CNN 中。文獻［15］提出一種雙流CNN 結構，在NinaPro DB2 上的平均分類準確率為84.90%。文獻［16］提出一種基于注意力的混合CNN-RNN 網絡結構，在NinaPro DB1 上的平均分類準確率為84.80%。由于稀疏多通道sEMG 數據通道較少，深度學習方法大多使用特征提取來增強肌電圖像質量，提高手勢識別準確率。但是，由于特征數量增多導致特征維度變高，硬件計算開銷增大，因此輸入特征的組合和篩選成為提升模型手勢識別準確率的關鍵。

針對上述問題，本文提出一種融合ECA 注意力機制的多視圖卷積識別模型，多視圖卷積方法將多個特征集組合成視圖輸入多流CNN 中，通過融合訓練后的高層特征來提高模型準確率。ECA 注意力機制避免使用機器學習中的降維方法，通過跨通道交互提取通道間肌電數據的依賴關系，以得到特征通道權重，便于卷積篩選有效特征并提高模型魯棒性。使用巴特沃斯（Butterworth）低通濾波對原始肌電信號進行噪聲過濾，利用文獻［17］驗證過的3 個性能較優的經典特征集，即小波包變換（DWPT）、小波變換（DWT）和Phin_FS1 特征集［18］在200 ms 滑動時間窗口上進行特征提取。針對所提取的特征，利用通道重排列算法［19］將其合并成3 個視圖輸入多流CNN 網絡中，網絡中融合ECA 注意力機制模塊，強化有效特征并弱化無效特征，以加快模型擬合速度并提高手勢識別準確率。

1 數據預處理

1.1 信號濾波

巴特沃斯濾波器結構簡單，性能優越，通頻帶的頻率響應曲線平滑，很適合處理稀疏多通道sEMG原始肌電數據。巴特沃斯低通濾波器的傳遞函數如式（1）所示：

其中：N為濾波器的階數；ωc為截止頻率。

sEMG 是一種非平穩的微電信號，有效的肌電信號頻譜一般分布在10 Hz～500 Hz 之間。此外，原始sEMG 中可能存在工頻干擾噪聲、運動偽影、基線漂移以及記錄設備引起的噪聲［20］，這對手勢識別準確率有很大影響。為此，本文采用截止頻率為1 Hz的一階巴特沃斯低通濾波對原始肌電信號進行噪聲過濾。如圖1 所示（彩色效果見《計算機工程》官網HTML 版，下同），經過噪聲過濾后的肌電信號曲線更加光滑，體現了巴特沃斯低通濾波很好的去噪效果，為后面手勢識別模型訓練提供了保證。

圖1 原始sEMG 濾波前后對比Fig.1 Comparison of the original sEMG before and after filtering

1.2 特征提取

sEMG 一般是由多個電極采集的多通道數據，為了貼近真實情況，本文采用滑動窗口的方法對信號進行截取，在sEMG 控制領域，合適的滑動采樣窗口可以保證最小的分類誤差和系統延遲。參考文獻［21］的研究結果，使用150 ms～250 ms 的窗口對肌電信號進行滑動采樣能取得最優結果。為了兼顧準確率與實時性，本文采取200 ms 滑動窗口對濾波完的肌電信號進行滑動采樣和特征提取，從而得到三維的表面肌電特征圖。特征提取采用3 個經典特征集共9 個特征，計算方式如表1 所示。其中：N為sEMG 幀 數；fj和Pj分別為第j幀sEMG 進行傅里葉變換得到的頻譜和功率譜；*表示計算方式較復雜，表格中不再贅述。由于Phin_FS1 特征集中包含7 個特征，7 個特征全部輸入手勢識別模型中會消耗極大的系統資源，為了平衡性能與準確率，將Phin_FS1 特征集中的特征按通道維度拼接成一個視圖。

表1 特征集中特征描述與計算方式Table 1 Feature description and calculation method in feature set

為了加強稀疏多通道數據通道之間的相關性，使用改進后的通道重排列算法［17］對特征進行處理。通道重排列算法使得特征每個通道都能與其他通道相鄰，從而提取通道間隱藏的相關性。受文獻［21］的啟發，本文采用已驗證準確率最高的混合通道圖像的重排列方式來處理提取后的特征。假設原始特征圖像大小為L×l×C，L為肌電圖像的高度，即原始sEMG 通道數，l為肌電圖像的寬度，C為肌電圖像的通道數，即特征數量。如圖2 所示，混合通道圖像方式將重排列算法應用于8 通道原始特征圖像，得到33×l×C的肌電圖像，33 為應用通道重排列算法得到的圖像高度。

圖2 通道重排列算法示例Fig.2 Example of channel rearrangement algorithm

2 網絡結構設計

2.1 多視圖卷積神經網絡

本文融合注意力機制的多視圖卷積神經網絡，也稱為多視圖卷積注意力網絡（MVCANet），主要由特征視圖模塊、多流卷積模塊和特征融合模塊組成，網絡結構如圖3 所示。原始肌電信號經過數據預處理fvc得到多個特征視圖，特征視圖由多流CNN 并行建模。每個CNN 流由ECA 注意力機制模塊、2 個卷積層和1 個局部連接層組成。為避免不同通道提取的sEMG 特征之間有幅度變化的潛在干擾，在第1 個卷積層之前使用批量歸一化（BN）。ECA 注意力機制模塊對輸入的肌電特征圖像從通道維度進行加權，便于后面卷積篩選有效特征。前2 個卷積層使用64 個3×3 的2D 濾波器，步長為1，對帶有注意力權重的特征進一步進行訓練。最后1 個局部連接層（LC）使用64 個1×1 的2D 濾波器，步長為1，使用不共享權重的策略來進一步學習肌電圖像不同區域的不同特征分布，同時加入Dropout 層來防止模型過擬合。為了提升模型訓練速度并加快收斂過程，在每個層后面都加入BN、ReLU 非線性激活函數。

圖3 多視圖卷積注意力網絡框架Fig.3 Multiview convolutional attention network framework

注意力機制是模仿人類視覺系統中可高效關注重點區域這一特性，在語音識別、機器翻譯、圖像分類等領域得到廣泛應用［22］，因其對提升模型準確率有顯著效果，肌電手勢識別領域也逐漸開始應用注意力機制［14，16］。多視圖肌電特征經過通道重排列算法后，通道數增加且手勢信息更豐富。本文采用ECA 注意力機制來對多視圖肌電特征在通道維度進行加權，強化關鍵手勢特征。與對輸入特征圖通道進行壓 縮降維 的SE-Net［23］相比，ECA 注意力 機制更加高效和合理，其使用1D 卷積高效實現了局部跨通道交互，根據肌電圖像通道間的依賴關系獲得注意力權重。如圖4 所示，ECA 注意力模塊首先對輸入的H×W×C的特征圖進行全局平均池化，接著使用卷積核大小為k的1D 卷積操作。卷積核大小k值是由輸入通道數C的自適應函數而得到的，如式（2）所示，其中|x|odd表示距離x最近的奇數。

圖4 ECA 注意力模塊結構Fig.4 ECA attention module structure

卷積操作后經過Sigmoid 激活函數得到各通道的權重W，為進一步提高網絡性能，使用卷積共享權重來高效抓取局部交互通道信息，減少網絡參數量。共享權重方法如式（3）所示：

其中：σ為Sigmoid 激活操 作；Wi為C個通道 進行分組得到的第i個權重矩陣；為第i個權重矩陣中的第j個局部權重矩陣；同理可得。最后將得到的權重與原始輸入特征圖相乘得到帶有注意力權重的特征圖。ECA 注意力機制作為一種即插即用的模塊，與其他注意力機制相比，使用了簡便的思想和運算，對網絡處理速度影響較小，同時還能較好地提升分類準確率。

2.2 特征融合模塊設計

由于不同肌電特征集的數據維度和手勢信息不同，特征融合模塊使用中間融合［24］的方式，即對多視圖經過卷積訓練后得到的高層特征進行融合。通過融合多視圖的高層特征，可以在降低數據維度的同時顯著提高識別的準確性和魯棒性。

模塊第1 層將多流卷積層特征扁平化為1D 向量，使用帶有512 個神經元的全連接層將卷積層學習到的分布式特征映射到樣本標記空間，同時使用Dropout 層來防止過擬合。第2 層在通道維度對第1 個全連接層提取的高層特征進行特征融合。第3 層再次使用帶有512 個神經元的全連接層來增加模型深度，提高非線性表達能力。每個全連接層后使用與卷積層相同的BN 層和ReLU 非線性激活函數。最后1 層使用帶有Softmax 激活函數的全連接層來進行手勢標簽預測。手勢標簽采用one-hot編碼形式解決類別數據中的離散值問題，手勢預測類別定義公式如下：

其中：N為手勢類別總數；pGN為預測為手勢N的概率。取概率最大的N作為最終預測的手勢G。

3 實驗驗證

實驗基于TensorFlow 2.0 框架來搭建MVCANet，程序編寫語言為Python，數據預處理和模型訓練在AMAX TD21-Z2 工作站上運行，具體硬件配置為：Ubuntu 20.04 操作系統，運行內存為128 GB，處理器為英特爾I9 10900X，顯卡為2 塊英偉達Ge-Force GTX3080。

3.1 實驗數據集

NinaPro 是目前最大的擁有sEMG 信息的公共數據庫之一，它擁有豐富的手勢數量和手勢動作。本文使用NinaPro 的3 個子集（分別為NinaPro DB1、NinaPro DB5 和NinaPro DB7）進行訓練和評估。NinaPro DB1 數據集包含27 名健康被試者（20 名男性，7 名女性；25 名右手，2 名左手）的數據，NinaPro DB5 數據集包含10 名健康被試者（8 名男性，2 名女性；10 名左手）的數據，NinaPro DB7 數據集包含20 名健康被試者和2 名右手截肢被試者（18 名右手，4 名左手）的數據。

數據集記錄的動作分為3 個不同類別，包括手指的基本動作、基本手腕動作和抓握及功能性動作。每個動作重復6 次，每次重復持續5 s 后進入持續3 s的休息。本文在NinaPro DB1 上選取52 個動作、在NinaPro DB5 上選取41 個動作、在NinaPro DB7 上選取41 個動作來進行手勢識別，選擇的這些動作覆蓋了日常生活中發現的大多數手部動作，同時考慮到手勢分類以及機器人學和康復學的信息［17］。表2 所示為數據集的詳細信息，圖5 所示為NinaPro DB5 數據集示例手勢1～6 的通道1 原始肌電信號波形圖，圖中手勢圖片來自文獻［11］。

表2 NinaPro 的3 個子數據集信息Table 2 NinaPro's three sub-datasets information

圖5 示例手勢的sEMG 對比Fig.5 sEMG comparison of example gestures

3.2 實驗設置

MVCANet 網絡模型使用分類交叉熵損失函數，如式（5）所示，其中，yj為真實標簽的第j個值，Sj為Softmax 輸出向量的第j個值，N為手勢數量。采用隨機梯度下降（SGD）進行訓練，批處理數據量為64，迭代次數為28。為了使模型更快地擬合，使用動態調整學習率策略，初始學習率設置為0.1，在第16 次和第24 次迭代時將學習率除以10，Dropout設置為0.5。

數據集劃分采用與文獻［11］中相同的方案，該方案使用每個主題的2/3 作為訓練集，剩余部分作為測試集。本文中NinaPro DB1 數據集采用重復次數分別為1、3、4、6、8、9、10 次的數據作為訓練集，重復次數分別為2、5、7 次的數據作為測試集；NinaPro DB5 和NinaPro DB7 數據集采用重復次數分別為1、3、4、6 次的數據作為訓練集，重復次數分別為2、5 次的數據作為測試集。由于實驗設備內存限制，對NinaPro DB7 的sEMG 進 行2 000 Hz～100 Hz 的下采樣處理。本文采用被試內（intra-subject）的手勢識別方法，即計算數據集中每一名被試者的手勢識別準確率，最終取平均準確率作為模型識別準確率，計算公式如式（6）所示，其中n為被試總人數。本文使用預訓練方法來加快擬合速度并提高準確率［25］，預訓練方法使用所有被試者的訓練集數據進行訓練得到網絡權重參數，在每一個被試者進行訓練時使用該權重參數進行初始化。

3.3 結果分析

3.3.1 消融實驗

為了驗證多視圖卷積網絡模型的合理性和有效性，參考文獻［14］中使用的消融實驗策略，以不加注意力機制的單視圖卷積網絡作為基準模型來進行消融實驗，各分組網絡具體為：

分組1使用多視圖卷積網絡。

分組2在分組1 的基礎上加入注意力機制，即MVCANet。

分組3在分組2 的基礎上加入預訓練方法。

其中，單視圖CNN 網絡結構使用MVCANet 中不帶注意力機制模塊的單流CNN，并且取消特征融合模塊中的融合操作，取準確率最高的特征集作為消融實驗中的對比特征集。由表3 結果可知，在3 個數據集上，MVCANet+預訓練的模型均獲得了最高的準確率，相比單視圖CNN，MVCANet+預訓練的模型最終準確率平均提升1.76 個百分點。

表3 消融實驗平均準確率對比Table 3 Comparison of the average accuracy of ablation experiments %

圖6 所示為NinaPro DB5 數據集10 個被試者在不同步驟時的消融實驗準確率對比結果。由圖6 可知，在每一個被試者上，隨著實驗步驟的增加，準確率均有提升，其中多視圖CNN 相比單視圖CNN 平均提升最高。由于被試者的個體差異和每次重復實驗過程中混合信號的干擾，使得每個被試者的提升程度不一致。

圖6 NinaPro DB5 數據集中每個被試者的消融實驗結果Fig.6 Ablation experiment results of each subject in the NinaPro DB5 dataset

3.3.2 系統性能分析

為驗證手勢模型的實時識別性能，使用訓練階段保存的離線模型對測試集上數據進行手勢實時測試。手勢測試使用多數原則投票來計算所有整段手勢動作上的平均準確率，其中多數原則投票的判定方式為：每段手勢重復動作上的標簽為離線模型對所有200 ms 滑動采樣窗口的預測標簽中出現次數最多的標簽［26］。由于信息傳輸率（ITR）能夠兼顧準確率和識別速度，是腦機接口研究中最優的性能指標之一［26］，因此本文引入這一指標來檢驗系統的實時識別性能。ITR 計算方式如式（7）所示：

其中：N為所有的識別手勢數；P為多數原則投票平均準確率；T為系統對一段手勢動作的完整識別時間。

由表4 可知，本文系統在3 個數據集上平均投票準確率為97.63%，平均識別時間為0.26 s，平均信息傳輸率為1 308.71 bit/min。系統在整段手勢動作的實時識別上具有更高的識別準確率以及高效的信息傳輸率，同時也證明了在實時手勢識別系統中加入多數投票策略的必要性。

表4 多數原則投票和信息傳輸率結果Table 4 Majority principle voting and information transmission rate results

3.3.3 多模態實驗

隨著手勢識別中手勢數目和手勢相似性的增加，僅依靠sEMG 來進行手勢分類變得更加困難，sEMG 與IMU（Inertial Measurement Unit）相結合的多模態形式可以有效提升手勢識別準確率［12］。使用單視圖CNN 和MVCANet 模型在帶有IMU 數據的NinaPro DB5 和NinaPro DB7 數據集上進行對比實驗，結果如表5 所示。從表5 可以看出，2 種方法通過加入IMU 數據，在2 個數據集上準確率平均提升了2.83 和2.13 個百分點，同時MVCANet 在多模態實驗中相比單視圖CNN 準確率平均提升了0.75 個百分點。實驗結果表明，通過加入IMU 數據可以有效提高手勢識別準確率，相比于單視圖CNN，MVCANet由于加入了ECA 注意力機制和使用多視圖CNN，在多模態手勢識別上具有更優的性能。

表5 多模態實驗結果對比Table 5 Comparison of multimodal experimental results

3.3.4 與其他手勢識別模型的對比

表6 所示為本文MVCANet 模型與傳統機器學習方法和當今主流深度學習肌電手勢識別模型的對比結果。從表6 可知，傳統機器學習方法的手勢識別準確率與當今主流深度學習模型相比均較低，這是由于深度學習中卷積網絡可以更好地捕捉多通道肌電信號與手勢動作之間的關聯性，因此在肌電手勢識別中具有一定的優越性。本文MVCANet 模型在NinaPro DB1、NinaPro DB5、NinaPro DB7 數據集上平均手勢識別準確率分別為87.98%、94.97%、89.67%，在3 個數據集上均達到了最高的肌電手勢識別準確率。在對比的手勢模型中，CNN-RNN 模型結構與本文網絡結構最為相似，CNN-RNN 基于MXNet 框架實現，使用融合注意力機制的多視圖CNN 與LSTM 組合結構，特征提取采用Phin_FS1 特征集。相比之下，本文基于更優越的TensorFlow 2.0框架實現模型網絡結構，特征提取額外使用了更豐富的小波包變換與小波變換特征，同時，在MVCANet 卷積前使用ECA 注意力機制來獲得特征通道權重，便于卷積提取有效特征。因此，在NinaPro DB1 數據集上，本文模型手勢識別準確率相比CNN-RNN 模型提高了3.18 個百分點。

表6 sEMG 手勢識別模型性能對比Table 6 Performance comparison of sEMG gesture recognition models

4 結束語

為了提高基于稀疏多通道的sEMG 手勢識別準確率，本文提出一種融合注意力機制的多視圖卷積神經網絡模型。對原始sEMG 進行濾波處理，使用200 ms滑動窗口從原始肌電信號中提取經典的表面肌電信號特征集，對提取后的特征使用通道重排列算法得到通道相關性更高的肌電圖。為了提高有效特征關注度，防止模型信息過載，模型加入ECA 注意力機制模塊，對特征視圖進行加權來強化有效特征，使得多視圖卷積網絡能夠學習到與手勢動作相關性更高的特征。在此基礎上，通過特征融合模塊融合多視圖卷積特征來加強手勢識別的準確性和魯棒性。在NinaPro DB1、NinaPro DB5 和NinaPro DB7 公共肌電數據集 上的實驗結果驗證了該模型的有效性，與傳統機器學習方法和近年來主流的深度學習手勢識別方法相比，所提模型在肌電手勢識別上具有更優的性能。下一步將測試其他類型的肌電信號，如Capgmyo、CSL-HDEMG 等高密度sEMG，同時優化網絡結構，以提升本文模型在嵌入式平臺上的實時性。