基于深度學(xué)習(xí)的sEMG 手語識(shí)別翻譯

曾亞婷

（麗水學(xué)院，浙江 紹興 323000）

1 基本實(shí)現(xiàn)原理

1.1 sEMG 信號(hào)采集

經(jīng)過初期的研究，我們開始了基于Arduino 平臺(tái)的肌電信號(hào)提取的裝置的研發(fā)。我們所挑選的傳感器基本原理如下：傳感器模塊通過檢測人體的表面肌電信號(hào)（sEMG），進(jìn)而反應(yīng)出人體肌肉和神經(jīng)的活動(dòng)情況。本傳感器模塊集成了濾波、放大電路，將范圍在±1.5mV內(nèi)的微弱人體表面肌電信號(hào)進(jìn)行1000倍放大，并通過差分輸入、模擬濾波電路的方式對(duì)噪聲（特別是工頻干擾）進(jìn)行有效抑制。輸出信號(hào)為模擬量形式，其以1.5V 為基準(zhǔn)電壓，0V～3.0V 量程的輸出。輸出信號(hào)的大小取決于選定肌肉的活動(dòng)量，輸出信號(hào)的波形則可顯著指示被觀察位置皮下肌肉的情況，方便做肌電信號(hào)的分析與研究，但是我們采用了其他更加精確的數(shù)據(jù)進(jìn)行分析與處理[1]。

1.2 信號(hào)分析處理

為了做簡單的分析，我們首先測量了手臂自然下垂時(shí)的肌電信號(hào)。很明顯可以發(fā)現(xiàn)自然狀態(tài)下手臂是不會(huì)產(chǎn)生任何肌電信號(hào)的，同時(shí)我們讓被測人握拳從而采集到另一種肌電信號(hào)。我們要做的就是采集各種不同手勢下的肌電信號(hào)，通過多次測量求出平均手勢肌電信號(hào)強(qiáng)度，再利用移動(dòng)窗口法取若干連續(xù)時(shí)間序列對(duì)應(yīng)的信號(hào)強(qiáng)度求局域平均，若均值大于一定閾值，我們就認(rèn)為一個(gè)動(dòng)作開始從而進(jìn)行識(shí)別。若反之則視為一個(gè)動(dòng)作的結(jié)束。

1.3 算法分析處理

為了進(jìn)行預(yù)處理來找到不同信號(hào)的特征，我們首先對(duì)數(shù)據(jù)進(jìn)行移動(dòng)窗口平滑處理，其主要用于通過平滑曲線來查找采集到的肌電信號(hào)的大體趨勢。其中需要計(jì)算包括的數(shù)值有總和，均值，中位數(shù)，方差，協(xié)方差，相關(guān)性等。

使用兩種機(jī)器學(xué)習(xí)算法對(duì)每一個(gè)的運(yùn)動(dòng)進(jìn)行分類：支持向量機(jī)（SVM）和隨機(jī)森林（RF）。這些分類器很常見，眾所周知，以前曾應(yīng)用于許多機(jī)器學(xué)習(xí)問題，包括sEMG 分析，兩者都顯示出良好的性能。重復(fù)1、3、4 和6 用于訓(xùn)練分類器，重復(fù)2 和5 用于驗(yàn)證它們。對(duì)所有運(yùn)動(dòng)（包括其余運(yùn)動(dòng)）進(jìn)行分類[2]。

2 醫(yī)學(xué)機(jī)理分析

肌電信號(hào)的醫(yī)學(xué)機(jī)理涉及以下幾個(gè)方面：

1.肌肉收縮：當(dāng)神經(jīng)向肌肉發(fā)送信號(hào)時(shí)，肌肉會(huì)收縮并產(chǎn)生電活動(dòng)。肌肉收縮是由神經(jīng)沖動(dòng)引起的，這些沖動(dòng)在神經(jīng)細(xì)胞中產(chǎn)生并沿著神經(jīng)纖維傳導(dǎo)。

2.神經(jīng)傳導(dǎo)：神經(jīng)沖動(dòng)通過神經(jīng)傳導(dǎo)到達(dá)肌肉。這些沖動(dòng)通常從中樞神經(jīng)系統(tǒng)發(fā)出，經(jīng)過神經(jīng)樹突、軸突和神經(jīng)末梢等結(jié)構(gòu)，最終傳遞到肌肉。

圖1 佩戴示意圖

3.肌肉電活動(dòng)：肌肉收縮過程中產(chǎn)生的電信號(hào)可以通過表面肌電圖進(jìn)行測量。當(dāng)肌肉收縮時(shí)，肌纖維中的電活動(dòng)會(huì)產(chǎn)生電位差，這些電位差可以通過皮膚傳導(dǎo)到測量電極上。sEMG 可以記錄和分析這些電位差的特征，包括振幅、頻率和時(shí)域特性等。

4.神經(jīng)-肌肉接頭：神經(jīng)沖動(dòng)到達(dá)肌肉后，會(huì)通過神經(jīng)-肌肉接頭傳遞信號(hào)。這是神經(jīng)與肌肉之間的接觸點(diǎn)，通過釋放化學(xué)物質(zhì)（例如乙酰膽堿），神經(jīng)沖動(dòng)可以引發(fā)肌肉收縮。

綜上所述，sEMG 的醫(yī)學(xué)機(jī)理涉及肌肉收縮、神經(jīng)傳導(dǎo)、肌肉電活動(dòng)、神經(jīng)-肌肉接頭以及神經(jīng)異常等方面。通過測量和分析肌肉的電信號(hào)，sEMG 可以提供有關(guān)肌肉功能和神經(jīng)病理狀態(tài)的信息。因而可以通過對(duì)該信號(hào)的測量來實(shí)現(xiàn)手語的識(shí)別翻譯。

當(dāng)神經(jīng)系統(tǒng)向肌肉發(fā)送指令時(shí)，神經(jīng)元釋放神經(jīng)遞質(zhì)乙酰膽堿，乙酰膽堿通過神經(jīng)肌接頭傳遞到肌肉細(xì)胞上的乙酰膽堿受體上。乙酰膽堿受體激活后，導(dǎo)致細(xì)胞內(nèi)部鈉離子通道打開，鈉離子進(jìn)入肌肉細(xì)胞內(nèi)部。

這種鈉離子的進(jìn)入導(dǎo)致肌肉細(xì)胞內(nèi)部的電位變化，從而觸發(fā)肌肉細(xì)胞內(nèi)的細(xì)胞膜上的肌動(dòng)蛋白。這種肌動(dòng)蛋白和肌原纖維上的肌動(dòng)蛋白相互作用，產(chǎn)生肌肉收縮。同時(shí)，肌肉細(xì)胞內(nèi)的鈣離子也參與了肌肉收縮的調(diào)節(jié)。

肌肉收縮完成后，神經(jīng)元停止釋放乙酰膽堿，并將未被吸收的乙酰膽堿分解掉。肌肉細(xì)胞內(nèi)的鈉離子通道關(guān)閉，鈣離子的濃度回到正常水平，肌肉細(xì)胞逐漸放松。

在肌肉收縮和放松過程中，肌電信號(hào)可以通過肌肉細(xì)胞內(nèi)的電位變化和離子流動(dòng)來記錄和測量。這種肌電信號(hào)的改變可以用來分析肌肉的活動(dòng)和功能，因而可以應(yīng)用于運(yùn)動(dòng)控制的手語翻譯領(lǐng)域中[3]。

3 sEMG 采集與數(shù)據(jù)預(yù)處理

從客觀的實(shí)際出發(fā)，手語包含的手勢動(dòng)作其實(shí)是相對(duì)復(fù)雜的，一整套手語動(dòng)作是由連貫的多個(gè)手勢動(dòng)作構(gòu)成的。所以我們選取了四個(gè)基礎(chǔ)手勢動(dòng)作來進(jìn)行識(shí)別分析。其分別是伸掌、握拳、OK 和捏取。

肌電信號(hào)數(shù)據(jù)主要來自于項(xiàng)目成員組，在執(zhí)行的過程中每個(gè)手勢保持5 秒，手勢之間的間隔為10 秒，一共收集到了上千份數(shù)據(jù)集合。

為了防止數(shù)據(jù)集在后續(xù)的算法應(yīng)用中出現(xiàn)過擬合現(xiàn)象，我們必須對(duì)數(shù)據(jù)進(jìn)行標(biāo)簽修正的處理操作。標(biāo)簽修正可以修復(fù)或調(diào)整數(shù)據(jù)中的錯(cuò)誤標(biāo)簽，從而改進(jìn)模型的性能。錯(cuò)誤的標(biāo)簽會(huì)干擾模型的學(xué)習(xí)過程，導(dǎo)致模型預(yù)測的準(zhǔn)確性降低。通過標(biāo)簽修正，可以提高模型的精度、召回率等性能指標(biāo)，提升智能算法的整體表現(xiàn)。標(biāo)簽修正可以充分提高模型的理解能力和泛化能力。

綜上所述，標(biāo)簽修正在處理肌電信號(hào)中具有提高模型性能、改進(jìn)數(shù)據(jù)質(zhì)量、提供人工知識(shí)引導(dǎo)、處理標(biāo)簽不平衡問題等重要意義。通過標(biāo)簽修正，可以提高算法的準(zhǔn)確性、泛化能力和可解釋性，進(jìn)一步優(yōu)化智能算法的應(yīng)用效果。

在多樣本種類分類的任務(wù)中，神經(jīng)網(wǎng)絡(luò)會(huì)輸出一個(gè)當(dāng)前數(shù)據(jù)對(duì)應(yīng)于每個(gè)分類類別的置信度分?jǐn)?shù)，這些分?jǐn)?shù)可以通過softmax 進(jìn)行歸一化最終會(huì)計(jì)算出當(dāng)前數(shù)據(jù)歸屬每個(gè)類別的概率[4]。

為了讓標(biāo)簽修改更加的貼合肌電信號(hào)本身，我們采用了基于最大面積法原則進(jìn)行標(biāo)簽修正，即選擇與當(dāng)前標(biāo)簽相似度最高的標(biāo)簽作為修正結(jié)果。這種方法不涉及復(fù)雜的模型訓(xùn)練過程，更加容易理解和實(shí)現(xiàn)。其效果較好是由于最大面積法是通過計(jì)算相似度找到與當(dāng)前標(biāo)簽相似度最高的詮釋方式，從而實(shí)現(xiàn)修正。同時(shí)，最大面積法可以靈活地結(jié)合其他的標(biāo)簽修正方法或者特征工程方法，這也是因?yàn)槠洳灰蕾囉谔囟ǖ念I(lǐng)域知識(shí)或者先驗(yàn)條件，適用于各種不同的場景和領(lǐng)域。最大面積法的計(jì)算過程相對(duì)簡單，不需要進(jìn)行復(fù)雜的模型訓(xùn)練或者迭代計(jì)算。所以其計(jì)算效率較高，可以在大規(guī)模數(shù)據(jù)集上進(jìn)行快速的標(biāo)簽修正。因此在初始分析時(shí)，我們選取了這樣相對(duì)較為簡單的修正方式來對(duì)數(shù)據(jù)做了初始處理。

圖2 手勢準(zhǔn)確率

4 特征提取與分類

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種深度學(xué)習(xí)模型，主要用于圖像識(shí)別、語音識(shí)別和自然語言處理等領(lǐng)域。CNN模型由多個(gè)層組成，每一層在模型中承擔(dān)不同的作用。經(jīng)過處理后的肌電信號(hào)也屬于一種圖像，因此我們考慮用CNN 來進(jìn)行特征提取與歸類[5]。

最終可以得到的是，四個(gè)手勢的識(shí)別準(zhǔn)確率基本處于60%的范圍水平，基本達(dá)到預(yù)期的預(yù)設(shè)目標(biāo)。

5 本文工作總結(jié)與未來展望

肌電信號(hào)是人體手臂活動(dòng)時(shí)肌肉產(chǎn)生的生理電信號(hào)，其中包含了動(dòng)作信息，通過對(duì)肌電信號(hào)進(jìn)行分析識(shí)別是一種新型的人機(jī)交互控制方式。相較于語音還有機(jī)器視覺的交互方式，肌電信號(hào)具有方便直接，且不易受到環(huán)境干擾等特點(diǎn)。本文以肌電信號(hào)手勢識(shí)別中的適應(yīng)性為研究方向，探究了肌電信號(hào)時(shí)變性對(duì)肌電信號(hào)手勢識(shí)別的影響。本文主要工作總結(jié)如下：

1.分析了當(dāng)下的殘障人士的現(xiàn)狀困境，并且闡明了基于深度學(xué)習(xí)的sEMG 手語識(shí)別的重要意義。

2.確定了肌電信號(hào)的采集模塊，以小組成員作測試對(duì)象建立了數(shù)據(jù)集，以四個(gè)基礎(chǔ)手勢作基石展開信號(hào)分析。

3.分析了肌電信號(hào)醫(yī)學(xué)機(jī)理，通過分析肌電信號(hào)的各項(xiàng)特征來確認(rèn)后續(xù)的分析邏輯思路。

4.進(jìn)行標(biāo)簽修正的數(shù)據(jù)預(yù)處理操作，并且選取CNN智能算法作分類器，最后的準(zhǔn)確率穩(wěn)定在60%左右，達(dá)到了預(yù)期效果。

而在今后的研究工作中，可以繼續(xù)深入的研究之處有：

1.由于實(shí)際中的手勢是較為復(fù)雜的，后續(xù)在改進(jìn)準(zhǔn)確度的問題上可能可以考慮其他的算法。

2.未來技術(shù)成熟時(shí)也可以遷移到其他的應(yīng)用領(lǐng)域，比如智能假肢等。