適用于手語采集與輸入的智能手套及翻譯系統(tǒng)

程杰　陳建華　許舒涵

關(guān)鍵詞：手勢(shì)識(shí)別；ESP32；彎曲傳感器；SVM；神經(jīng)網(wǎng)絡(luò)*

據(jù)中國殘疾人人口數(shù)據(jù)庫有關(guān)數(shù)據(jù)，我國持殘疾證人口中聽力殘疾和言語殘疾共計(jì)249.2 萬人，且多為農(nóng)村人口。由于工作和生活中大多數(shù)人不熟悉手語，造成了聾啞人難以融入社會(huì)生活的問題。因此，迫切需要一款低價(jià)、便攜的手語翻譯系統(tǒng)來輔助聾啞人與普通人溝通。

鑒于手語翻譯系統(tǒng)在輔助聾啞人融入社會(huì)中起到的重要作用，本文通過設(shè)計(jì)一款適用于手語采集與輸入的智能手套及翻譯系統(tǒng)采集手勢(shì)，形成數(shù)據(jù)庫并訓(xùn)練機(jī)器學(xué)習(xí)模型。使用者佩戴手套以后做出不同手勢(shì)，手套將采集到的手指彎曲程度、加速度等信息在單片機(jī)進(jìn)行預(yù)處理以后，通過UDP 協(xié)議經(jīng)Wi-Fi 傳遞至云端處理，云端接收數(shù)據(jù)報(bào)后通過分辨通過分辨靜態(tài)手勢(shì)與動(dòng)態(tài)活動(dòng)，將數(shù)據(jù)二次處理后放入已經(jīng)訓(xùn)練好的模型中進(jìn)行預(yù)測(cè)，并在網(wǎng)頁界面實(shí)時(shí)顯示結(jié)果，實(shí)現(xiàn)全平臺(tái)兼容。該方案穩(wěn)定性較高，可拓展性及可維護(hù)性極強(qiáng)，人機(jī)交互友好，解決了當(dāng)前非接觸式手勢(shì)識(shí)別精度低、易受干擾、處理速度慢等痛點(diǎn)。

經(jīng)過測(cè)試該方案識(shí)別準(zhǔn)確性高達(dá)91.02%，方差0.0012，硬件成本僅為296 元且可拓展性高，人機(jī)交互友好，具備廣泛普及的條件，能有效輔助聾啞人士進(jìn)行簡單交流，更好的參與社會(huì)生活，并且還可以作為教學(xué)用具進(jìn)行手語培訓(xùn)。

1 手勢(shì)識(shí)別方案選擇

方案1 基于傳感器和MPU6050 姿態(tài)傳感器的手勢(shì)識(shí)別數(shù)據(jù)手套上的傳感器能識(shí)別手指彎曲以及手部的運(yùn)動(dòng)，識(shí)別率較高，并且成本低有利于推廣，數(shù)據(jù)量低傳輸速度快，處理難度低。……