程杰 陳建華 許舒涵



關(guān)鍵詞:手勢(shì)識(shí)別;ESP32;彎曲傳感器;SVM;神經(jīng)網(wǎng)絡(luò)*
據(jù)中國殘疾人人口數(shù)據(jù)庫有關(guān)數(shù)據(jù),我國持殘疾證人口中聽力殘疾和言語殘疾共計(jì)249.2 萬人,且多為農(nóng)村人口。由于工作和生活中大多數(shù)人不熟悉手語,造成了聾啞人難以融入社會(huì)生活的問題。因此,迫切需要一款低價(jià)、便攜的手語翻譯系統(tǒng)來輔助聾啞人與普通人溝通。
鑒于手語翻譯系統(tǒng)在輔助聾啞人融入社會(huì)中起到的重要作用,本文通過設(shè)計(jì)一款適用于手語采集與輸入的智能手套及翻譯系統(tǒng)采集手勢(shì),形成數(shù)據(jù)庫并訓(xùn)練機(jī)器學(xué)習(xí)模型。使用者佩戴手套以后做出不同手勢(shì),手套將采集到的手指彎曲程度、加速度等信息在單片機(jī)進(jìn)行預(yù)處理以后,通過UDP 協(xié)議經(jīng)Wi-Fi 傳遞至云端處理,云端接收數(shù)據(jù)報(bào)后通過分辨通過分辨靜態(tài)手勢(shì)與動(dòng)態(tài)活動(dòng),將數(shù)據(jù)二次處理后放入已經(jīng)訓(xùn)練好的模型中進(jìn)行預(yù)測(cè),并在網(wǎng)頁界面實(shí)時(shí)顯示結(jié)果,實(shí)現(xiàn)全平臺(tái)兼容。該方案穩(wěn)定性較高,可拓展性及可維護(hù)性極強(qiáng),人機(jī)交互友好,解決了當(dāng)前非接觸式手勢(shì)識(shí)別精度低、易受干擾、處理速度慢等痛點(diǎn)。
經(jīng)過測(cè)試該方案識(shí)別準(zhǔn)確性高達(dá)91.02%,方差0.0012,硬件成本僅為296 元且可拓展性高,人機(jī)交互友好,具備廣泛普及的條件,能有效輔助聾啞人士進(jìn)行簡單交流,更好的參與社會(huì)生活,并且還可以作為教學(xué)用具進(jìn)行手語培訓(xùn)。
1 手勢(shì)識(shí)別方案選擇
方案1 基于傳感器和MPU6050 姿態(tài)傳感器的手勢(shì)識(shí)別數(shù)據(jù)手套上的傳感器能識(shí)別手指彎曲以及手部的運(yùn)動(dòng),識(shí)別率較高,并且成本低有利于推廣,數(shù)據(jù)量低傳輸速度快,處理難度低。……