基于柔性傳感器的手勢識別神經(jīng)網(wǎng)絡(luò)智能手套的研究

摘 要 本文提出一種基于柔性傳感器陣列的手勢識別智能手套。目前，手勢識別無論是在結(jié)構(gòu)設(shè)計、制備及后續(xù)算法等方面都得到了廣泛的研究。在此背景下，為了獲得更好的用戶體驗，降低手勢識別的成本，我們提出了一種柔性傳感器陣列的手勢識別手套。該手勢識別智能手套包括柔性傳感器陣列、LABVIEW采集和處理電信號系統(tǒng)、神經(jīng)網(wǎng)絡(luò)識別。柔性傳感器陣列包括基底、形變敏感層、電極和封裝層，采用聚二甲基硅氧烷、氫化苯乙烯-丁二烯嵌段共聚物、鉑催化硅橡膠、聚酰亞胺、聚對苯二甲酸乙二酯中的一種或多種為基底和封裝層，形變敏感層則為離子凝膠，電極通過導(dǎo)線引出;LABVIEW的模擬通道、外置的數(shù)據(jù)采集卡以及PCB電路板作為采集和處理電信號系統(tǒng)。

關(guān)鍵詞 手勢識別;柔性傳感器陣列;LABVIEW信號采集;神經(jīng)網(wǎng)絡(luò)

1背景

本文的研究內(nèi)容是利用柔性傳感器陣列并結(jié)合人工智能算法，實現(xiàn)集感知與識別一體的基于柔性傳感器陣列的手勢識別智能手套的制備，實現(xiàn)手勢的實時識別。國內(nèi)外的研究多是采用視覺方式來進(jìn)行手勢識別。Mohidul Alam Laskara等人提出了一種基于前向和后向運動的手勢檢測方法。該方法基于立體視覺，采用基于視差圖的質(zhì)心運動及其強度變化作為特征，以條件隨機(jī)場（CRF）為分類器對姿態(tài)進(jìn)行識別[1]。Dipak Kumar Ghosh提出了一種靜態(tài)手勢識別方法，克服了手勢圖像的光照、旋轉(zhuǎn)、大小和位置變化等問題，該工作利用同態(tài)濾波和灰度世界技術(shù)補償手勢圖像的光照變化，提出了一種圖像旋轉(zhuǎn)技術(shù)，使分割后的手勢旋轉(zhuǎn)不發(fā)生變化[2]。Han Zhao Zhu 等人為了解決手勢識別系統(tǒng)基于固定位置，無法隨時隨地使用的問題，提出了一種基于固定在用戶腰部的圖像采集帶的手勢識別方法，以提高用戶的友好性，獲取穩(wěn)定的手勢信息[3]。目前基于視覺的手勢識別，需要高精度的攝像頭，成本要求高，且條件苛刻，要求手勢識別過程中不能出現(xiàn)遮擋情況，因此，在人機(jī)交互領(lǐng)域的應(yīng)用仍受到一定的限制。近幾年，隨著柔性可穿戴傳感器的發(fā)展（靈敏度高、生物兼容性好、制備方便、成本低廉），其人機(jī)交互領(lǐng)域中顯示了潛在的應(yīng)用前景。它可以為聽力受損者開發(fā)助聽器、使非常年幼的兒童能夠與計算機(jī)進(jìn)行互動、觀察患者的情緒狀態(tài)或壓力水平，它還能在虛擬環(huán)境中導(dǎo)航或操作、視頻會議通信、遠(yuǎn)程教學(xué)，應(yīng)用十分廣泛。所以，本實驗旨在設(shè)計一種集信號感知與智能識別為一體的智能手套，實現(xiàn)一種新型的人機(jī)交流方式，推動人機(jī)交互的發(fā)展。

2結(jié)果與討論

2.1 手勢識別系統(tǒng)的總體設(shè)計方案

本文結(jié)合柔性傳感器陣列與人工智能算法，提出了一種集信號感知與智能識別為一體的智能手套，以期實現(xiàn)對不同手勢的感知、識別。通過該項目的工作，推動人機(jī)之間的交流，減少人們在人機(jī)交互過程由于對外在設(shè)備存在排斥而產(chǎn)生的抵觸情緒。

本課題實施具體步驟如圖1所示：

制備基于高導(dǎo)柔性凝膠基的高靈敏傳感器陣列并固定于手套上;

智能手套電信號的采集，并對手勢變化引起的微弱電信號進(jìn)行放大、去噪處理;

利用LABVIEW模擬通道獲取電信號，并將電信號轉(zhuǎn)化為數(shù)組形式;

通過LABVIEW判定結(jié)構(gòu)進(jìn)行程序識別。

本設(shè)計方案將傳感器感知與智能識別相統(tǒng)一。LABVIEW信號的采集與判定結(jié)構(gòu)的程序識別相結(jié)合，實現(xiàn)感知與識別的一體化。利用柔性可穿戴傳感器靈敏度高、生物兼容性好、制備方便、成本低廉的優(yōu)點，結(jié)合模板匹配技術(shù)，成功識別手勢。

2.2 柔性傳感器陣列

柔性傳感器陣列包括基底、形變敏感層、電極和封裝層，采用聚二甲基硅氧烷、氫化苯乙烯-丁二烯嵌段共聚物、鉑催化硅橡膠、聚酰亞胺、聚對苯二甲酸乙二酯中的一種或多種為基底和封裝層，形變敏感層則為離子凝膠，電極通過導(dǎo)線引出，制備過程如圖2所示。

本文使用的柔性傳感器具有良好的穩(wěn)定性，圖3（a）是傳感器拉伸0～100%狀態(tài)下電流電壓變化圖像，傳感器每隔10%拉伸量記錄一次電流隨電壓變化趨勢，由圖可知，拉伸量一定時，電流基本與電壓成正比關(guān)系，表明傳感器內(nèi)部電阻穩(wěn)定，不易受溫度等外界環(huán)境干擾。本文使用的傳感器不僅具有良好的穩(wěn)定性，還有很高的靈敏度。圖3（b）是傳感器截取2V工作電壓時電流隨拉伸的變化圖像，圖中可知，拉伸量越大，電阻通過傳感器的電流越小，根據(jù)歐姆定律

可知，電流減小，電阻增大。圖3（c）是傳感器的電阻變化率隨拉伸的變化圖像，根據(jù)靈敏度系數(shù)計算公式，

（1）

（2）

其中，為靈敏度系數(shù)靈敏度，為電阻變化率，為形變量，為拉伸率。

由公式（1）、（2），靈敏度系數(shù)為106，表明該柔性傳感器具有高靈敏度。圖3（d）是傳感器拉伸50%的電信號，隨著時間推移，傳感器每拉伸一次，在極短的時間內(nèi)就會產(chǎn)生非常明顯的電信號，根據(jù)圖中紅色虛線所轄時間范圍，響應(yīng)時間為5ms左右。拉伸多次后，電壓峰值一直穩(wěn)定在2.0V左右，具有較高的穩(wěn)定性能。

總之，本文使用的離子液體傳感器靈敏度高、穩(wěn)定性強、生物兼容性好、制備方便、成本低廉，能很好地貼附在人體皮膚上，而且，還具有一定的透明度，是成功檢測電信號的基礎(chǔ)。

2.3 手套的信號采集

本文搭建LABVIEW信號采集系統(tǒng)，獲得手勢識別過程中的電信號數(shù)據(jù)。

首先，搭建LABVIEW信號采集系統(tǒng)，通過外設(shè)的數(shù)據(jù)采集卡獲得各個手勢的電信號，如圖4所示。然后將柔性傳感器陣列貼附于手套上，通過不同手勢帶動手指運動，進(jìn)而引起電信號的變化，通過這些電信號，即可實現(xiàn)對手勢的識別。見圖5。

2.4 手套的智能識別

本文采用的判別方式，是基于神經(jīng)網(wǎng)絡(luò)判定的手勢識別。通過LABVIEW將電信號陣列轉(zhuǎn)換為數(shù)字信號，向嵌套的神經(jīng)網(wǎng)絡(luò)的輸入層實時導(dǎo)入數(shù)字信號。通過中間層加權(quán)取值，建立迭代函數(shù)，再通過神經(jīng)網(wǎng)絡(luò)的迭代訓(xùn)練，優(yōu)化迭代函數(shù)，通過輸出層返回對應(yīng)的“0-9”手勢的判斷（如圖6）。

3結(jié)束語

本文結(jié)合柔性傳感器陣列與人工智能算法，提出了一種集信號感知與智能識別為一體的智能手套，以期實現(xiàn)對不同手勢的感知、識別。通過該項目的工作，推動人機(jī)之間的交流，減少人們在人機(jī)交互過程由于對外在設(shè)備存在排斥而產(chǎn)生的抵觸情緒。

參考文獻(xiàn)

[1] Mohidul A L，Amlan J D，Anjan K T，et al. Stereo Vision-based Hand Gesture Recognition under 3D Environment[J]. SECOND INTERNATIONAL SYMPOSIUM ON COMPUTER VISION AND THE INTERNET，2015（58）：194-201.

[2] Ghosh D K，Ari S . On an algorithm for Vision-based hand gesture recognition[J]. Signal Image and Video Processing，2016，10（4）：655-662.

[3] Zhu H Z，Bo Y K，Xue Z L，et al. Gesture Recognition Based on the Image Acquisition Belt[J]. Journal of Physics：Conference Series，2018（1087）：62016.

作者簡介

陳龍飛（1998-），男，江蘇揚州人;現(xiàn)就讀學(xué)校：蘇州大學(xué)，本科在讀，研究方向：機(jī)械電子。