手勢識別機(jī)器人

陸一嬌 廖倩倩 李成良 王靖賀 劉翼溥

摘要：隨著智能移動設(shè)備和可穿戴設(shè)備的發(fā)展，自然的、符合人類習(xí)慣的人機(jī)交互方式逐漸成為人們研究的熱點。手勢、體態(tài)、人臉姿態(tài)這些最為直觀、方便的人體動作，自然就成為人機(jī)交互研究的難點和重要方向。基于以上背景，我們將以履帶式抓取機(jī)器人為實驗平臺，通過智能手套對手勢進(jìn)行識別，進(jìn)而完成對移動機(jī)器人的運(yùn)動狀態(tài)的控制。致力于設(shè)計和開發(fā)適當(dāng)?shù)目刂扑惴ǎ瑢崿F(xiàn)對機(jī)器人多方面的操控。使用者可以通過智能手套控制機(jī)器人在多種環(huán)境下進(jìn)行抓取操作，既操作方便，還能保護(hù)用戶自身安全。

關(guān)鍵詞：抓取機(jī)器人;控制算法;手勢識別

1.引言

目前，手勢識別在手語、智能監(jiān)控、機(jī)器人控制、虛擬現(xiàn)實等領(lǐng)域發(fā)揮著重要作用。隨著計算機(jī)視覺的發(fā)展和人機(jī)交互的需要，手勢識別的研究得到了巨大的發(fā)展。我國手勢識別下游應(yīng)用市場也逐漸成熟。現(xiàn)在，大多數(shù)消費類應(yīng)用程序都在嘗試增加這種識別功能，可以帶來很多好處。它在許多應(yīng)用中發(fā)揮了良好的作用。多年來，人機(jī)交互一直以鍵盤和鼠標(biāo)為中心。然而，隨著科學(xué)技術(shù)的進(jìn)步，特別是傳感器技術(shù)和芯片制造技術(shù)的進(jìn)步，中國正在不斷研究新的人機(jī)交互體驗。手勢識別是一種新型的人機(jī)交互方式。它使用人類的姿勢和動作來表達(dá)用戶的重要性，這對于殘疾人來說非常重要。不同的手勢可以命令機(jī)器人執(zhí)行不同的指令。

2.主要內(nèi)容

本文是使用智能手套通過彎曲度傳感器感知人的手部動作，然后通過藍(lán)牙模塊對機(jī)器車發(fā)出不同的工作指令;機(jī)器車以STM32單片機(jī)為主控，使用直流電機(jī)和履帶驅(qū)動，搭載伺服電機(jī)驅(qū)動的機(jī)械手臂，在接收到智能手套發(fā)來的控制信號后可以進(jìn)行移動和抓取操作。

2.1履帶式智能抓取機(jī)器人

（1）機(jī)器人主控

我們選擇STM32作為主控，STM32單片機(jī)是一種集成度高的單片機(jī)，具有高性能、實時功能、低功耗、低電壓運(yùn)行等特點。同時，它還保留了高集成度和輕開發(fā)的特點，這將為未來的集成開發(fā)提供舒適性和便利性。

（2）機(jī)器人姿態(tài)檢測模塊

我們利用陀螺儀MPU6050來實時感知機(jī)器人的姿態(tài)，MPU6050為全球首例整合性6軸運(yùn)動處理組件，我們可以利用它感知機(jī)器人行走方向，以及獲知機(jī)器人在平路行駛還是坡路行駛，從而可以使機(jī)器人適應(yīng)室內(nèi)的不同地形。

（3）障礙感知

超聲波模塊HC-SR04可以通過發(fā)送和接收超聲波，利用時間差和聲音傳播速度，計算出模塊到前方障礙物的距離。我們利用它檢測室內(nèi)不同的障礙，在遇到障礙物時，提前做出避障。

（4）多舵機(jī)控制

舵機(jī)是機(jī)器人轉(zhuǎn)向的中心機(jī)構(gòu)。它具的體型小、力矩大、穩(wěn)定性高等特點，無論在硬件設(shè)計還是軟件設(shè)計中，舵機(jī)都是機(jī)器人控制的重要組成部分。

（5）人體感應(yīng)

我們采用HC-R501人體紅外感應(yīng)模塊，HC-R501是基于紅外線技術(shù)的自動控制模塊，采用LH1788探頭設(shè)計，靈敏度高，可靠性強(qiáng)。我們通過此傳感器探測周圍是否有人靠近，避免阻礙行人，方便用戶使用。

（6）機(jī)械手臂

機(jī)械手臂是機(jī)器人技術(shù)領(lǐng)域中應(yīng)用最廣泛的自動化機(jī)械設(shè)備。它可以在工業(yè)生產(chǎn)、醫(yī)療、軍事、制造業(yè)和空間的研究等領(lǐng)域看到。它們都有一個共同的特點，即它們可以接受指令并精確定位三維空間中的一個點進(jìn)行操作。

2.2智能感知手套

（1）手勢姿態(tài)識別模塊

RFP系列薄膜彎曲傳感器基本功能是可以對物體彎曲度進(jìn)行測試，它可用于各種應(yīng)用環(huán)境和各種場景：傳感器具有抗干擾性。當(dāng)感應(yīng)彎曲發(fā)生變化時，傳感器的電阻也會發(fā)生變化：彎曲越大，電阻越大。其原理簡單易用。它可以直接捕獲彎曲度傳感器的電阻值，或通過采集模塊將其轉(zhuǎn)換為標(biāo)準(zhǔn)信號電壓數(shù)據(jù)。

通常，傳感器可以直接檢測電阻，并根據(jù)電阻值計算出相應(yīng)的彎曲范圍。因此，只能使用一個歐姆表。在實際的測試過程中，直接使用電阻檢測設(shè)備不適合集成，因此在很多情況下通常使用電壓采集卡，即將電阻信號轉(zhuǎn)換為電壓信號記錄，并根據(jù)測試電壓值計算出相應(yīng)的彎曲度。下圖計算公式：

（2）手勢識別算法

①基于模板匹配

直接匹配法：利用輸入手勢與訓(xùn)練好的標(biāo)準(zhǔn)模板的相似度。

優(yōu)點：通俗易懂，可以方便后期添加和改進(jìn)。

動態(tài)時間規(guī)整（Dynamic Time Warping，DTW）：把輸入手勢時間軸非線性地映射到模板事件軸，再進(jìn)行模板匹配。

②基于概率統(tǒng)計

隱性馬爾科夫模型（Hiden Markov Model，HMM）模型：訓(xùn)練時每一種手勢對應(yīng)一個HMM model，識別時取概率最大的一個HMM即可。

優(yōu)點：比較適合時間序列模型，比較容易對手勢庫進(jìn)行添加和修改。

③基于數(shù)據(jù)分類

神經(jīng)網(wǎng)絡(luò)（Nerual Network，NN）模型：基于某種學(xué)習(xí)準(zhǔn)則循環(huán)進(jìn)行學(xué)習(xí)，使得下次犯錯誤的概率最低。

優(yōu)點：容錯能力強(qiáng)，抗干擾能力強(qiáng)，比較適合學(xué)習(xí)算法。

（3）藍(lán)牙控制模塊

藍(lán)牙技術(shù)實際上是一種無線短程技術(shù)。藍(lán)牙技術(shù)可以有效簡化移動設(shè)備之間的通信。它負(fù)責(zé)將從串行接口接收到的數(shù)據(jù)轉(zhuǎn)換成藍(lán)牙協(xié)議，并發(fā)送到另一個藍(lán)牙設(shè)備，將從另一個藍(lán)牙設(shè)備接收到的藍(lán)牙數(shù)據(jù)轉(zhuǎn)換成串行端口數(shù)據(jù)并發(fā)送到該設(shè)備。其次，根據(jù)傳輸特性選擇不同功能的藍(lán)牙模塊。如果用于數(shù)據(jù)傳輸，可以選擇點對點透明傳輸模塊，和點對多點模，還可以根據(jù)包裝形式進(jìn)行選擇。藍(lán)牙模塊有三種類型：直插型、表貼型和串行端口適配器。直插型適合前期焊接和小批量生產(chǎn)。該模塊有兩種安裝模式：內(nèi)置和外部。此外，還有一個外部串行端口藍(lán)牙適配器。如果用戶不喜歡在設(shè)備中內(nèi)置藍(lán)牙，他們可以將適配器直接插入設(shè)備的串行接口，并在開機(jī)時使用。

3.結(jié)果

通過制作，該系統(tǒng)一切正常運(yùn)行，可以通過智能手套的控制實現(xiàn)小車的前進(jìn)、后退、加速、減速，藍(lán)牙連接等操作。該系統(tǒng)具有可靠、方便、低成本等特性。具有一定的使用功能。其應(yīng)用范圍廣泛，具有一定的現(xiàn)實意義，可以幫助行動不便的老年人進(jìn)行抓取操作。

參考文獻(xiàn)：

[1]梅武松，李忠新.基于手形和姿態(tài)的軍用動態(tài)手勢識別方法研究[J].兵器裝備工程學(xué)報，2021，42（05）：208-214.

[2]苗凱，曲海洲，徐何江.基于人工智能的無穿戴人體姿態(tài)識別技術(shù)研究[J].信息化建設(shè)，2020（09）：60-64.

[3]王敏旭. 實時目標(biāo)的位置姿態(tài)識別以及運(yùn)動跟蹤的研究和應(yīng)用[D].電子科技大學(xué)，2020.DOI：10.27005/d.cnki.gdzku.2020.004348.

[4]宋一凡，張鵬，劉立波.基于視覺手勢識別的人機(jī)交互系統(tǒng)[J].計算機(jī)科學(xué)，2019，46（S2）：570-574.

作者簡介：

陸一嬌（2000-），女，滿族，遼寧錦州人，西北民族大學(xué)本科在讀，物聯(lián)網(wǎng)工程方向。

基金項目：

西北民族大學(xué)國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃資助項目 （202110742027）。