基于手勢(shì)識(shí)別技術(shù)的工業(yè)機(jī)械臂人機(jī)交互控制系統(tǒng)研究

摘要：隨著智能制造技術(shù)的發(fā)展，人機(jī)交互技術(shù)在工業(yè)生產(chǎn)領(lǐng)域的應(yīng)用日益擴(kuò)大。文章設(shè)計(jì)了一種基于手勢(shì)識(shí)別技術(shù)的工業(yè)機(jī)械臂人機(jī)交互控制系統(tǒng)，該系統(tǒng)通過(guò)利用非接觸式手勢(shì)控制方式，簡(jiǎn)化機(jī)械臂操作流程，并提升系統(tǒng)的靈活性和安全性。系統(tǒng)采用Leap Motion傳感器捕捉用戶的手部動(dòng)作，并將識(shí)別結(jié)果轉(zhuǎn)化為機(jī)械臂的運(yùn)動(dòng)指令，實(shí)現(xiàn)了對(duì)手部動(dòng)作的實(shí)時(shí)響應(yīng)。此外，文章還探討了運(yùn)用AI技術(shù)減少手勢(shì)識(shí)別在機(jī)械臂控制中的誤差，進(jìn)而提高了控制精度。實(shí)驗(yàn)測(cè)試結(jié)果顯示，該系統(tǒng)在工業(yè)生產(chǎn)模擬環(huán)境中表現(xiàn)出良好的性能，有效提升了工業(yè)機(jī)械臂人機(jī)交互的效率和質(zhì)量，為智能制造領(lǐng)域的人機(jī)交互發(fā)展提供了一種新的思路和實(shí)踐參考。

關(guān)鍵詞：手勢(shì)識(shí)別；Leap Motion；機(jī)械臂；人機(jī)交互；工業(yè)應(yīng)用

中圖分類號(hào)：TP18；T-391.41" " "文獻(xiàn)標(biāo)識(shí)碼：A" " "文章編號(hào)：1674-0688（2024）12-0017-06

0 引言

隨著智能制造技術(shù)的快速發(fā)展，工業(yè)機(jī)器人在生產(chǎn)領(lǐng)域的應(yīng)用越來(lái)越廣泛。然而，傳統(tǒng)的機(jī)械臂控制系統(tǒng)主要依賴于預(yù)編程路徑或手動(dòng)示教［1］。預(yù)編程路徑控制是在機(jī)械臂操作前，通過(guò)編寫和輸入特定的程序代碼，預(yù)先規(guī)劃?rùn)C(jī)械臂的行為和移動(dòng)路徑。這一過(guò)程利用控制軟件或編程語(yǔ)言，在三維空間中設(shè)定多個(gè)路徑點(diǎn)（waypoints），機(jī)械臂在這些點(diǎn)之間移動(dòng)，可能采用線性插值、圓弧插值等方式，以實(shí)現(xiàn)平滑且連續(xù)的運(yùn)動(dòng)。該方式雖然能提供高效且精確的控制，尤其適合重復(fù)性高的生產(chǎn)任務(wù)，但是缺乏實(shí)時(shí)響應(yīng)的能力，一旦工作環(huán)境發(fā)生變化（如障礙物或物體位置變動(dòng)），程序往往需要重新調(diào)整和測(cè)試。相比之下，手動(dòng)示教則由操作人員直接引導(dǎo)或操控機(jī)械臂，通過(guò)操縱桿、遙控器或手動(dòng)控制臺(tái)直接控制機(jī)械臂的運(yùn)動(dòng)。控制臺(tái)通常提供多個(gè)軸的獨(dú)立控制功能，使操作人員能夠逐軸或同時(shí)控制機(jī)械臂的運(yùn)動(dòng)，具有較高的靈活性，適用于非重復(fù)性任務(wù)、維護(hù)工作和調(diào)試操作等場(chǎng)景。然而，長(zhǎng)時(shí)間的手動(dòng)操作會(huì)降低效率，并且在面對(duì)復(fù)雜任務(wù)時(shí)，手動(dòng)控制的精度和一致性難以保證。因此，開發(fā)一種更直觀且簡(jiǎn)便的機(jī)械臂控制方法顯得尤為重要。

近年來(lái)，手勢(shì)識(shí)別技術(shù)因其自然、直觀的特性，在人機(jī)交互領(lǐng)域受到了廣泛關(guān)注。尤其是基于視覺(jué)的手勢(shì)識(shí)別技術(shù)，通過(guò)攝像頭捕捉用戶的手部動(dòng)作，為機(jī)械臂的控制提供了新的可能［1］。目前，國(guó)內(nèi)眾多研究人員開始探索手勢(shì)識(shí)別技術(shù)在工業(yè)控制領(lǐng)域的應(yīng)用。劉華江［2］利用CPM模型實(shí)現(xiàn)了手部關(guān)鍵點(diǎn)的檢測(cè)，并設(shè)計(jì)了卡爾曼濾波器以減少質(zhì)心軌跡點(diǎn)的跳變，從而實(shí)現(xiàn)了機(jī)械臂對(duì)手部質(zhì)心運(yùn)動(dòng)的精準(zhǔn)跟隨。楊楊［3］采用Kinect相機(jī)采集點(diǎn)云圖像，對(duì)采集的數(shù)據(jù)進(jìn)行處理后，將結(jié)果發(fā)送給機(jī)器人，實(shí)現(xiàn)了對(duì)機(jī)器人的簡(jiǎn)單示教操作。董嘉棋［4］ 針對(duì)增強(qiáng)現(xiàn)實(shí)環(huán)境下人機(jī)手勢(shì)交互中不同類型的復(fù)雜手勢(shì)，提出了相應(yīng)的識(shí)別方法，并面向增強(qiáng)現(xiàn)實(shí)輔助的環(huán)境，設(shè)計(jì)了應(yīng)用于工業(yè)裝配和口腔正畸弓絲彎制的手勢(shì)交互培訓(xùn)系統(tǒng)。本文則提出了一種基于Leap Motion傳感器控制的機(jī)械臂人機(jī)交互控制系統(tǒng)，旨在利用非接觸式的手勢(shì)控制方式，簡(jiǎn)化機(jī)械臂的操作流程，同時(shí)提高系統(tǒng)的靈活性和安全性。

1 手勢(shì)識(shí)別技術(shù)的概述

Leap Motion是一款基于計(jì)算機(jī)視覺(jué)技術(shù)的三維數(shù)據(jù)追蹤傳感器，其核心依賴于光學(xué)追蹤和先進(jìn)的計(jì)算機(jī)視覺(jué)算法。其手勢(shì)捕捉流程主要分為以下6個(gè)步驟。

（1）硬件信息采集。Leap Motion 設(shè)備內(nèi)置多個(gè)紅外攝像頭和紅外LED燈。LED 燈發(fā)射紅外光線照亮用戶手部，攝像頭則依據(jù)立體視覺(jué)原理工作，從多個(gè)角度捕捉手部反射的紅外光，從而獲取三維空間中的手部信息［5］。

（2）圖像采集與預(yù)處理。攝像頭以約200幀/秒的高幀率捕捉手部運(yùn)動(dòng)的圖像，并對(duì)捕獲的圖像進(jìn)行預(yù)處理，剔除背景噪聲和干擾，僅保留手部反射光的特征信息［6］。

（3）手部模型的三維重建。通過(guò)分析多個(gè)攝像頭捕捉的圖像，Leap Motion利用立體視覺(jué)算法計(jì)算出手部的深度信息及三維輪廓，隨后將圖像數(shù)據(jù)轉(zhuǎn)換為三維點(diǎn)云，描繪出手部在空間中的形態(tài)和位置。

（4）手指和關(guān)節(jié)識(shí)別。借助機(jī)器學(xué)習(xí)和算法模型，Leap Motion將點(diǎn)云數(shù)據(jù)映射為手指和關(guān)節(jié)的骨骼結(jié)構(gòu)，精確識(shí)別手指數(shù)量、位置、方向及關(guān)節(jié)角度。

（5）動(dòng)作和手勢(shì)的檢測(cè)。Leap Motion 提供內(nèi)置的手勢(shì)庫(kù)，用于檢測(cè)如抓握、點(diǎn)擊、滑動(dòng)等預(yù)定義手勢(shì)。同時(shí)，通過(guò)持續(xù)分析幀與幀之間的變化，Leap Motion能夠?qū)崟r(shí)跟蹤手部運(yùn)動(dòng)，檢測(cè)復(fù)雜手勢(shì)。

（6）數(shù)據(jù)輸出與應(yīng)用集成。Leap Motion將經(jīng)過(guò)上述步驟處理后的手勢(shì)和手部運(yùn)動(dòng)數(shù)據(jù)，以實(shí)時(shí)、高精度的形式輸出給各種應(yīng)用程序和開發(fā)平臺(tái)。

在工業(yè)領(lǐng)域，傳統(tǒng)機(jī)器人控制方式如遙控、編程等存在一定的局限性。特別是在高危環(huán)境或需靈活交互的場(chǎng)景中，傳統(tǒng)方式難以適用［5］。此時(shí)，人機(jī)交互手勢(shì)識(shí)別技術(shù)為機(jī)器人控制提供了新途徑。機(jī)械臂作為應(yīng)用最廣泛的工業(yè)機(jī)器人，融入人機(jī)交互及手勢(shì)識(shí)別技術(shù)，實(shí)現(xiàn)了操作人員與被操作對(duì)象的無(wú)接觸式控制，使機(jī)械臂能在操作人員無(wú)法直接到達(dá)的區(qū)域執(zhí)行任務(wù)。鑒于Leap Motion體感控制器具有高精度識(shí)別與快速響應(yīng)的特點(diǎn)，本研究選用Leap Motion實(shí)現(xiàn)無(wú)接觸式手勢(shì)操控機(jī)械臂。

2 坐標(biāo)轉(zhuǎn)換原理

為了精確描述機(jī)械臂在空間中的位置和姿態(tài)，坐標(biāo)轉(zhuǎn)換是必不可少的。在進(jìn)行不同坐標(biāo)系之間的變換時(shí)，需綜合考慮位置、姿態(tài)和縮放等因素［7］。當(dāng)從坐標(biāo)系A(chǔ)變換到坐標(biāo)系B時(shí)，若A的坐標(biāo)原點(diǎn)在B中的位置描述為P（B-A），且在A、B坐標(biāo)系無(wú)姿態(tài)變換的情況下，空間中任意一點(diǎn)m的位置變換可簡(jiǎn)單描述為：（B）m=（A）m+（B）A，其中，（A）m表示點(diǎn)m在坐標(biāo)系A(chǔ)中的坐標(biāo)向量，（B）A是坐標(biāo)系A(chǔ)的原點(diǎn)在坐標(biāo)系B中的位置向量，（B）m則是點(diǎn)m在坐標(biāo)系B中的坐標(biāo)向量。這種變換直觀地反映了在僅考慮位置變動(dòng)時(shí)，如何將一個(gè)點(diǎn)從一個(gè)坐標(biāo)系轉(zhuǎn)換到另一個(gè)坐標(biāo)系。

當(dāng)涉及姿態(tài)變換時(shí)，即考慮A的各軸相對(duì)于B的旋轉(zhuǎn)R（B-A）（在A、B坐標(biāo)系原點(diǎn)重合的情況下），此時(shí)姿態(tài)變換描述了坐標(biāo)系A(chǔ)相對(duì)于坐標(biāo)系B的方向變化。設(shè)R（B-A）為一個(gè)3×3的旋轉(zhuǎn)矩陣，其各列分別表示坐標(biāo)系A(chǔ)的 x、y、z 軸在坐標(biāo)系B中的方向。除了位置和姿態(tài)變換外，還可能存在縮放變換。在A、B坐標(biāo)系位置與姿態(tài)一致的情況下，A各個(gè)軸的單位向量相對(duì)于B的縮放S（B-A）描述了坐標(biāo)系A(chǔ)相對(duì)于坐標(biāo)系B在各個(gè)軸向上的長(zhǎng)度比例變化。S（B-A）是一個(gè)3×3的對(duì)角矩陣，其對(duì)角線上的元素分別表示x、y、z軸的縮放因子。

在實(shí)際應(yīng)用中，往往需同時(shí)考慮位置、姿態(tài)及縮放變換。為實(shí)現(xiàn)這種一般坐標(biāo)系變換，可以假設(shè)一個(gè)中間坐標(biāo)系C，C的原點(diǎn)與A的原點(diǎn)重合，而姿態(tài)和縮放則與B一致。通過(guò)這種假設(shè)，可以得到一般坐標(biāo)系變換公式：

（B）m=R（B-A）S（B-A）（A）m+（B）A，" " " " （1）

將公式（1）寫為 4×4 的齊次矩陣形式，即可得到A到B的變換算子T（B-A）：

T（B-A）=[R（B?A）S（B?A）（B）A01]。" " " " （2）

這個(gè)變換算子能夠綜合考慮位置、姿態(tài)以及縮放的變化，實(shí)現(xiàn)從坐標(biāo)系 A 到坐標(biāo)系 B 的完整變換。假設(shè)Leap Motion坐標(biāo)系（設(shè)為A）與機(jī)械臂基座坐標(biāo)系（設(shè)為B）之間的關(guān)系如下：

平移矩陣[BA=?50.000?100.0080.00]，" " " " " " " " " " （3）

旋轉(zhuǎn)矩陣R（B-A）=[?100010001]，" " " " " " " " "（4）

縮放矩陣S（B-A） =[500005000050]，" " " " " " " （5）

將這些矩陣代入公式（1），可得

R（B-A）S（B-A）= [?100010001500005000050]=

[?500005000050]，" " " " " " " " " " " " " " " " " " " " " " " " " " " （6）

由此可得：

T（B-A）= [?5000?50.0000500?100.00005080.000001]。" " "（7）

隨后，可將Leap Motion坐標(biāo)系下的手部坐標(biāo)點(diǎn)轉(zhuǎn)換為機(jī)械臂基座坐標(biāo)系下的坐標(biāo)。例如，將Leap Motion 坐標(biāo)系中的點(diǎn)（-1.5，2.0，-8.0）表示為齊次坐標(biāo)形式：[?1.52.0?8.01]，通過(guò)變換算子T（B-A）進(jìn)行坐標(biāo)轉(zhuǎn)換：

（B）m= T（B-A）（A）m=

[?5000?50.0000500?100.00005080.000001?1.52.0?8.01]=[7550401]，" " " （8）

即得出該點(diǎn)在機(jī)械臂基座坐標(biāo)系下的坐標(biāo)為（75，50，40）。

通過(guò)上述坐標(biāo)轉(zhuǎn)換過(guò)程，成功地將Leap Motion坐標(biāo)系下的手部坐標(biāo)點(diǎn)轉(zhuǎn)換至機(jī)械臂基座坐標(biāo)系下。此轉(zhuǎn)換機(jī)制為手勢(shì)控制機(jī)械臂奠定了基礎(chǔ)，確保手部位置信息能準(zhǔn)確映射至機(jī)械臂的位置控制上，從而實(shí)現(xiàn)精準(zhǔn)、靈活的手勢(shì)控制機(jī)械臂操作［8］。

在機(jī)械臂的手勢(shì)控制應(yīng)用中，坐標(biāo)轉(zhuǎn)換發(fā)揮著關(guān)鍵作用。通過(guò)精確構(gòu)建并應(yīng)用從手勢(shì)識(shí)別坐標(biāo)系至機(jī)械臂基座坐標(biāo)系的變換關(guān)系，實(shí)現(xiàn)了手部位置信息與機(jī)械臂位置的有效關(guān)聯(lián)，為手勢(shì)控制機(jī)械臂提供了可靠的技術(shù)基礎(chǔ)。在未來(lái)的研究與應(yīng)用中，進(jìn)一步優(yōu)化坐標(biāo)轉(zhuǎn)換算法、提升轉(zhuǎn)換精度，將有助于增強(qiáng)手勢(shì)控制機(jī)械臂系統(tǒng)的性能，拓寬其應(yīng)用范圍。

3 系統(tǒng)方案設(shè)計(jì)

以手部動(dòng)作操控機(jī)械臂是本系統(tǒng)的核心設(shè)計(jì)理念，系統(tǒng)基于Leap Motion進(jìn)行手部數(shù)據(jù)提取及手勢(shì)識(shí)別。本系統(tǒng)設(shè)計(jì)了手勢(shì)與機(jī)械臂動(dòng)作的映射關(guān)系，并針對(duì)手掌中心點(diǎn)數(shù)據(jù)的抖動(dòng)問(wèn)題，提出了解決方案并進(jìn)行了優(yōu)化。

3.1 手勢(shì)和機(jī)械臂動(dòng)作的映射關(guān)系

用戶通過(guò)手勢(shì)控制輸入，驅(qū)動(dòng)機(jī)械臂執(zhí)行相應(yīng)動(dòng)作。Leap Motion傳感器捕捉手勢(shì)并將其轉(zhuǎn)化為數(shù)字信號(hào)，系統(tǒng)通過(guò)特定的算法將這些信號(hào)映射到機(jī)械臂的運(yùn)動(dòng)軌跡或操作任務(wù)上。每種特殊手勢(shì)均對(duì)應(yīng)機(jī)械臂的一種運(yùn)動(dòng)行為，例如手指半彎曲手勢(shì)對(duì)應(yīng)機(jī)械臂的抓取準(zhǔn)備動(dòng)作，握緊拳頭手勢(shì)對(duì)應(yīng)機(jī)械臂的抓緊動(dòng)作，五指伸直且掌心朝下則對(duì)應(yīng)機(jī)械臂切換至停止?fàn)顟B(tài)。具體手勢(shì)動(dòng)作對(duì)應(yīng)的用途見表1。

狀態(tài)切換主要通過(guò)CSharp腳本與Unity引擎的協(xié)同控制來(lái)實(shí)現(xiàn)。在機(jī)械臂控制系統(tǒng)中，利用Unity的有限狀態(tài)機(jī)（FSM）結(jié)合手勢(shì)識(shí)別技術(shù)，實(shí)現(xiàn)機(jī)械臂各狀態(tài)之間的切換。具體而言，在CSharp腳本中，定義一個(gè)包含物理?xiàng)l件判斷方法的抽象類，作為機(jī)械臂各狀態(tài)類的基類。在每個(gè)具體的狀態(tài)類中，實(shí)現(xiàn)了該狀態(tài)的行為邏輯以及退出條件。隨后，根據(jù)手勢(shì)識(shí)別系統(tǒng)傳遞的信息，判斷當(dāng)前手勢(shì)應(yīng)使機(jī)械臂進(jìn)入哪個(gè)狀態(tài)，從而觸發(fā)狀態(tài)的切換。狀態(tài)機(jī)切換流程圖見圖1。

3.2 手勢(shì)捕獲與誤差處理

3.2.1 手勢(shì)捕捉

本文選用的Leap Motion體感設(shè)備采用立體視覺(jué)測(cè)量方法定位目標(biāo)空間位置。該設(shè)備通過(guò)內(nèi)置的雙紅外攝像頭對(duì)投射標(biāo)定光進(jìn)行反射，并根據(jù)返射光的返回信息確定反射點(diǎn)的空間坐標(biāo)位置。由于該設(shè)備受光線、空氣濕度等環(huán)境因素的影響較小，因此提升了手勢(shì)示教交互系統(tǒng)的穩(wěn)定性。在本研究中，示教手勢(shì)模型是基于靜態(tài)手勢(shì)構(gòu)建的，靜態(tài)手勢(shì)可根據(jù)手的位置、方向及手勢(shì)形狀進(jìn)行描述。目前，手勢(shì)模型的建立方法主要分為三維模型手勢(shì)和圖像模型手勢(shì)兩大類。三維模型手勢(shì)是通過(guò)終端傳感器獲取手掌中心坐標(biāo)、手指指尖坐標(biāo)、手指彎曲角度等三維坐標(biāo)數(shù)據(jù)屬性組成的［9］。圖像模型手勢(shì)則是由手勢(shì)輪廓線、像素點(diǎn)明暗、像素點(diǎn)分布等圖像屬性構(gòu)成的。

鑒于三維模型手勢(shì)識(shí)別具有更高的準(zhǔn)確性，并且Leap Motion能夠采集三維空間的位置信息，因此本文采用了基于三維的示教手勢(shì)建模方式。在構(gòu)建示教手勢(shì)數(shù)學(xué)模型時(shí)，考慮到手在Leap Motion的有效空間內(nèi)活動(dòng)時(shí)手掌的各個(gè)位置點(diǎn)會(huì)不斷變化，因此在進(jìn)行手勢(shì)建模前，需選擇統(tǒng)一的參考點(diǎn)作為衡量各量變化的標(biāo)準(zhǔn)。手部檢測(cè)點(diǎn)見圖 2 ，無(wú)論是握拳還是伸直手指，掌心均可視為手的幾何中心。Leap Motion SDK中的PalmPosition（） 函數(shù)提供了手掌中心的位置坐標(biāo)，因此本文選擇手掌中心點(diǎn)作為參考點(diǎn)。

3.2.2 誤差處理

Leap Motion 配備了3個(gè)紅外 LED 燈和2個(gè)高幀率廣角灰度攝像頭（圖3和圖4）。這一配置確保了Leap Motion即使在極低光照環(huán)境下也能有效采集圖像信息。灰度攝像頭的使用有助于降低運(yùn)算數(shù)據(jù)量，從而提升算法的運(yùn)行速度。Leap Motion運(yùn)用計(jì)算機(jī)視覺(jué)算法，持續(xù)地將前方捕獲的立體圖像作為幀接收并傳輸至客戶端程序。每幀對(duì)象包含綁定數(shù)據(jù)、手勢(shì)及元素列表等信息，這些信息全面描述了設(shè)備視野內(nèi)所觀察到的動(dòng)作情況。

（1）

（2）

本系統(tǒng)通過(guò)Leap Motion實(shí)時(shí)捕捉動(dòng)作數(shù)據(jù)，包括手部各關(guān)鍵節(jié)點(diǎn)的運(yùn)動(dòng)速度及軌跡。所收集的數(shù)據(jù)主要用于體數(shù)據(jù)的切割和探測(cè)操作。理論上，Leap Motion的軌跡跟蹤精度可達(dá)到亞毫米級(jí)，然而在實(shí)際使用中，由于其配備了分辨率為640×240的高幀率攝像頭，因此可能會(huì)存在一定的識(shí)別誤差。此外，器件分辨率、熱磁噪聲、人手抖動(dòng)導(dǎo)致的視覺(jué)遮擋以及數(shù)值解算中的奇異值等因素，都可能成為引入噪聲信號(hào)的原因。Leap Motion區(qū)域如圖5所示［10］。

本文通過(guò)實(shí)時(shí)調(diào)整低通濾波器的截止頻率來(lái)提升傳感器的精度。自適應(yīng)濾波的參數(shù)表達(dá)和演算公式如下：

[Di=αiDi+（1?αi）Di?1] ，" " " " " " " （9）

其中：[Di]是從 Leap Motion 傳感器返回的由坐標(biāo)和向量值組成的高維向量，[Di] 是經(jīng)過(guò)自適應(yīng)濾波處理后的向量，[ αi] 是［0，1］區(qū)間內(nèi)的平滑因子。可以由傳感器數(shù)據(jù)更新間隔[Ti]和時(shí)間常數(shù)[ti]計(jì)算出ai：

[αi=11+ti Ti] ，" " " " " " " " " " " "（10）

[Ti=12πfci] ，" " " " " " " " " " " " " （11）

其中， [fci為截止頻率]，其值由以下公式確定：

[fci=fcmin+β|Vi|] ，" " " " " " " " " " （12）

其中：[Vi]代表手掌運(yùn)動(dòng)的線速度和角速度； [fc]為經(jīng)驗(yàn)值， [fc]min =1 Hz， [β] =0.5。

4 實(shí)驗(yàn)結(jié)果

通過(guò)上述系統(tǒng)設(shè)計(jì)思路，本文搭建了人體手指動(dòng)作控制機(jī)械臂仿生實(shí)驗(yàn)平臺(tái)。系統(tǒng)設(shè)計(jì)流程圖如圖6所示。

按照該系統(tǒng)設(shè)計(jì)方案進(jìn)行手勢(shì)動(dòng)作實(shí)驗(yàn)，為驗(yàn)證系統(tǒng)的可行性，每個(gè)靜態(tài)及動(dòng)態(tài)手勢(shì)均進(jìn)行了100 次實(shí)驗(yàn)，以測(cè)試手勢(shì)控制機(jī)械臂的成功率及穩(wěn)定性。手指測(cè)試結(jié)果見表2。

本實(shí)驗(yàn)中的表格對(duì)評(píng)估基于手勢(shì)識(shí)別技術(shù)的工業(yè)機(jī)械臂人機(jī)交互控制系統(tǒng)的性能至關(guān)重要。表格中：“軟件測(cè)量平均角度”代表根據(jù)手勢(shì)識(shí)別結(jié)果，在控制系統(tǒng)軟件中通過(guò)特定算法將手勢(shì)動(dòng)作信息轉(zhuǎn)換為計(jì)算得出的期望角度值，這些值反映了操作人員通過(guò)手勢(shì)傳達(dá)的控制意圖；“機(jī)械臂實(shí)際平均角度”記錄了實(shí)際工業(yè)機(jī)械臂在運(yùn)行過(guò)程中達(dá)到的角度測(cè)量值，體現(xiàn)了機(jī)械臂在執(zhí)行控制指令后的真實(shí)狀態(tài)；“平均角度差”通過(guò)將軟件測(cè)量角度與機(jī)械臂角度相減得出，用于直觀展示軟件預(yù)期與機(jī)械臂實(shí)際執(zhí)行情況之間的偏差。通過(guò)對(duì)這3個(gè)數(shù)據(jù)列進(jìn)行綜合分析，可以量化評(píng)估手勢(shì)識(shí)別控制系統(tǒng)的準(zhǔn)確性和可靠性，進(jìn)而分析系統(tǒng)將手勢(shì)指令轉(zhuǎn)化為機(jī)械臂實(shí)際動(dòng)作過(guò)程中的精度水平，并識(shí)別可能存在的誤差來(lái)源，為系統(tǒng)的優(yōu)化和改進(jìn)提供重要依據(jù)。

5 結(jié)語(yǔ)

本文深入探討了基于手勢(shì)識(shí)別技術(shù)的工業(yè)機(jī)械臂人機(jī)交互控制系統(tǒng)，該系統(tǒng)利用 Leap Motion 傳感器捕捉手部動(dòng)作，并結(jié)合相關(guān)技術(shù)將手勢(shì)轉(zhuǎn)化為機(jī)械臂的運(yùn)動(dòng)指令，實(shí)現(xiàn)了對(duì)機(jī)械臂的非接觸式控制。研究重點(diǎn)在于手勢(shì)識(shí)別技術(shù)的原理解析、機(jī)械臂控制系統(tǒng)的特性，以及兩者的有效融合。在系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)方面，本研究充分發(fā)揮了Leap Motion傳感器的高精度手勢(shì)捕捉優(yōu)勢(shì)，并通過(guò)精心設(shè)計(jì)的手勢(shì)識(shí)別與機(jī)械臂控制模塊，確保了人機(jī)交互的流暢性和精確性。為驗(yàn)證系統(tǒng)的可行性，本研究在模擬工業(yè)生產(chǎn)環(huán)境中進(jìn)行了實(shí)驗(yàn)測(cè)試。實(shí)驗(yàn)結(jié)果表明，手勢(shì)識(shí)別的準(zhǔn)確率和機(jī)械臂控制的精度均達(dá)到了預(yù)期目標(biāo)。綜上所述，基于手勢(shì)識(shí)別的機(jī)械臂控制方式為工業(yè)生產(chǎn)中的人機(jī)交互提供了新的解決方案，在智能制造領(lǐng)域展現(xiàn)出廣闊的應(yīng)用前景和推廣價(jià)值。

6 參考文獻(xiàn)

［1］陳青.機(jī)械手示教系統(tǒng)的手勢(shì)識(shí)別與抓取技術(shù)的研究［D］.哈爾濱：哈爾濱工業(yè)大學(xué)，2015.

［2］劉華江.基于手勢(shì)識(shí)別的機(jī)械臂控制系統(tǒng)研究［D］.青島：青島科技大學(xué)，2021.

［3］楊楊.基于視覺(jué)的工業(yè)機(jī)器人演示編程系統(tǒng)中的手勢(shì)識(shí)別［D］.貴陽(yáng)：貴州大學(xué)，2020.

［4］董嘉棋.增強(qiáng)現(xiàn)實(shí)環(huán)境下的人機(jī)交互手勢(shì)識(shí)別與應(yīng)用研究［D］.上海：上海交通大學(xué)，2022.

［5］張紫軒，項(xiàng)陽(yáng)，童安科，等.機(jī)械臂手勢(shì)識(shí)別技術(shù)的研究及應(yīng)用［J］.工業(yè)控制計(jì)算機(jī)， 2023，36（12）：61-63.

［6］張家樂(lè).基于視覺(jué)手勢(shì)交互的機(jī)器人遙操作控制系統(tǒng)設(shè)計(jì)［D］.濟(jì)南：齊魯工業(yè)大學(xué)，2024.

［7］倪廣興.基于手勢(shì)識(shí)別的機(jī)械臂人機(jī)交互控制系統(tǒng)研究［D］.鹽城：鹽城工學(xué)院，2024.

［8］馬浴東.基于leapmotion的機(jī)械臂控制系統(tǒng)研究［D］.青島：青島科技大學(xué)，2022.

［9］陳暢.基于LeapMotion的自然手勢(shì)交互技術(shù)在工業(yè)機(jī)器人示教中的研究［D］.廣州：華南理工大學(xué)，2018.

［10］陳建國(guó)，鄧曉軍，譚孟旭，等.基于Unity的手語(yǔ)交流平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)［J］.電腦知識(shí)與技術(shù)，2020，16（9）：55-58.

*2023年度大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目“指尖飛舞——基于手勢(shì)識(shí)別技術(shù)的皮影戲”（S202311535009）。

【作者簡(jiǎn)介】王梓超，山西長(zhǎng)治人，在讀本科生，研究方向：虛擬現(xiàn)實(shí)技術(shù)；王家寶，河南洛陽(yáng)人，在讀本科生，研究方向：大數(shù)據(jù)挖掘；何誠(chéng)，湖南益陽(yáng)人，在讀本科生，研究方向：游戲開發(fā)與虛擬現(xiàn)實(shí)技術(shù)；莫靖宇，廣東惠州人，在讀本科生，研究方向：深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；袁鑫攀（通信作者），博士，副教授，研究方向：工業(yè)智能、文獻(xiàn)自動(dòng)化解讀和多模態(tài)信息檢索、醫(yī)學(xué)圖像分析。

【引用本文】王梓超，王家寶，何誠(chéng)，等.基于手勢(shì)識(shí)別技術(shù)的工業(yè)機(jī)械臂人機(jī)交互控制系統(tǒng)研究［J］.企業(yè)科技與發(fā)展，2024（12）：17-21，36.