基于Kinect的裝配仿真系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)

徐敏+姚年春

摘要：在搭建了裝配仿真系統(tǒng)整體架構(gòu)的基礎(chǔ)上，文章對(duì)基于Kmect的虛擬場(chǎng)景的建立、仿真工具與產(chǎn)品模型的創(chuàng)建等關(guān)鍵技術(shù)進(jìn)行了較為深入的討論，并以此為依據(jù)開(kāi)發(fā)了汽車零配件裝配仿真系統(tǒng)。應(yīng)用結(jié)果表明，人機(jī)交互技術(shù)的應(yīng)用顯著提升了裝配工作效率與學(xué)習(xí)體驗(yàn)感。

關(guān)鍵詞：Kmect；人機(jī)交互；裝配仿真

裝配仿真是虛擬現(xiàn)實(shí)技術(shù)在工業(yè)領(lǐng)域中的一個(gè)重要應(yīng)用，可以利用裝配仿真及時(shí)發(fā)現(xiàn)設(shè)計(jì)缺陷，提高裝配流程的效率與合理性。本文將基于Kmect的人體運(yùn)動(dòng)數(shù)據(jù)獲取技術(shù)與計(jì)算機(jī)仿真技術(shù)相結(jié)合，研究了虛擬場(chǎng)景的建立、仿真工具與產(chǎn)品模型的創(chuàng)建等問(wèn)題，實(shí)現(xiàn)了虛擬裝配系統(tǒng)的仿真。

1人體交互技術(shù)與Kinect介紹

人機(jī)交互技術(shù)主要研究的是使用者與計(jì)算機(jī)之間的互動(dòng)聯(lián)系。使用者利用對(duì)計(jì)算機(jī)的相關(guān)操作以實(shí)現(xiàn)二者之間的雙向數(shù)據(jù)交換，將使用者的需求準(zhǔn)確傳輸至計(jì)算機(jī)，后者能夠有效完成信息的分析、計(jì)算、管理等工作。人機(jī)交互技術(shù)作為計(jì)算機(jī)用戶界面設(shè)計(jì)中的一項(xiàng)重要內(nèi)容，其與計(jì)算機(jī)技術(shù)同步發(fā)展，并與人機(jī)工程學(xué)、認(rèn)知科學(xué)及語(yǔ)言學(xué)等多學(xué)科領(lǐng)域緊密相關(guān)[1]。

目前，隨著計(jì)算機(jī)圖形學(xué)、機(jī)器視覺(jué)、圖像識(shí)別與虛擬現(xiàn)實(shí)等技術(shù)的迅速發(fā)展，人機(jī)交互技術(shù)的輸入輸出方式更加多元化、人機(jī)對(duì)話方式更加便捷自然、交互過(guò)程的智能化程度更高。

Kmect作為微軟XBOX360體感周邊外圍設(shè)備，在開(kāi)發(fā)過(guò)程中運(yùn)用了基于深度圖像的骨骼追蹤算法，不需要任何其他輔助工具就能夠進(jìn)行人體運(yùn)動(dòng)姿態(tài)的識(shí)別與捕捉[2]。

Kmect前方從左向右依次配置有紅外線發(fā)射器、RGB攝像頭、紅外線接收器。其中，RGB攝像頭能夠以30巾貞/秒的速度獲取彩色圖像；兩側(cè)的紅外發(fā)射、接收器用于獲取深度圖像；兩側(cè)不對(duì)稱的麥克風(fēng)陣列具有聲源判斷、音頻處理、語(yǔ)音識(shí)別等功能；底座馬達(dá)可調(diào)節(jié)其俯仰角度。

2虛擬裝配系統(tǒng)的實(shí)現(xiàn)

2.1系統(tǒng)架構(gòu)

本文設(shè)計(jì)的系統(tǒng)從Kmect獲取的深度圖像中提取手勢(shì)區(qū)域，并依據(jù)特征進(jìn)行分類以作為鼠標(biāo)的輸入；獲取Kmect采集的不同骨骼節(jié)點(diǎn)數(shù)據(jù)，并以各自的位置信息分別定義交互動(dòng)作，同時(shí)將右手骨骼坐標(biāo)換算為計(jì)算機(jī)屏幕坐標(biāo)，以右手的動(dòng)作取代光標(biāo)操作，實(shí)現(xiàn)以更自然、便捷的方式與虛擬現(xiàn)實(shí)場(chǎng)景之間的動(dòng)態(tài)交互。

2.2交互動(dòng)作的定義

虛擬現(xiàn)實(shí)場(chǎng)景通常以操作者的手勢(shì)與一定的動(dòng)作來(lái)控$|J，以達(dá)到人機(jī)交互更加自然的目的。而上述特定的動(dòng)作的定義則是依據(jù)對(duì)手勢(shì)的識(shí)別或者判斷骨骼節(jié)點(diǎn)間相對(duì)位置。以右手伸展、右臂抬起與肩平齊動(dòng)作為例，需判斷右手與右肩骨骼節(jié)點(diǎn)縱坐標(biāo)的相似性，右手與右肩骨骼節(jié)點(diǎn)橫坐標(biāo)的距離差值。

常用交互動(dòng)作的定義和功能有：（1）右手手掌完全打開(kāi)定義松開(kāi)鼠標(biāo)左鍵，實(shí)現(xiàn)零件抓取的功能；（2）右手握拳定義按下鼠標(biāo)左鍵，實(shí)現(xiàn)零件釋放的功能；（3）右手水平移動(dòng)定義鼠標(biāo)在桌面的移動(dòng)；（4）右手?jǐn)[動(dòng)定義由虛擬裝配界面退出；（5）右手伸展、右臂抬起與肩平齊定義裝配零部件向右旋轉(zhuǎn)；（6）左手伸展、左臂抬起與肩平齊定義裝配零部件向左旋轉(zhuǎn)[3]。

2.3場(chǎng)景的建立

裝配仿真是以場(chǎng)景的創(chuàng)建為前提與基礎(chǔ)的，其具體的搭建流程包括：實(shí)際場(chǎng)景的捕獲、工位建模、目標(biāo)建模（含產(chǎn)品、工具、人體等）以及系統(tǒng)初始化。

本文設(shè)計(jì)的系統(tǒng)基于對(duì)虛擬模型的組合創(chuàng)建了仿真場(chǎng)景。虛擬模型的創(chuàng)建可直接利用數(shù)字化企業(yè)的互云力制造應(yīng)用（Digital Enterprise Lean Manufacturing Interactive Application，DELMIA）軟件或配合交互式CAD/CAE/CAM系統(tǒng)（Computer Aided Three-dimensional Interactive Application，CATIA）完成，其中，DELMIA能夠有效實(shí)現(xiàn)仿真環(huán)境的可控及真實(shí)性需求。然后再選用事件驅(qū)動(dòng)模式完成安放、觀察角度的變換等，并進(jìn)一步搭建仿真場(chǎng)景。

2.4產(chǎn)品模型和裝配工具模型的創(chuàng)建

仿真工具與產(chǎn)品模型是實(shí)現(xiàn)虛擬裝備的重要條件。由于在交互操作過(guò)程中，涉及對(duì)產(chǎn)品模型的拆卸、組合、安裝等工作，因此系統(tǒng)創(chuàng)建采用基于模型的方法。而其中最核心的項(xiàng)目為三維幾何建模，利用該方法在仿真環(huán)境下呈現(xiàn)出實(shí)際物體的形狀、大小等物理特性，同時(shí)表征了數(shù)字模型各構(gòu)成部分的運(yùn)動(dòng)與約束關(guān)系。此外，在對(duì)操作資源進(jìn)行查找、分析的基礎(chǔ)上，使用建模軟件，能夠達(dá)到對(duì)裝配工具參數(shù)化建模的目的[4]。

3基于Kinect的人體運(yùn)動(dòng)數(shù)據(jù)的獲取

由Kmect骨骼追蹤所創(chuàng)建的人體模型主干節(jié)點(diǎn)組成如

圖1（a）所示，可以明顯看出頭、手、腳都僅有一個(gè)節(jié)點(diǎn)，即說(shuō)明依靠Kmect骨骼追蹤并不能可靠地識(shí)別手指的運(yùn)動(dòng)，同時(shí)也不能判斷使用者面部的方向。但是，在DELMIA互動(dòng)軟件中創(chuàng)建的人體模型除了與上圖類似的部分外，還增添了若干手、腳指（趾）部關(guān)節(jié)點(diǎn)，如圖1（b）所示。

在不考慮手、腳指（趾）的微小動(dòng)作的情況下，DELMIA所創(chuàng)建的人體模型中絕大多數(shù)繞節(jié)點(diǎn)做旋轉(zhuǎn)運(yùn)動(dòng)的地部位均可以對(duì)應(yīng)Kinect模型中的球關(guān)節(jié)，如表1所示。

在Kmect軟件中，人體模型的頭、手、腳等主干關(guān)節(jié)在僅發(fā)生位移而沒(méi)有進(jìn)行旋轉(zhuǎn)運(yùn)動(dòng)的時(shí)候，可利用其自身和節(jié)點(diǎn)的位置坐標(biāo)來(lái)計(jì)算DELMIAS動(dòng)軟件中相關(guān)節(jié)點(diǎn)間對(duì)應(yīng)部位的轉(zhuǎn)動(dòng)角度。同理，可利用右（左）肩和雙肩中部位置節(jié)點(diǎn)的位置坐標(biāo)來(lái)計(jì)算右（左）鎖骨的轉(zhuǎn)動(dòng)角度。此外，在Kinect軟件中，被認(rèn)為能夠進(jìn)行獨(dú)立位移運(yùn)動(dòng)的左、中、右臀，對(duì)應(yīng)于DELMIA中作為整體發(fā)生位移運(yùn)動(dòng)。

4運(yùn)行實(shí)例

汽車零配件裝配仿真場(chǎng)景包含汽車、置物架、人體模型。在操作環(huán)境中配置完成Kmect軟件，在與計(jì)算機(jī)連接成功后進(jìn)入系統(tǒng)運(yùn)行狀態(tài)。當(dāng)人體進(jìn)行抓取、防止等操作動(dòng)作時(shí)，能夠看到DELMIAS動(dòng)軟件中的虛擬操作者進(jìn)行相關(guān)操作動(dòng)作[5]。

5結(jié)語(yǔ)

在搭建了裝配仿真系統(tǒng)整體架構(gòu)的基礎(chǔ)上，重點(diǎn)介紹了基于對(duì)虛擬模型的組合創(chuàng)建仿真場(chǎng)景、基于Kinect的人體運(yùn)動(dòng)數(shù)據(jù)的獲取，其中包含人體模型在DELMIA與Kmect中的相互對(duì)應(yīng)關(guān)系，并采取這些方法開(kāi)發(fā)了汽車零配件裝配仿真系統(tǒng)。應(yīng)用結(jié)果表明，基于Kmect的裝配仿真系統(tǒng)極大提升了設(shè)計(jì)效果與學(xué)習(xí)沉浸感。

[參考文獻(xiàn)]

[1]王朝增.基于Kinect的裝配仿真及其人機(jī)工效分析[D].杭州：浙江理工大學(xué)，2013.

[2]廖宏建，曲哲.基于Kinect體感交互技術(shù)的虛擬裝配實(shí)驗(yàn)系統(tǒng)開(kāi)發(fā)[J].實(shí)驗(yàn)技術(shù)與管理，2013（7）：98-102.

[3]趙陽(yáng)，何漢武，吳悅明，等.增強(qiáng)現(xiàn)實(shí)交互環(huán)境下發(fā)動(dòng)機(jī)裝配序列呈現(xiàn)方法研究與實(shí)現(xiàn)[J].裝備制造技術(shù)，2015（4）：146-149.

[4]羅凌峰.基于行為交互的虛擬裝配及展示研究[D].北京：北京交通大學(xué)，2015.

[5]趙陽(yáng).增強(qiáng)現(xiàn)實(shí)環(huán)境下汽車發(fā)動(dòng)機(jī)裝配訓(xùn)練系統(tǒng)研究[D].廣州：廣東工業(yè)大學(xué)，2015.endprint