面向增強(qiáng)現(xiàn)實(shí)虛擬裝配細(xì)小零件視覺反饋模型

梁劍斌，周志豪，曾秋瑋

（廣東工業(yè)大學(xué)機(jī)電工程學(xué)院，廣州 510006）

0 引言

從工作流程的角度，人機(jī)交互技術(shù)可分為用戶輸入和系統(tǒng)輸出兩部分。對(duì)于系統(tǒng)輸出，大多增強(qiáng)現(xiàn)實(shí)裝配輔助（augmented reality assembly supporting，ARAS）系統(tǒng)都會(huì)采用已有的商業(yè)設(shè)備呈現(xiàn)結(jié)果，例如顯示屏、平板電腦、頭戴式顯示器（Head Mounted Display，HMD）、音箱、耳機(jī)等，所以面向ARAS的交互技術(shù)研究重點(diǎn)都集中在用戶輸入上。對(duì)于用戶輸入，現(xiàn)有的ARAS交互研究大多集中在如何實(shí)現(xiàn)裝配工序展示，從交互方式上大體分為兩類：面向裝配工序控制的交互技術(shù)和基于流程檢測(cè)的隱式交互技術(shù)。前者主要實(shí)現(xiàn)流程單步展示，后者主要實(shí)現(xiàn)流程自動(dòng)展示。

裝配是一項(xiàng)流程化的工作，展示裝配工序是ARAS交互技術(shù)的基礎(chǔ)功能。最簡(jiǎn)易的工序展示方法是單步展示，其執(zhí)行方式為每次接受輸入指令，觸發(fā)下一步工序展示。雖然單步流程展示是一項(xiàng)簡(jiǎn)易的交互功能，但功能實(shí)用，能滿足基本的使用需求。而且為了迎合各種交互需求，用于指令輸入的交互方式可以是多樣的，例如：基于鍵鼠的人機(jī)交互、基于觸摸屏的人機(jī)交互［1］、語(yǔ)音交互［2］、手勢(shì)交互［3］等。

單步流程展示固然能滿足展示流程的需求，但其操作繁瑣，給裝配操作者造成額外的任務(wù)負(fù)擔(dān)，因此有研究者考慮如何自動(dòng)化檢測(cè)裝配工序以減輕ARAS系統(tǒng)使用者的疲勞感［4-5］。檢測(cè)的依據(jù)主要有選擇安裝的零部件是否正確、安裝的位置是否正確等。檢測(cè)的方法大多為基于圖像的匹配算法，但與基于圖像特征的注冊(cè)技術(shù)不同，流程檢測(cè)算法僅需識(shí)別流程或零部件是否正確，并不需要求解裝配基體或零部件的三維位姿，因此流程檢測(cè)算法大多采用固定視角采集圖像以降低計(jì)算資源消耗。

針對(duì)流程展示的交互技術(shù)主要考慮的是流程如何執(zhí)行，對(duì)每一步操作過程中的執(zhí)行狀態(tài)如何執(zhí)行并沒詳細(xì)要求。但每一種裝配操作都有相應(yīng)的工藝要求，文字或三維動(dòng)畫提示都只能起到提示作用，不能讓操作者理解每一時(shí)刻的操作狀態(tài)，這在AR虛擬裝配操作應(yīng)用中尤為明顯。針對(duì)以上問題，本文從機(jī)械裝配操作實(shí)際需求出發(fā)，提出了一種增強(qiáng)現(xiàn)實(shí)細(xì)小零件虛擬裝配交互方式。在此基礎(chǔ)上，構(gòu)建了細(xì)小零件裝配操作狀態(tài)視覺反饋模型。最后設(shè)計(jì)了應(yīng)用實(shí)例，通過實(shí)驗(yàn)，對(duì)細(xì)小零件裝配操作狀態(tài)視覺反饋模型的可行性進(jìn)行了驗(yàn)證。

1 增強(qiáng)現(xiàn)實(shí)細(xì)小零件虛擬裝配設(shè)計(jì)與實(shí)現(xiàn)

1.1 交互場(chǎng)景設(shè)計(jì)

基于視覺的AR交互場(chǎng)景設(shè)計(jì)關(guān)鍵在于攝像頭的擺放，合理的擺放可以減少攝像頭的使用與處理算法復(fù)雜度。圖1展示了一個(gè)常見機(jī)械裝配情景，操作者站立在零部件前面，雙眼的觀察方式是以一種俯視的角度觀察手部和零部件。

圖1 實(shí)際機(jī)械裝配環(huán)境

為了貼近機(jī)械裝配操作者的觀察方式，提出一個(gè)面向徒手交互的AR虛擬裝配空間的交互場(chǎng)景，如圖2所示。

圖2 面向裝配操作的AR交互場(chǎng)景設(shè)計(jì)圖

場(chǎng)景在離地面2.4 m處架設(shè)深度攝像頭，從俯視的視角采集整個(gè)場(chǎng)景的深度圖像。在操作者面前架設(shè)了顯示屏，用于呈現(xiàn)AR圖像。本文使用KinectV2作為具體的深度攝像頭型號(hào)，KinectV2可以同時(shí)提供深度圖像和彩色圖像，本文研究的交互模型使用深度圖像作為數(shù)據(jù)源。受制于深度攝像頭的采集范圍，該場(chǎng)景的交互空間呈四角錐臺(tái)形狀，頂面離攝像頭0.5 m，底面離攝像頭2.4 m，相對(duì)的兩組斜面夾角分別為70°和60°。圖3展示了場(chǎng)景的實(shí)際環(huán)境與攝像機(jī)采集到的場(chǎng)景圖像。

圖3 面向裝配操作的AR交互實(shí)際場(chǎng)景圖

1.2 細(xì)小零件虛擬裝配交互方法設(shè)計(jì)與實(shí)現(xiàn)

作者針對(duì)本文提出交互場(chǎng)景進(jìn)行了一定研究［6］，已實(shí)現(xiàn)了手部信息提取和手部與虛擬物體之間的虛實(shí)融合。本文將直接引用手部信息中的手掌掌心坐標(biāo)、手部區(qū)域圖和手部表面曲面作為本文算法計(jì)算基礎(chǔ)，部分手部信息結(jié)果如圖4所示。

圖4 手部信息結(jié)果

從運(yùn)動(dòng)特性上看，實(shí)際機(jī)械裝配操作中的細(xì)小零件裝配通常為操作者抓取并放置正確位置即可完成。

從圖像處理的角度看，手部動(dòng)作是手部形態(tài)變化的序列，但圖像只記錄靜態(tài)信息。因此需要識(shí)別每個(gè)圖像內(nèi)的手部靜止?fàn)顟B(tài)，再根據(jù)靜止?fàn)顟B(tài)的變化識(shí)別抓取動(dòng)作。圖5展示了張手和握拳兩種手部靜止?fàn)顟B(tài)。

圖5 手部靜止?fàn)顟B(tài)

從圖5可以看出手指區(qū)域發(fā)生了較大的變化，根據(jù)這個(gè)特點(diǎn)設(shè)計(jì)的手部靜止?fàn)顟B(tài)識(shí)別算法如公式（1）所示。

其中，t為時(shí)間序列標(biāo)記，h ts為手部靜止?fàn)顟B(tài)，0為張手，1為握拳，α為手部閉合參數(shù)，Sf為手指區(qū)域面積，Sp為手掌區(qū)域面積。

由于細(xì)小零件的幾何尺寸較少，可以將其簡(jiǎn)化為三維空間內(nèi)的一點(diǎn)。因此，操作者手部與細(xì)小零件的交互關(guān)系轉(zhuǎn)換為手與點(diǎn)的交互關(guān)系，如公式（2）所示。

其中，kp ts為細(xì)小零件的被抓取狀態(tài)，0代表被釋放，1代表被抓??；C t0為手部掌心三維坐標(biāo)；K P t為細(xì)小零件三維坐標(biāo)。

2 細(xì)小零件裝配操作狀態(tài)視覺反饋模型

對(duì)于細(xì)小零件的反饋需求，有以下3點(diǎn)分析：①細(xì)小零件相對(duì)于操作者手部比較細(xì)小，在交互過程容易被遮擋，因此抓取點(diǎn)的反饋需要穿透手部表面模型；②徒手交互缺少力覺反饋，操作者并不能準(zhǔn)確感知掌心與細(xì)小零件的相互位置關(guān)系，因此細(xì)小零件應(yīng)根據(jù)掌心與其自身距離的遠(yuǎn)近做出反饋；③細(xì)小零件自身是否已被抓取也應(yīng)被感知。

從細(xì)小零件的反饋需求分析可知，細(xì)小零件的反饋本質(zhì)是視覺元素呈現(xiàn)狀態(tài)的變化，可以使用有限狀態(tài)機(jī)（finite state machine，F(xiàn)SM）對(duì)這些需求進(jìn)行建模描述。FSM是一種描述系統(tǒng)離散輸入輸出的數(shù)學(xué)模型［7］。其具有以下特點(diǎn)：一個(gè)FSM系統(tǒng)具有有限系統(tǒng)狀態(tài)，根據(jù)系統(tǒng)設(shè)計(jì)需求，系統(tǒng)可以在各個(gè)狀態(tài)下完成指定的任務(wù)；系統(tǒng)從一個(gè)狀態(tài)跳轉(zhuǎn)到另一個(gè)狀態(tài)需要有特定的觸發(fā)條件；所有的系統(tǒng)狀態(tài)和轉(zhuǎn)臺(tái)跳轉(zhuǎn)條件都可以匯集在一個(gè)狀態(tài)表內(nèi)，系統(tǒng)設(shè)計(jì)者可以通過狀態(tài)表了解系統(tǒng)設(shè)計(jì)是否合理；所有FSM系統(tǒng)都會(huì)有一個(gè)初始狀態(tài)。

一個(gè)FSM可以定義為一個(gè)六元組，如公式（3）所示。

其中，Q={q1,q2,…,q n}為狀態(tài)的非空有限集合；Σ={α0,α1,…,αn}為狀態(tài)跳轉(zhuǎn)的觸發(fā)條件集合，系統(tǒng)在同一時(shí)刻只接受一個(gè)αi；A={β0,β1,…,βn}是一個(gè)有窮字母表，記錄了狀態(tài)跳轉(zhuǎn)時(shí)可觸發(fā)的事件；δ為系統(tǒng)狀態(tài)跳轉(zhuǎn)規(guī)則，δ:Q×Σ→Q；q0為系統(tǒng)的初始狀態(tài)；F為系統(tǒng)的終止?fàn)顟B(tài)，F(xiàn)∈Q。

根據(jù)細(xì)小零件的反饋需求分析，設(shè)計(jì)細(xì)小零件反饋FSM：Mg={Qg,Σg,Ag,δg,qg0,Fg}。Mg的狀態(tài)遷移圖如圖6所示。Mg中每個(gè)元素的含義如表1所示。其中，H為手部表面曲面，為細(xì)小零件原點(diǎn)，為裝配操作完成狀態(tài)，0為未完成，1為完成。

表1 細(xì)小零件的狀態(tài)遷移表

圖6 細(xì)小零件視覺反饋的狀態(tài)遷移圖

Mg的功能包括：反映手部是否從觀察視角的方向覆蓋細(xì)小零件，是否到達(dá)可以抓取的位置并做出抓取動(dòng)作，是否被抓取并完成當(dāng)前操作。為了擴(kuò)展細(xì)小零件的可識(shí)別狀態(tài)，需要添加射線lg，lg原點(diǎn)與細(xì)小零件原點(diǎn)共點(diǎn)，lg延伸方向?yàn)樵c(diǎn)指向攝像頭光心。

圖7為細(xì)小零件各個(gè)反饋狀態(tài)的效果圖。當(dāng)操作者手部未遮擋零件時(shí)，零件顯示為等比例三維模型，如圖7（a）所示。當(dāng)操作手部遮擋零件時(shí)，零件顯示為綠色圓環(huán)并穿透手部呈現(xiàn)，如圖7（b）所示。當(dāng)手部接近零件時(shí)，零件顯示為藍(lán)色圓環(huán)，如圖7（c）所示。當(dāng)手部抓取到零件時(shí)，零件變?yōu)榧t色圓環(huán)，如圖7（d）所示。

圖7 細(xì)小零件視覺反饋效果

3 實(shí)驗(yàn)結(jié)果

圖8呈現(xiàn)了一個(gè)螺釘?shù)姆胖貌僮鬟^程，可以看到操作者根據(jù)視覺反饋提示抓取并移動(dòng)螺釘?shù)街付ㄎ恢?。整個(gè)過程操作狀態(tài)反饋清晰，操作者可自然地完成操作。

圖8 細(xì)小零件裝配操作效果

4 結(jié)語(yǔ)

本文針對(duì)增強(qiáng)現(xiàn)實(shí)虛擬裝配中細(xì)小零件難以裝配的問題，提出了一個(gè)基于有限狀態(tài)機(jī)的視覺反饋模型。該模型以增強(qiáng)現(xiàn)實(shí)細(xì)小零件虛擬裝配方法為基礎(chǔ)，對(duì)裝配中的細(xì)小零件的各種反饋需求都給出了對(duì)應(yīng)的視覺反饋方案。最后，設(shè)計(jì)了一個(gè)螺釘放置實(shí)驗(yàn)驗(yàn)證了理論的有效性。