基于混合現實的遠程協同式裝配維修引導

柳有權，王愿超，徐 琨，劉正雄，黃攀峰

基于混合現實的遠程協同式裝配維修引導

柳有權1，王愿超1，徐 琨1，劉正雄2，黃攀峰2

(1. 長安大學信息工程學院，陜西 西安 710064；2.西北工業大學航天學院，陜西 西安 710072)

提出一種基于混合現實設備HoloLens頭盔的一種遠程協同裝配維修系統。利用HoloLens的深度攝像頭和攝像頭對空間的感知能力，通過改進手勢識別算法將專家端的二維手勢操作轉換為用戶端的三維動畫標識。這種簡潔生動的三維動畫標識通過空間錨點固定在相應的空間位置上，為操作人員開展下一步操作提供清晰的指引，且無需放下手頭工作與計算機進行手勢交互，實現了專家-用戶模式的遠程協同工作。相對于傳統的協同式系統，實驗驗證了該文開發的協同式裝配維修引導系統的友好性和實用性。

遠程協同；混合現實；人機交互；裝配維修；HoloLens

近10年來混合現實(mixed reality，MR)和增強現實(augment reality，AR)技術得到迅猛發展，其在工業制造和裝配方面的應用價值逐漸得到體現，可以減少培訓時間、提速制造周期。MR/AR通過為現實世界疊加數字信息為現場人員提供文字、語音、3D模型、視頻等多種輔助信息，指導拿取不同的工具，安放組裝部件到各自位置，解決了閱讀繁瑣冗長的紙質裝配指令的問題。

然而目前MR/AR應用多基于平板電腦、手機等設備，但現實中許多操作并不允許用戶解放雙手，該方式限制了用戶的移動范圍和與物理世界交互的能力，迫使用戶在裝配任務和閱讀指令之間來回切換。隨著計算能力和顯示技術的發展，便攜頭戴式顯示器(helmet mounted display，HMD)變得越來越普及，例如Microsoft的HoloLens。借助HMD頭盔用戶可以集中精力于手頭工作，不用在裝配任務和閱讀指令之間切換以至于分散注意力。

但由于HMD不能利用觸摸屏或鼠標鍵盤來進行人機交互，操作上多采用手勢交互或語音交互。而對于手勢交互，用戶必須停止手中的工作才能開展交互任務，而且手要懸浮在空中，一段時間后很容易疲勞。語音交互因為自然語言處理的局限性導致適用范圍受限。

針對裝配維修應用場景，現有的遠程協同交互只是在圖像空間進行標注。本文利用遠程專家標注的二維手勢，結合HoloLens硬件的感知能力在用戶端生成具有三維空間位置信息的三維動態手勢，且空間錨將該標注固定在空間某點上，解放操作人員的雙手，不影響其正常工作狀態。

通過手勢識別，手繪的二維不規則線條被轉成三維規則且帶有動畫效果的指令，交互畫面更整潔清晰、生動，大大提高了協同交互的效率。

1 相關工作

2000年FUSSELL等[1-2]的研究表明基于實時視頻流的協同模式可以提高任務完成的效率。之后出現了結合投影儀、可穿戴設備或VR/AR設備的遠程協同工作模式。

DOVE系統[3]支持AR遠程交互，允許專家使用手寫手勢在本地的實時視頻流上繪制手勢草圖，并通過2D顯示器將增強后的視頻呈現給本地工人，但該模式可導致用戶的工作環境碎片化，用戶需要不斷分散注意力去查看顯示器。KIRK等[4]提出的系統可以解決用戶工作環境碎片化的問題，該系統通過相機采集專家的手勢，并用投影儀投射在用戶的工作空間中，由于采集的是專家的二維手勢信息，用戶在使用過程中會出現操作偏差。為了避免由于采集信息導致的偏差，WANG等[5]在專家端使用Leap Motion作為手勢采集設備，并將三維手勢投影到用戶的工作空間。GUREVICH等[6]提出了一種基于投影的AR遠程協同系統TeleAdvisor，支持遠程專家協同，可自由控制一個投影儀-攝像機組合，并使用指針方法來添加AR注釋信息。基于投影的遠程協同系統雖然保證了用戶工作空間的一致性，但由于投影儀-攝像機需要處于相對固定狀態，對于需要大范圍移動的操作項目，這種系統并不方便。

相對于傳統的交互方式，基于可穿戴設備的遠程專家協同系統具有部署靈活、操作環境統一等特點。HUANG和ALEM[7]利用HandsInAir系統通過HMD解決了這個問題，但需要用戶和專家同時穿戴HMD設備，分別采集用戶的空間信息和專家的手勢信息，將其合成后顯示到用戶端，但該系統并不能很好地對各部件的關系做出指示，同樣缺少對用戶現實世界環境的理解。KIM等[8]開發了一款用戶穿戴的HMD顯示AR注釋信息的系統，可由專家在電腦上圈出部件，并通過語音發出動作命令。GAO等[9]利用VR HMD與外部深度攝像頭進行遠程協作的MR系統，且支持捕捉用戶工作空間的三維點云數據以及共享遠程專家的手勢。

2 本文方法

2.1 系統設計

如圖1所示，本文系統分為用戶端和專家端2部分，用戶端佩戴Hololens頭盔從事裝配維修等工作，專家端則為PC或平板電腦，專家通過二維手勢交互輸入相應的操作來指導用戶完成相應的裝配維修任務。手勢交互包括空間標注、目標圈選、插拔導引、旋轉導引等4大部分，專家端在二維圖像上通過觸控或鼠標鍵盤進行畫線完成手勢輸入，然后通過手勢識別算法，結合頭盔感知的三維空間信息，將繪制的不規整線條轉化為相應的動態三維標識映射到用戶頭盔顯示器上，這樣用戶可直觀地看到專家指令且無需放下手中的工具或物件，該指令由空間錨在用戶端的顯示空間進行位置固定，始終保持在相應三維位置上。

圖1 系統框架圖

空間標注主要提供裝配維修的區域標注，即順序標注和文字標注，并借助HMD的空間感知，將該標注顯示為貼在物體表面。目標圈選，即感興趣目標的選取，讓用戶關注該對象，區別于普通的二維套索操作，該操作具有三維信息，可從各個視角觀察。插拔導引用于指引用戶完成相應的零部件插拔操作。旋轉導引則用于指引用戶完成相應的零部件擰緊和松開等與旋轉有關的操作。這些交互操作均具有空間錨屬性，且采用形象生動的動畫演示進行展現。詳細交互指令見表1。

表1 本文支持的交互指令

另外還有一些輔助模塊，如通過語音控制模塊可完成菜單的呼入、呼出操作，交互刪除操作用于對屏幕進行清理操作，去掉相應的標注顯示等。網絡通信模塊使用TCP/IP協議和UDP協議，視頻數據通過UDP由用戶端傳輸給專家端，其他指令通過TCP/IP協議完成。

2.2 空間感知

用戶佩戴頭盔，在操作空間里自由活動，因此給出的操作輔助信息必須具有空間定位。該位置信息通過HoloLens自身功能獲取，即通過其空間映射掃描技術[10]，如圖2所示，利用射線投射法獲得當前視線與空間物體相交點的三維坐標，然后錨定在世界坐標系里。

圖2 HoloLens中的物體世界坐標

專家端操作的為二維界面，所有的手勢指令均為二維指令，所獲得的點序列為

借助射線投射法，即轉換為對應的帶有空間錨點信息的三維點序列

該三維信息不隨視角變化而變化。

2.3 指令設計

在獲取手勢點序列的基礎上，進行三維手勢的識別。針對裝配應用場景，本文共設計了5類手勢指令，包含物體標注、目標圈選、插拔導引、旋轉導引和刪除手勢。

2.3.1 物體標注指令

物體標注最為簡單，該指令為一些物體提供標簽信息，可方便操作人員在專家的幫助下了解操作對象的某些屬性和操作流程。該指令只需要對三維空間的單點進行錨定，專家端放置二維標簽在物體表面，同時標注相應文字，這樣操作人員能看到專家給出的三維標簽信息，且隨視點變化，該標簽位置不會丟失，仍然朝向視線方向。如圖3所示，黃色標簽即由遠程專家給出，用戶端看到的是一張三維的標簽，始終朝向視線方向，且與被標注對象緊密相連。

圖3 物體標注((a)專家端觀察效果；(b)用戶端觀察效果)

2.3.2 目標圈選指令

目標圈選是為操作人員眼前的操作場景提供的目標圈選功能，可幫助操作人員在雜亂場景下快速找到所需目標。由于物體之間存在遮擋，因此本文在文獻[11]的基礎上進行拓展，借助HoloLens頭盔的空間感知能力，將專家端勾畫的二維輪廓點序列轉成具有深度信息的三維點序列，這樣在生成三維模型時能準確將目標與背景分離，為操作人員提供更準確的圈選功能。如圖4所示(紅色線條和透明紅色模型)，可將所需工具圈選出來。具體流程如下：

(1) 采集專家端輸入點序列作為側面輪廓，然后連接這些點，得到的多邊形是最終生成的三維多邊形表面的側面輪廓；

(2) 利用Constrained Delaunay Triangulation (CDT)算法，找到多邊形的內部骨骼；

(3) 通過設定閾值將不重要的末端骨架支剪除掉；

(4) 根據每個骨架點與其相鄰的輪廓點的平均距離，在軸方向上抬起該骨架點以調整其三維點坐標，同時在對稱的另一邊做類似操作；

(5) 通過將相鄰抬高的邊緣縫合在一起來構造合適的多邊形網格。

2.3.3 插拔導引指令

根據對實際指導裝配工作的觀察，插拔操作和旋轉操作最為常見。為有效減少專家端的屏幕操作，這2類動作設為預制動作。專家只需在屏幕上畫出二維手勢，對應的三維模型會在相應的空間位置顯示出來。本文在$Q[12]手勢識別算法的基礎上進行了改進，將其從二維空間拓展到三維空間并賦予其動作屬性，其基本原理是將待選手勢與數據庫中每個模板手勢進行比較來實現最近鄰分類。

對于插拔導引，采用圖5箭頭手勢來定義，箭頭的起點即為插拔開始或指向的位置，箭頭朝向為插拔用力的方向。在用戶端進行三維箭頭布設時，同樣要借助HoloLens頭盔的空間感知能力，獲取碰撞點所在平面的法向量，使箭頭模型的軸與該平面的法向量平行，即給出箭頭的三維空間位姿。

圖5 插拔導引手勢((a)專家端手繪箭頭； (b)用戶端手繪箭頭)

2.3.4 旋轉導引指令

對于旋轉導引手勢(圖6)，因為旋轉軸的不確定性，所以本文設定先畫出相應直線以確定旋轉軸心，再畫出旋轉手勢，旋轉手勢與軸心的夾角始終為90°。旋轉手勢同時需要確定順時針或逆時針方向，以指引操作人員做擰緊或松開操作，該判斷通過式(3)的相鄰2條邊向量叉積和的正負性來確定，這樣最終三維預制體動畫過程按該方向做相應旋轉。

圖6 旋轉導引手勢((a)專家端手繪結果； (b)用戶端手繪效果)

2.3.5 手勢刪除指令

當手勢數量達到一定程度時，查看物體就會變的十分困難，存在遮擋視線的問題，因此本文增加了相應的手勢刪除指令(圖7)。通過刪除手勢與其他手勢的空間距離來判斷當前要刪除的手勢，即

其中，G為已繪制手勢集合；p為刪除手勢的中心坐標；pi為手勢集合中第i個手勢的中心坐標，根據刪除手勢中心坐標和其他手勢中心坐標的距離，找到與刪除手勢距離最小的手勢，并在用戶端中銷毀該手勢。為了避免操作失誤，一次只刪除一個已存在手勢。

3 實驗與分析

為了驗證本系統的有效性，本文設計了2類實驗，包括打印機使用和汽車簡單維護。

打印機使用包括拆卸打印機墨盒和更換打印機紙張，由遠程端專家分別指導5位操作者進行操作，最后從系統易用性、標識直觀性、佩戴舒適性3個方面來評判本系統。具體實驗過程為：

(1) 將打印機墨盒外殼打開；

(2) 取下打印機墨盒；

(3) 將紙盒從打印機中拉出；

(4) 放入新換的打印紙；

(5) 推入紙盒。

圖8(a)通過紅色箭頭指示拆卸墨盒前須將外殼按圖中手勢打開；圖8(b)為外殼打開后的側視圖；圖8(c)紅色箭頭所指為墨盒的卡槽位置，須將墨盒卡槽捏合后拉出，圖8(d)為墨盒取出后的側視圖。

圖8 拆卸打印機墨盒((a)旋轉指引；(b)操作后的結果； (c)插拔指引；(d)操作后的結果)

墨盒拆卸后，圖9為更換打印紙的步驟，圖9(a)通過紅色箭頭指示須將紙盒按手勢方向抽出，圖9(b)、(c)為抽出紙盒后的主視圖和側視圖，圖9(d)將方框所示打印紙放入打印機紙盒中。

圖9 更換打印紙((a)紙盒抽出；(b)主視圖；(c)側視圖； (d)放入打印紙)

本文選擇了5位從未接觸過該款打印機的用戶充當操作者，1位經常使用該款打印機的用戶充當專家，專家分別對這5名操作者進行實驗指導。實驗結束后，用戶分別對系統易用性、標識直觀性、佩戴舒適性3個方面進行打分(0~10)，并記錄使用本文方法的所有操作完成時間和使用說明書進行操作完成時間作為對比參照實驗組，見表2。

表2 用戶操作統計表

通過表2可知，用戶對直觀性評分最高，其次是易用性，最低評分為舒適性。另本文方法比傳統方法的耗時減少了約20%左右。說明本文方法可提高效率及操作直觀性。

另外，本文還設計了室外場景下的汽車簡單維護的遠程協助指導實驗，遠程端專家在實驗室桌面計算機前指導室外佩戴HoloLens頭盔的用戶開展引擎蓋打開、加注玻璃水和防凍液3個操作。圖10給出了打開引擎蓋時，用戶觀察到的紅色動畫箭頭導引。圖11給出了加注防凍液時不同視角下旋轉導引，由于該信息具有空間錨點信息，因此不會隨視角變化而偏離最初選定的對象。

圖10 打開引擎蓋

圖11 不同視角下的旋轉導引

4 結束語

借助HoloLens頭盔的空間感知能力，本文設計了一個支持遠程專家指導模式的協同式裝配維修系統。根據操作場景需求，共設計了5類手勢指令，包含物體標注、目標圈選、插拔導引、旋轉導引和刪除手勢。專家端通過在無線網絡傳輸過來的視頻圖像上給出相應的二維手繪操作引導指令，通過手勢識別和MR技術給操作人員提供具有空間錨點功能的三維動態引導，充分解放了操作人員的雙手，能有效提高操作效率和操作直觀性。

未來將在本文工作基礎上增加更豐富的語音交互部分，通過混合式指令可能會進一步提供用戶操作效率。

[1] FUSSELL S R, KRAUT R E, SIEGEL J. Coordination of communication: effects of shared visual context on collaborative work[C]//2000 ACM Conference on Computer Supported Cooperative Work (CSCW). New York: ACM Press, 2000: 21-30.

[2] KRAUT R E, FUSSELL S R, SIEGEL J. Visual information as a conversational resource in collaborative physical tasks[J]. Human-Computer Interaction, 2003, 18(1-2): 13-49.

[3] OU J Z, CHEN X L, FUSSELL S R, et al. DOVE: drawing over video environment[C]//The 11th ACM International Conference on Multimedia. New York: ACM Press, 2003: 100-101.

[4] KIRK D, RODDEN T, FRASER D S. Turn it this way: grounding collaborative action with remote gestures[C]//2007 ACM SIGCHI Conference on Human Factors in Computing Systems(CHI). New York: ACM Press, 2007: 1039-1048.

[5] WANG P, ZHANG S S, BAI X L, et al. 2.5DHANDS: a gesture-based MR remote collaborative platform[J]. The International Journal of Advanced Manufacturing Technology, 2019, 102(5-8): 1339-1353.

[6] GUREVICH P, LANIR J, COHEN B. Design and implementation of TeleAdvisor: a projection-based augmented reality system for remote collaboration[J]. Computer Supported Cooperative Work (CSCW), 2015, 24(6): 527-562.

[7] HUANG W D, ALEM L. HandsinAir: a wearable system for remote collaboration on physical tasks[C]//2013 ACM Conference on Computer Supported Cooperative Work (CSCW). New York: ACM Press, 2013: 153-156.

[8] KIM S, BILLINGHURST M, LEE G. The effect of collaboration styles and view independence on video-mediated remote collaboration[J]. Computer Supported Cooperative Work (CSCW), 2018, 27(3-6): 569-607.

[9] GAO L, BAI H D, LEE G, et al. An oriented point-cloud view for MR remote collaboration[C]//2016 ACM Conference on SIGGRAPH ASIA Mobile Graphics and Interactive Applications. New York: ACM Press, 2016: 1-4.

[10] Microsoft. Mixed Reality documentation[EB/OL]. [2020-05- 08]. https://docs.microsoft.com/en-us/windows/mixed-reality/.

[11] IGARASHI T, MATSUOKA S, TANAKA H. Teddy: a sketching interface for 3D freeform design[C]//1999 ACM Conference on SIGGRAPH. New York: ACM Press, 1999: 409-416.

[12] VATAVU R D, ANTHONY L, WOBBROCK J O. $Q: a super-quick, articulation-invariant stroke-gesture recognizer for low-resource devices[C]//The 20th International Conference on Human-Computer Interaction with Mobile Devices and Services. New York: ACM Press, 2018: 1-12.

Mixed reality based remote collaborative assembly guidance

LIU You-quan1, WANG Yuan-chao1, XU Kun1, LIU Zheng-xiong2, HUANG Pan-feng2

(1. School of Information Engineering, Chang’an University, Xi’an Shaanxi 710064, China; 2. School of Astronautics, Northwestern Polytechnical University, Xi’an Shaanxi 710072, China)

A remote collaborative assembly and maintenance system was proposed based on mixed reality technology. HoloLens’s spatial perception capability of the depth camera and RGB camera was employed to map the interaction from the 2D gestures on the expert side to the 3D animation markers on the operator side, where the gestures were recognized using an improved method. These simple and vivid 3D markers were located with spatial anchors to provide the operator with clear directions about the next steps for expert-operator-mode collaborative tasks,freeing the operator’s hands from interacting with the computer by gestures. The experiments verify the feasibility of such user-friendly guide interfaces for remote collaboration of assembly and maintenance tasks.

remote collaboration; mixed reality; human-computer interaction; assembly and maintenance; HoloLens

TP 391.41

10.11996/JG.j.2095-302X.2021020216

A

2095-302X(2021)02-0216-06

2020-08-08；

8 August，2020；

2020-08-30

30 August，2020

航天預研項目(030101)

Advance Research Program of Space (030101)

柳有權(1976-)，男，湖北秭歸人，教授，博士。主要研究方向為虛擬現實技術、計算機圖形學。E-mail：youquan@chd.edu.cn

LIU You-quan (1976-), male, professor, Ph.D. His main research interests cover virtual reality technology and computer graphics. E-mail：youquan@chd.edu.cn