基于Hololens2的機(jī)翼裝配跟蹤注冊(cè)方法研究與分析

編者按：在基于MR技術(shù)的智能輔助裝配系統(tǒng)中，三維跟蹤注冊(cè)技術(shù)是其核心技術(shù)之一，同時(shí)該技術(shù)也是智能輔助裝配系統(tǒng)穩(wěn)定運(yùn)行的基礎(chǔ)，當(dāng)MR技術(shù)應(yīng)用到機(jī)翼的生產(chǎn)裝配中時(shí)，精準(zhǔn)迅速的跟蹤注冊(cè)技術(shù)是該系統(tǒng)的重要環(huán)節(jié)之一，因?yàn)槠渫馕吨摂M信息疊加到真實(shí)環(huán)境中的準(zhǔn)確性和穩(wěn)定性。文章基于Hololens2設(shè)備，在Unity3D虛擬仿真平臺(tái)開(kāi)發(fā)出一套虛實(shí)結(jié)合輔助機(jī)翼裝配的系統(tǒng)，通過(guò)對(duì)真實(shí)裝配環(huán)境的模擬，對(duì)比當(dāng)今主流的跟蹤注冊(cè)技術(shù)在機(jī)翼裝配過(guò)程的表現(xiàn)效果，并找出一種最適合機(jī)翼裝配過(guò)程的跟蹤注冊(cè)技術(shù)，從而更進(jìn)一步地提高裝配操作人員和培訓(xùn)者的裝配效率與學(xué)習(xí)效率。

引言

MR的關(guān)鍵點(diǎn)就是與現(xiàn)實(shí)世界進(jìn)行交互和信息的及時(shí)獲取。本文通過(guò)Hololens2智能可穿戴設(shè)備，在以機(jī)翼模型為裝備基礎(chǔ)的前提下對(duì)比當(dāng)今各種主流的三維跟蹤注冊(cè)技術(shù)，分析各種跟蹤注冊(cè)技術(shù)的優(yōu)缺點(diǎn)，并找出最適合該裝配過(guò)程的跟蹤注冊(cè)技術(shù)。

跟蹤注冊(cè)

跟蹤注冊(cè)技術(shù)的實(shí)現(xiàn)需要通過(guò)虛擬空間中的坐標(biāo)系與真實(shí)世界坐標(biāo)系的轉(zhuǎn)換，它們之間的變換可以通過(guò)矩陣的左乘來(lái)表示，使得虛擬模型信息可以正確地顯示在待識(shí)別區(qū)域的指定位置上，這個(gè)過(guò)程就被稱(chēng)為一個(gè)虛實(shí)結(jié)合技術(shù)的注冊(cè)過(guò)程（Registration）。但是，由于用戶(hù)在實(shí)際的應(yīng)用中，并不是始終處于一個(gè)方向和位置，這就需要系統(tǒng)實(shí)時(shí)根據(jù)使用者的位置變換，來(lái)保持虛擬模型信息的在設(shè)備屏幕中正確地顯示，不停地計(jì)算之前二者坐標(biāo)系的相對(duì)關(guān)系，這個(gè)過(guò)程就是虛實(shí)結(jié)合技術(shù)中的跟蹤（Tracking）。

總的來(lái)說(shuō)，跟蹤注冊(cè)過(guò)程就是實(shí)時(shí)確定虛擬信息和真實(shí)環(huán)境的相對(duì)位置關(guān)系，將用戶(hù)視野中的三維信息投影到用戶(hù)顯示屏幕上的過(guò)程，如圖2為理想狀態(tài)下的成像狀態(tài)模型。

該模型主要描述了在用戶(hù)視角下，用戶(hù)視野內(nèi)一個(gè)物點(diǎn)（事物抽象）Q最終在投影平面上的投影關(guān)系：

1.場(chǎng)景三維特征點(diǎn)坐標(biāo)系到世界坐標(biāo)系轉(zhuǎn)換關(guān)系Π用于將場(chǎng)景三維特征點(diǎn)的經(jīng)緯度坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系的描述;

2.世界坐標(biāo)系到動(dòng)態(tài)追蹤坐標(biāo)系的轉(zhuǎn)換關(guān)系Φ用于確定場(chǎng)景三維特征點(diǎn)相對(duì)于世界坐標(biāo)系的位置和方向;

3.動(dòng)態(tài)追蹤坐標(biāo)系到人眼坐標(biāo)系的轉(zhuǎn)換關(guān)系Ψ確定人眼位置相對(duì)真實(shí)室內(nèi)場(chǎng)景中的位置和姿態(tài);

4.人眼坐標(biāo)系到投影平面坐標(biāo)系的轉(zhuǎn)換關(guān)系Γ確定將場(chǎng)景三維特征點(diǎn)坐標(biāo)轉(zhuǎn)化為二維圖像透視投影和姿態(tài)。

Maker-Base的跟蹤注冊(cè)

Maker-Base的跟蹤注冊(cè)方法又被稱(chēng)為基于人工標(biāo)記物的人工標(biāo)記法，該方法對(duì)設(shè)備性能要求不高，且具有較高的穩(wěn)定性，計(jì)算復(fù)雜度較低，其穩(wěn)定性和檢測(cè)的速度較好，如圖3為基于人工標(biāo)記識(shí)別法的跟蹤注冊(cè)流程圖。

本文中的人工標(biāo)記法基于Vuforia引擎，通過(guò)將各種Maker上傳到Vuforia數(shù)據(jù)庫(kù)，并且對(duì)圖片進(jìn)行評(píng)定，選取評(píng)分最高的QR碼為待識(shí)別圖，將待識(shí)別的QR碼打印后貼到待識(shí)別的工序位置上，在跟蹤注冊(cè)的過(guò)程中，AR設(shè)備的攝像頭會(huì)首先獲取待識(shí)別區(qū)域的圖像信息，然后通過(guò)將數(shù)據(jù)庫(kù)中的圖片信息與待識(shí)別區(qū)域的圖片信息進(jìn)行匹配，最后通過(guò)矩陣將虛擬信息變換到使用者可觀察的屏幕坐標(biāo)系，從而將虛擬信息注冊(cè)到待識(shí)別區(qū)域上，如圖4為人工標(biāo)記法的跟蹤注冊(cè)效果圖。

基于自然特征的跟蹤注冊(cè)技術(shù)

在自然特征提取法的跟蹤注冊(cè)技術(shù)中，最常用的是FAST、SIFT和ORB等幾種算子，它們有著精度較高且綜合性能較穩(wěn)定的特點(diǎn)。在真實(shí)的機(jī)翼裝配環(huán)境中，并不需要考慮零部件的高動(dòng)態(tài)情況，所以無(wú)需考慮對(duì)高動(dòng)態(tài)物體追蹤的穩(wěn)定性，故本文中以自然特征為基礎(chǔ)的跟蹤注冊(cè)方法中僅采用速度最快的FAST角點(diǎn)探測(cè)算法，該算法指出：若某像素與其周?chē)徲騼?nèi)足夠多的像素點(diǎn)相差較大，則該像素可能是角點(diǎn)。圖5為自然特征跟蹤注冊(cè)后的虛實(shí)疊加實(shí)際效果圖。

基于模型的跟蹤注冊(cè)技術(shù)

本文考慮到機(jī)翼的裝配過(guò)程中，由于機(jī)翼本身并沒(méi)有過(guò)多特殊的紋理和特征點(diǎn)，甚至如翼梁等部位幾乎無(wú)紋理和足夠待檢測(cè)的特征點(diǎn)，所以在機(jī)翼的裝配過(guò)程中提出使用基于邊跟蹤的跟蹤注冊(cè)技術(shù)。理論上，該方法可以解決基于自然特征的跟蹤注冊(cè)技術(shù)在缺少紋理甚至無(wú)紋理環(huán)境中跟蹤注冊(cè)失敗的問(wèn)題，并且該方法解決了傳統(tǒng)基于人工標(biāo)識(shí)的局限性。

實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

通過(guò)人工標(biāo)記法、自然特征檢測(cè)法和基于模型的邊跟蹤注冊(cè)法對(duì)機(jī)翼前緣骨架的在實(shí)際的裝配環(huán)境中對(duì)主要零部件進(jìn)行每個(gè)20次的跟蹤注冊(cè)測(cè)試，并計(jì)算出每個(gè)零部件上，不同的跟蹤注冊(cè)技術(shù)的評(píng)價(jià)成像時(shí)間（s），如表1所示。

實(shí)驗(yàn)數(shù)據(jù)結(jié)果分析：

（1）人工標(biāo)記法：以人工標(biāo)記法為基礎(chǔ)的跟蹤注冊(cè)方法，雖然技術(shù)舊，但是其發(fā)展時(shí)間久，技術(shù)成熟，且在機(jī)翼的裝配過(guò)程中依舊是速度最快且穩(wěn)定性最好的跟蹤注冊(cè)方法。

（2）自然特征提取法：由于機(jī)翼的待裝配部件本身缺少紋理和并且不具備足夠的特征形狀，通過(guò)實(shí)驗(yàn)數(shù)據(jù)可以看出，在這種情況下，無(wú)標(biāo)記物的自然特征點(diǎn)檢測(cè)法的跟蹤注冊(cè)技術(shù)并不能在此體現(xiàn)很好的效果，所以基于自然特征點(diǎn)檢測(cè)的跟蹤注冊(cè)方法，在以機(jī)翼裝配為基礎(chǔ)的裝配過(guò)程中，由于機(jī)翼模型本身特征點(diǎn)過(guò)少，跟蹤注冊(cè)較為困難且速度慢，準(zhǔn)確度低。

（3）邊跟蹤注冊(cè)法：在基于模型的邊跟蹤技術(shù)中，雖然其理論上擺脫了人工標(biāo)記法的局限性和在缺少自然特征點(diǎn)情況下特征檢測(cè)跟蹤注冊(cè)失敗的情況，并且跟蹤注冊(cè)時(shí)間也較為良好，但是其在實(shí)際的裝配環(huán)境中的復(fù)雜性使其穩(wěn)定性極差，經(jīng)常出現(xiàn)目標(biāo)丟失和虛擬信息錯(cuò)位的情況，所以目前該方法也并不適用于機(jī)翼實(shí)際的裝配過(guò)程。

通過(guò)對(duì)比可以看出，人工標(biāo)記法無(wú)論是成像時(shí)間還是成像穩(wěn)定性和成像準(zhǔn)確性，在機(jī)翼的裝配過(guò)程中，該方法是以上三種方法中效果最好的跟蹤注冊(cè)方法，即以人工標(biāo)記法為基礎(chǔ)的跟蹤注冊(cè)法依然是在機(jī)翼裝配過(guò)程中速度最快且穩(wěn)定性最好的方法。

結(jié)論

在以后的發(fā)展中，混合現(xiàn)實(shí)會(huì)利用到各個(gè)地方去，將混合現(xiàn)實(shí)技術(shù)應(yīng)用到生產(chǎn)制造中以及各種也是未來(lái)的發(fā)展趨勢(shì)，操作人員可以利用智能可穿戴設(shè)備的攝像頭對(duì)工序進(jìn)行跟蹤注冊(cè)，眼鏡中就會(huì)生成該工序的裝配指示或者工藝說(shuō)明書(shū)和裝配過(guò)程動(dòng)態(tài)演示動(dòng)畫(huà)，極大地方便了操作人員的操作。

參考文獻(xiàn)：

[1]Dieter Schmalstieg，Tobias Hollerer.Augmented reality：principles and practice[M].The UK：Addison-Wesley Professional，2016：425-426.

[2]Ronald T. Azuma.A Survey of Augmented Reality[J].Presence：Teleoperators and Virtual Environment，1997，6（04）：355-385.

[3]韓玉仁，李鐵軍，楊冬.增強(qiáng)現(xiàn)實(shí)中三維跟蹤注冊(cè)技術(shù)概述[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（21）：26-35.

[4]李正睿，車(chē)飛，方兵，等.基于增強(qiáng)現(xiàn)實(shí)的航天產(chǎn)品裝調(diào)指導(dǎo)系統(tǒng)[J].電子工藝技術(shù)，2020，41（06）：314-317，365，369.

[5]陳靖，孫源.基于FAST關(guān)鍵點(diǎn)的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)算法[J].北京理工大學(xué)學(xué)報(bào)，2015，35（04）：421-426.

第一作者：石雨鑫（1995—），遼寧盤(pán)錦人，2019級(jí)在讀研究生，現(xiàn)就讀于沈陽(yáng)理工大學(xué)，主要研究方向?yàn)閿?shù)字圖像。