基于自適應(yīng)特征點(diǎn)校正的AR運(yùn)動(dòng)物體連續(xù)追蹤算法

張量 金益 李金祥 劉媛霞 牛麗

摘? 要：在增強(qiáng)現(xiàn)實(shí)（AR）中，為了將虛擬物體與真實(shí)世界無(wú)縫融合，需要實(shí)時(shí)地識(shí)別與追蹤真實(shí)世界中物體的位置，即“跟蹤注冊(cè)”技術(shù)。它是AR的核心技術(shù)之一，但是受設(shè)備限制、環(huán)境光照、物體輪廓和紋理的因素影響，會(huì)使AR設(shè)備對(duì)物體的識(shí)別和追蹤產(chǎn)生誤差，從而導(dǎo)致生成的虛擬物體或信息在與真實(shí)世界的疊加中產(chǎn)生抖動(dòng)。本文研究并討論了一種利用剛體形狀不變的特性，修正運(yùn)動(dòng)物體跟蹤注冊(cè)中特征點(diǎn)識(shí)別誤差的方法。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí);注冊(cè)追蹤;特征點(diǎn)識(shí)別;剛體運(yùn)動(dòng)

中圖分類號(hào)：TP391.9? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）19-0093-03

Abstract：In augmented reality（AR），in order to seamlessly integrate virtual objects with the real world，it is necessary to identify and track the location of objects in the real world in real time，namely “tracking registration” technology. It is one of the core technologies of AR. However，due to the limitation of equipment，environmental illumination，object contour and texture，AR device will cause errors in object recognition and tracking，which will lead to the shaking of virtual objects or information generated in the superposition with the real world. This paper studies and discusses a method to correct the recognition error of feature points in tracking and registration of moving objects by using the invariant shape of rigid bodies.

Keywords：augment reality;registration tracking;feature point recognition;rigid body movement

0? 引? 言

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，簡(jiǎn)稱AR）是一種通過(guò)實(shí)時(shí)計(jì)算攝影機(jī)影像的位置及角度將虛擬的三維物體疊加到真實(shí)場(chǎng)景中的技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)能夠同時(shí)體現(xiàn)出真實(shí)世界的內(nèi)容和虛擬世界的內(nèi)容或信息，并將這兩部分內(nèi)容以合適的方式相互疊加、融合。在基于視覺(jué)的增強(qiáng)現(xiàn)實(shí)應(yīng)用中，需要一個(gè)具有透明玻璃鏡片以及微型投影裝置的頭盔顯示器，用戶透過(guò)玻璃鏡片可以看到真實(shí)的世界，而投影設(shè)備則將虛擬世界的信息投影到合適的位置，將兩者無(wú)縫地重合在一起[1]。增強(qiáng)現(xiàn)實(shí)技術(shù)極大地提升了人與環(huán)境以及計(jì)算機(jī)的交互體驗(yàn)，其將虛擬信息與真實(shí)場(chǎng)景融合的交互方式能夠應(yīng)用到教育、醫(yī)療、娛樂(lè)、商務(wù)等諸多領(lǐng)域[2，3]。而其中一項(xiàng)核心問(wèn)題是如何將虛擬物體精確穩(wěn)定地融合到真實(shí)場(chǎng)景中，這需要實(shí)時(shí)地識(shí)別真實(shí)場(chǎng)景中的參考物體及其位置，從而計(jì)算出虛擬物體應(yīng)當(dāng)出現(xiàn)的相對(duì)位置，稱之為“三維配準(zhǔn)”或者“跟蹤注冊(cè)”技術(shù)。

1? 研究現(xiàn)狀

跟蹤注冊(cè)技術(shù)檢測(cè)需要識(shí)別并跟蹤的物體特征點(diǎn)的三維坐標(biāo)信息。跟蹤注冊(cè)技術(shù)的好壞直接決定增強(qiáng)現(xiàn)實(shí)系統(tǒng)的成功與否，常用的跟蹤注冊(cè)方法有基于機(jī)器視覺(jué)跟蹤注冊(cè)、基于跟蹤器以及預(yù)先空間標(biāo)定的注冊(cè)、基于無(wú)線網(wǎng)絡(luò)的混合跟蹤注冊(cè)技術(shù)等[4-7]。目前較為穩(wěn)定的商用AR技術(shù)中的跟蹤注冊(cè)方案主要是基于機(jī)器視覺(jué)的識(shí)別方案和基于三維空間標(biāo)定的方案。基于機(jī)器視覺(jué)方案的主要有蘋果AR Kit、谷歌AR Core以及Vuforia的方案。其技術(shù)均需通過(guò)實(shí)時(shí)識(shí)別視頻流每一幀圖像中參考物體及其特征點(diǎn)位置作為整個(gè)虛擬場(chǎng)景的參考坐標(biāo)。如果前后幀序列圖像中參考物體特征點(diǎn)識(shí)別有誤差，就會(huì)造成整個(gè)參考坐標(biāo)的不規(guī)則抖動(dòng)，從而導(dǎo)致在此參考坐標(biāo)系中疊加的虛擬物體也產(chǎn)生抖動(dòng)，使得虛擬物體或者場(chǎng)景無(wú)法很好地與現(xiàn)實(shí)場(chǎng)景進(jìn)行融合。基于三維空間標(biāo)定方案的代表有微軟HoloLens、Oculus等的方案。這類方案需要預(yù)先對(duì)所處的空間進(jìn)行定位，然后在標(biāo)定好的空間中追蹤物體。在使用中無(wú)需實(shí)時(shí)判斷參考物體位置，所以虛擬物體和場(chǎng)景不會(huì)抖動(dòng)。然而空間虛擬坐標(biāo)一旦標(biāo)定，不能更改。如果空間場(chǎng)景、場(chǎng)景內(nèi)物體或者標(biāo)定傳感器位置發(fā)生變化，就會(huì)導(dǎo)致整個(gè)虛擬空間位置錯(cuò)位，需要重新進(jìn)行標(biāo)定才能夠恢復(fù)。國(guó)內(nèi)也有一些自主方案，但多為針對(duì)特定場(chǎng)景的，其通用性和穩(wěn)定性均略遜于前者。

2? 特征點(diǎn)識(shí)別與追蹤

AR設(shè)備通常通過(guò)一個(gè)攝像頭獲取視頻（圖像幀序列），通過(guò)識(shí)別參考物體的特征點(diǎn)（），來(lái)確定參考面?的位置，進(jìn)而計(jì)算出放置在參考面?上的虛擬物體Obj的相對(duì)位置。當(dāng)AR設(shè)備發(fā)生移動(dòng)時(shí)（比如順時(shí)針轉(zhuǎn)過(guò)一個(gè)角度θ時(shí)），可以認(rèn)為相當(dāng)于參考平面?向相反的方向旋轉(zhuǎn)了相同的角度? ，進(jìn)而可以推得，放置在其上的物體Obj也旋轉(zhuǎn)了角度? 。因此，只要將虛擬物體旋轉(zhuǎn)角度? 即可保持Obj與參考平面?的相對(duì)位置不變，從而達(dá)到將虛擬物體Obj與現(xiàn)實(shí)中的參考平面?相融合的效果。平移的處理方式類似，不再贅述。

然而，在實(shí)際應(yīng)用中，由于參考物體形狀輪廓、表面紋理的差異、AR設(shè)備攝像頭素質(zhì)的高低以及環(huán)境、光線等的影響，會(huì)導(dǎo)致識(shí)別到的特征點(diǎn)出現(xiàn)誤差。只要一幀圖像的特征點(diǎn)出現(xiàn)誤差，就會(huì)導(dǎo)致計(jì)算出來(lái)的虛擬物體位置產(chǎn)生相應(yīng)的偏差，最終導(dǎo)致虛擬物體無(wú)法正確地貼合在真實(shí)世界的參考平面?上，這樣的情況在每一幀圖像序列的參考面特征識(shí)別中都有一定的幾率（τ）發(fā)生，從而導(dǎo)致計(jì)算出來(lái)的虛擬物體也會(huì)以τ幾率發(fā)生偏移，以至于產(chǎn)生的虛擬物體的相對(duì)位置產(chǎn)生抖動(dòng)。

要避免這種抖動(dòng)，必須避免參考面特征點(diǎn)的識(shí)別誤差。為了達(dá)到這個(gè)目的，目前的AR方案大多要求被識(shí)別的參考物體應(yīng)當(dāng)盡量是平面，或者具有十分明顯而豐富的特征細(xì)節(jié)（可識(shí)別的特征點(diǎn)），即要求其輪廓或者紋理有明顯的拐點(diǎn)，并且紋理顏色不能相近。但實(shí)際應(yīng)用中，大多數(shù)現(xiàn)實(shí)中的參考物體，都有著圓潤(rùn)的輪廓，紋理顏色也不能保證有豐富的可識(shí)別的細(xì)節(jié)，從而導(dǎo)致目前AR的應(yīng)用場(chǎng)景受到了很大的限制。

3? 基于剛體運(yùn)動(dòng)的特征點(diǎn)校正

本文采用基于剛體運(yùn)動(dòng)學(xué)的AR參考物體特征點(diǎn)修正算法修正識(shí)別偏差的特征點(diǎn)，能夠避免參考坐標(biāo)因?yàn)樽R(shí)別誤差而產(chǎn)生抖動(dòng)，提升AR應(yīng)用中虛擬物體與現(xiàn)實(shí)世界融合的穩(wěn)定性。基本思想是利用剛性物體形狀不變的特性來(lái)修正同一個(gè)剛體上特征點(diǎn)位置的偏差。由于現(xiàn)實(shí)世界中的參考物體是剛體，不會(huì)產(chǎn)生扭曲和形變，所以在AR應(yīng)用將虛擬物體和現(xiàn)實(shí)世界融合的過(guò)程中，參考物體上的所有特征點(diǎn)均應(yīng)當(dāng)滿足統(tǒng)一的剛體運(yùn)動(dòng)特征。

算法設(shè)計(jì)：假設(shè)圖像序列中前后兩幀的特征點(diǎn)向量集合分別為U= 與 = ，根據(jù)經(jīng)典剛體運(yùn)動(dòng)原理，參考物體運(yùn)動(dòng)應(yīng)符合剛體運(yùn)動(dòng)模型，如式（1）所示：

是位移系數(shù)。算法通過(guò)以下五個(gè)步驟實(shí)現(xiàn)，流程如圖1所示。

至此，所有 ∈U均符合統(tǒng)一的剛體運(yùn)動(dòng)特征，因此保證了參考平面和虛擬物體運(yùn)動(dòng)的穩(wěn)定性，消除了虛擬物體抖動(dòng)現(xiàn)象。

4? 結(jié)? 論

在基于單攝像頭的AR設(shè)備上進(jìn)行三維坐標(biāo)的跟蹤注冊(cè)會(huì)受到設(shè)備分辨率、環(huán)境光照、物體輪廓和紋理等諸多因素的影響而導(dǎo)致不穩(wěn)定，從而使得生成的虛擬物體位置產(chǎn)生抖動(dòng)。這種情況在復(fù)雜場(chǎng)景和運(yùn)動(dòng)物體追蹤中更為明顯。利用剛性物體在運(yùn)動(dòng)中形狀不變的特性，可以在很大程度上過(guò)濾同一剛體部分特征點(diǎn)識(shí)別誤差帶來(lái)的抖動(dòng)，從而提高AR跟蹤注冊(cè)的精確程度。解決在運(yùn)動(dòng)中可形變物體的跟蹤注冊(cè)將是下一步研究的方向。

參考文獻(xiàn)：

[1] 吳騫華.增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)應(yīng)用與發(fā)展趨勢(shì) [J].通訊世界，2019，26（1）：289-290.

[2] 關(guān)媛元，王喆.增強(qiáng)現(xiàn)實(shí)技術(shù)發(fā)展及應(yīng)用綜述 [J].計(jì)算機(jī)產(chǎn)品與流通，2019（1）：98.

[3] 王孜琦.增強(qiáng)現(xiàn)實(shí)專利技術(shù)綜述 [J].科技經(jīng)濟(jì)導(dǎo)刊，2018，26（17）：98.

[4] 蔣大為.基于AR系統(tǒng)實(shí)現(xiàn)三維物體目標(biāo)跟蹤 [J].科技創(chuàng)新導(dǎo)報(bào)，2018，15（31）：102-103.

[5] 郭陽(yáng)陽(yáng)，孫涵.基于單目AR環(huán)境下的目標(biāo)識(shí)別與跟蹤算法 [J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（10）：8-12.

[6] 鄭曉萌，張德海.基于有效特征點(diǎn)的運(yùn)動(dòng)目標(biāo)匹配跟蹤算法 [J].電子設(shè)計(jì)工程，2018，26（20）：59-64+71.

[7] 郭蓓.增強(qiáng)現(xiàn)實(shí)中虛實(shí)融合技術(shù)研究 [D].西安：長(zhǎng)安大學(xué)，2018.

作者簡(jiǎn)介：張量（1982-），男，漢族，江蘇蘇州人，講師，碩士，研究方向：虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)。