基于標識位置變化的移動增強現實的研究

高智 虞錦東 劉嘉敏

摘 要：目前移動增強現實系統，由于采用閾值法進行圖像分割，當標識位置發生變化時，不能較好的實現增強現實；針對這一問題，根據系統的魯棒性，能夠確定視頻幀中的點對之間的關系不變，通過提取特征點對方法進行圖像分割，進而實現增強現實。結果表明該方法在標識位置變動時，系統仍能很好實現增強現實，驗證了該方法的有效性與實時性，提高了增強現實系統的整體性能。

關鍵詞：增強現實；魯棒性；特征點對

中圖分類號：TP391 文獻標識碼：A

1 引言（Introduction）

增強現實（Augmented Reality，簡稱AR）是一種將計算機生成的虛擬信息疊加到真實環境中，實現虛擬和現實的融合，達到增強現實環境效果的技術[1]。隨著移動平臺可用性能的提升，增強現實技術在終端平臺上得到了很大的發展[2]。AndAR是基于非常流行的ARToolKitPlus跟蹤器的增強現實框架[3]。其提供了面向對象的純Java API，隱藏了所有的本地庫調用。移動端一般采用基于人工標識實現增強現實，而標識識別中圖像分割[4]對增強現實效果有決定的作用。目前在PC端通過ARToolKit結合其他工具開發增強現實系統，文獻5利用ARToolKit設計一套能夠實時展現三維物體的系統，開發過程中通過閾值實現圖像分割，所以系統的實時性較好，但不能適應場景的較大變化。文獻6中采用了一種基于計算機視覺的算法，檢測查找相關的標識和特征點，然后得到模型視圖矩陣，此方法在實時性、穩定性方面效果良好，同樣不能適應場景的較大變化。針對以上問題，本文對實時視頻序列中的圖像采用一種全新的方法實現三維注冊，當標識位置發生變化時，也能準確的進行圖像分割，提高系統的整體性能。

2 關鍵技術與算法（The key technique and

algorithm）

2.1 AndAR的工作原理

AndAR通過計算機來判斷是否找到標識（標識物一般情況下都是黑色矩形框），及在標識識別成功后計算虛擬物體所需疊加的位置。這里標識采用人工標識，目前人工標識的識別方法主要分為兩種：基于圖像模板匹配的標識識別和基于編碼特征的標識識別[7]。基于圖像模板匹配的標識具有可讀性，標識本身帶有一定的信息。程序初始化時根據用戶判斷，設定一個固定的圖像分割閾值，此分割閾值在系統運行過程中保持不變，通過此閾值對采集到的每一幀圖形進行分割，找出此幀圖像中所有的四邊形區域作為候選匹配區域，然后將每一候選區域進行模板匹配測試，如果達到匹配成功條件，則系統認為找到了一個標識，閾值的設定直接影響分割的效果，進而影響能否實現增強現實。即使采用動態閾值分割圖像，當場景發生變化時，以及在噪聲的干擾下無法得到最優的分割閾值[8]等問題，也會影響匹配結果。

2.2 基于邊緣的分割方法

在AndAR增強現實系統中，因為標識物一般情況下都是黑色矩形框，和背景的灰度有相當大的反差，由于這種設計，它在攝像機上的投影圖像一般應該是由一個較黑的物體疊加在一個相對較白的背景上形成的，根據這種特性采用閾值分割法能夠做到系統的實時性，但不能適應場景較大變化。由于進行此方法是確定合適的閾值，進而提取興趣區域，最終目的是根據興趣區域的特性進而進行圖像分割。一般通過攝像頭獲取的視頻幀，是沒有深度信息的，可以求得黑色矩形框的直線方程提取興趣區域。四條邊的直線方程y=kx+b。這樣就能提取興趣區域，由平行四邊形的特性對邊斜率相同，需求得四個點坐標和兩個斜率。

為計算興趣區域的直線方程，首先對攝像頭獲取的視頻幀進行圖像二值化處理[9]，然后采用橫向掃描的方式尋找興趣點。經過掃描檢測，掃描線與黑色矩形邊框的位置關系呈現以下四種關系如圖1所示。

圖1 掃描線和興趣邊框的關系

Fig.1 Relationship between scan

line and interest border

當掃描線找到黑色連續的區域，能夠確定連續區域左側點P1坐標（如圖1所示），以及興趣區域的寬度d1，如圖1黑色線條所示，進行如下處理：

（1）以P1點為圓心，并且以為d1半徑，以旋轉方向順時針方向進行檢測（向量起點P1，方向水平，長度d1）。

（2）當檢測半徑方向上首次出現與興趣區域灰度不一樣的點P'時，計算P'到P1點的距離d0。若d0=d1，則執行（3）。若d0≠d1，判斷方向若為順時針則執行（1）方向改為逆時針，否則執行（5）。

（3）以P'為起點橫向進行區域檢測到長度d'，判斷若d1=d'，則執行（4）。若d1≠d'，則執行（5）。

（4）可以得到興趣區域邊緣與檢測線的角度θ，以及旋轉方向（0表示順時針反向，1表示逆時針方向）。

（5）P1點不是目標點繼續掃描檢測。

通過以上步驟就能判斷出掃描線與疑似興趣邊框的關系，并且能確定特征區域與掃描線的姿態，θ=90°則是圖1（b）、順時針方向則是圖1（c）、逆時針方向則是圖1（d）。

通過上述步驟能夠得到多個疑似興趣點，通過角度θ相同為依據進行點對分組，理想情況下出現一種角度θ，若出現多個角度θ，按照出現點個數多于一個保留其他舍棄。下面要進行縱向點的選取以及對橫向點的取舍，如圖2所示。

圖2 特征點選取

Fig.2 Feature selection

選取橫向掃描線上點對兩點P1P2中心坐標點P0進行縱向掃描，進行上述處理，若不符合說明橫向點對不是目標點對，若符合就能得到縱向兩點P3P4、興趣區域的寬度d3、d4以及角度。這樣就能的到興趣區域邊緣的直線方程。進而提取興趣區域。這樣還不能做到將所有干擾點對排除。由于系統具有魯棒性的特點，并且通過上述步驟可以得到P1P2點和P3P4點之間的距離分別為d12、d34。興趣點區域的寬度與興趣點之間的長度之間關系隨著場景變換不變，通過這種關系能夠進一步確定目前的到點對是目標所求。通過攝像頭獲取視頻幀是平面圖像，當場景發生變化時，黑色矩形框的位置變化如圖3所示。

圖3 矩形框的位置變化示意圖

Fig.3 Rectangle position figure

通過上圖可以發現，當場景變化時，由于系統具有魯棒性，圖形的變化都呈現規律變化。通過這種變化可以確定橫向的點對，關系如式（1）。

d1/d3=d12/d34 （1）

上述步驟確定的特征點P1（x1，y1）P2（x2，y2）P3（x3，y3）P4（x4，y4），興趣區域寬度d以及邊框與掃描線的角度θ以及方向dir。如果θ=90°，興趣區域范圍為：f（x，y）={（x，y）|x1≤x≤x2，y3≤y≤y4}。若θ≠90°，興趣區域范圍為：

3 實現與測試（Experimental and test）

3.1 系統流程

首先通過手機攝像頭獲取真實場景的視頻幀，對視頻幀進行預處理，通過上述方法獲得特征點，計算直線方程，根據直線方程對視頻幀進行圖像分割，提取目標區域與模板庫進行匹配，若匹配不成功繼續獲取視頻幀，重復上述過程。若匹配成功，則進行標識的變換矩陣的計算，然后在進行三維模型渲染[10]，將虛擬物體在屏幕上顯示。系統流程如圖4所示。

圖4 系統流程圖

Fig.4 System flow chart

3.2 測試與分析

本文基于AndAR系統框架進行相應的實驗，選取移動設備中興N909，操作系統：AndroidOS4.1，CPU配置為高通曉龍Snapdragon MSM8625Q，854×480像素。程序使用Eclipse4.3編寫，使用OpenGL ES 2.0來渲染三維虛擬模型。

圖5（a）和（b）分別為采用閾值法[11]和本文方法得到的結果，標識正對攝像頭時都能實現增強現實的效果。當標識被水平放置時，以瓶子為參照；圖6（a）為采用閾值法的結果，因標識傾斜角度將大，不能將虛擬物體注冊在標識上。圖6（b）為采用本文方法的結果，標識旋轉（瓶子放置在桌面，標識和瓶子的位置表示標識變化）仍能虛擬物體注冊在標識上。

圖5 標識水平時兩種方法的效果

Fig.5 The effect of two methods for marking level

圖6 標識旋轉后兩種方法的效果

Fig.6 The effect of two methods for marking rotation

從實驗結果可以看出，當人工標識相對攝像頭的位置發生較大變化，采用閾值法無法實現增強現實；而對實時視頻幀中的圖像采用本文方法進行圖像分割，即使場景發生變化，能夠很好的跟蹤標識，實驗結果表明該法在場景發生較大變化時仍能實現增強現實且實時性較好。

4 結論（Conclusion）

本文采用AndAR開發包增強現實系統中采用上述方法來計算實時視頻幀的特征點進行圖像分割，當場景發生變化時，再識別標識，進而實現增強現實，實驗結果表明圖像分割能隨著場景變化做出適當提取，同時能夠滿足增強現實系統的實時性要求，在一定程度上提高了整個系統的性能。

參考文獻（References）

[1] 朱森良，姚遠，蔣云良.增強現實綜述[J].中國圖象圖形學報，

2004，9（7）：767-771.

[2] 周國眾.移動增強現實關鍵技術及應用[J].測繪與空間地理信

息，2012，35（9）：140-144.

[3] D Wagner，D Schmalstieg."ARTooIKitPlus for Pose Tracking

on Mobile Devices".Computer Vision Winter Workshop 2007，

Austria，February 6-8，2007.

[4] 孫陽光，蔡志華.一種基于局部自適應的女書字符圖像分割算

法[J].微電子學與計算機，2014，31（3）：142-145；149.

[5] 胡穎群，尹長春.基于ARToolKit的三維虛擬商品展示系統設

計與實現[J].計算機應用與軟件，2012，29（8）：259-261.

[6] 范利君，童小念.移動增強現實中視覺三維注冊方法的實現

[J].數字工程，2011，39（15）：138-140.

[7] GANDYM，MACINTYREB.Designer's augmented reality

toolkit，ten years later：implications for new media authoring

tools.Proceedings of the 27th annual ACM symposium on User

interface software and technology，2014.

[8] 張新明，張玉珊，李振云.一種改進的矩不變圖像分割方法[J].

廣西師范人學學報：自然科學版，2011，29（2）：185-190.

[9] 馬頌德，張正友.計算機視覺——計算理論與算法基礎.北京：

科學出版社，1998.

[10] 官酩杰.基于OpenGL ES的移動平臺圖形渲染引擎研究與

實現[D].北京：北京交通大學，2010：1-7.

[11] 李俊峰，張志彥.基于矩不變性的閾值選擇圖像分割算法研

究[J].計算機應用與軟件，2013，30（12）：170-172.

作者簡介：

高 智（1990-），男，碩士生.研究領域：計算機圖形學與虛擬

現實.

虞錦東（1993-），男，碩士生.研究領域：計算機圖形學與虛擬

現實.

劉嘉敏（1964-），女，博士，副教授.研究領域：布局優化，計

算機圖形學與增強現實.