使用三角網的戶外增強現實注冊方式的研究

黃有群， 胡超博， 李志鵬

（沈陽工業大學信息科學與工程學院，遼寧 沈陽 110178）

增強現實技術（Augmented Reality，簡稱AR）是隨著虛擬現實技術（Virtual Reality，簡稱VR）迅速發展和實際應用需要而出現的一種新技 術[1]。與傳統虛擬現實技術所要達到的完全沉浸 的效果不同，增強現實技術致力于將計算機生成的虛擬物體疊加到現實景物上[2]。由于AR具有很大的應用和發展潛力，因此正越來越引起人們的關注，已經逐步應用到醫學、機械、設計、娛樂、軍事等各個領域[3]。

AR系統的技術關鍵是三維跟蹤注冊[4]（虛擬物體與真實物體的對準），即首先根據采集的圖像或視頻建立以視點為中心的觀察坐標系，然后在圖像或視頻中根據指定虛擬物體的二維插入點計算該點的三維坐標，再根據該點空間位置及視線角度將三維虛擬物體做透視投影，最后融合真實場景與虛擬物體投影圖像，從而實現周圍世界真實場景與計算機生成的虛擬增強信息的結合。

增強現實技術發展至今，戶外環境是一個更為廣闊的應用天地。目前實用的計算機視覺和增強現實系統，包括結構光[5]方案和基于ARToolkit[6]的標記方案，其都采用了基于單攝像機的注冊方式，大家知道，3D場景映射到2D圖像或視頻后，都丟失了圖像點的深度信息，在計算機視覺中需要兩幅圖像交叉計算才能得到深度。結構光方案是用一個投影儀來代替一個攝像機，從而在場景中出現輔助運算的結構光條或網格，而ARToolkit則需要在場景中擺放特殊標記來輔助運算，但結構光方案不能用于強光環境，標記的制作和擺放也不適用于大規模和復雜環境，因此都不能直接應用于戶外環境。現階段所檢索到的戶外增強現實應用依靠傳感器技術來實現跟蹤與定位，如全球定位系統[7](GPS)、慣性導航系統[8]等，但是GPS設備成本昂貴、必須抵達實地測量點且GPS信號要能正常接收、慣性系統跟蹤誤差會隨時間增加而增大，因此這些方案的應用尤其在復雜環境或不可達環境中的應用仍受很大限制。

為了更好的解決基于單攝像機的戶外增強現實應用中虛實結合參數計算問題，筆者提出了在真實場景中主要目標物體上建立表面網格的方案，在視頻或圖像上指定一個像素后，確定了一條視線，用該視線與表面網格的交點作為實際表面點的近似，從而省略了兩幅圖片間尋找對應點的立體匹配和聯立方程組的計算。本文以三維地形為例，將地形三角網[9]疊加到真實場景中， 用三角網輔助系統完成注冊，系統的關鍵技術是通過對網格的頂點的實時檢測獲得視點和視線方向，并根據圖像中指定的2D點坐標計算其三維坐標，其優點就是僅通過單幅圖像就能夠完成三維信息的計算并進行快速的虛實合成。表面網格節點的3D坐標的采樣和計算采用基于計算機視覺的數碼照片加激光測距儀的方法，將在另文闡述。本文工作的基礎假定表面網格節點的三維坐標已由上述方法求出且三維網格已經生成，虛實合成是基于視頻進行的，其在設計領域有著廣泛的應用[10]。

1 表面網格注冊算法

虛擬表面網格節點的坐標依賴于以視點為中心的觀察坐標系，而在視頻錄像中，各幀的視點是不斷變化的，虛擬表面網格相對的姿態和位置也應隨之變化。在增強現實應用中，視點的變化要從圖像中求出。由于虛擬表面網格的節點都對應物體表面的某些特征點，因此在視頻中識別這些特征點就成為算法的關鍵步驟，考慮到視頻中相鄰幀的差別不大，識別時采用基于特征和基于局部圖像的算法相結合的算法，依據圖像對應點鄰域內的灰度的相關性來進行識別。這樣整個工作分為網格節點識別、實時計算視點和視線、表面網格與真實地形的實時對準以及在圖像上指定虛實結合點進行快速的虛實合成操作。

1.1 網格節點識別

本文采用基于特征的算法和基于局部圖像的算法相結合的算法識別虛擬網格的特征頂點，首先由用戶去指定需要跟蹤識別的虛擬網格特征頂點，在戶外真實場景錄像中直接提取特征得到點的坐標，然后利用基于局部圖像的算法在特征點鄰域內進行搜索檢測，縮小了后續幀中特征點的坐標的檢測范圍，在檢測過程中大大的減少了計算量。網格頂點檢測步驟如下：

（1） 對當前圖像幀進行特征點灰度提取，得到構建網格的特征點的集合Pk(k=1, 2, …)并記錄下當前幀的圖像信息以及特征點與網格三維數據的對應關系。

（2） 在下一圖像幀中的Pk(k=1, 2, …)的M×N 窗口內進行特征點檢測，以檢測到的特征點集合Qk(k=1, 2, …)為候選匹配點。

（3） 對每一候選匹配點Qk(k=1, 2, …)與點Pk(k=1, 2, …)之間進行灰度級相關計算，以相關系數最大且大于一定閾值的點Q 作為匹配點。

（4） 按(1)、(2)、(3)步驟尋找Q 在前一幅圖像中的匹配點，當匹配不到特征點時，選擇三角網中其它的頂點進行計算。

以4 個特征點A、B、C、D 為例，圖1 展示了該算法對指定特征點的跟蹤效果。

圖1 跟蹤識別

1.2 視點與視線的計算

增強現實系統需要實時計算視點與視線方向才能夠實現真實場景與虛擬物體的融合顯示。本文采用線性相機模型，利用文獻[5]中的公式

該方程組刻畫了空間三維坐標與圖像上二維坐標之間的關系。其中，(Xwi, Ywi, Zwi)為第i 點空間坐標，(ui, vi)為第i 點圖像坐標，在方程中為已知條件，mij為所求攝像機參數矩陣M 的第i 行第j 列元素。若已知n 個點(n＞=6)的空間和圖像坐標，就可以得到2n 個關于M 矩陣的元素的線性方程，由最小二乘法可以求得M 矩陣。

根據參數矩陣M 通過分解就能夠得到攝像機的所有外參數（平移分量和旋轉分量），平移分量可得到視點位置，旋轉分量計算可以得到視線的方向。參數矩陣M 與攝像機內外參數的關系[5]如下

1.3 三角網動態對準

基于三角網的注冊算法是為了能夠快速準確地將計算機所建的三維虛擬模型準確地融合到攝像機拍攝到的真實場景中并能夠根據需要進行調整，針對本算法，要解決的問題就是如何做到隨著視角的移動三角網投影也做相應的改變。前文已經求得攝像機的位置和朝向，當三角網在世界坐標系中的位置固定時，需要實時根據視點和視線方向構建觀察坐標系，從而得到網格節點在觀察坐標系下的表示，然后再進行投影變換和視區變換，最后在屏幕上顯示。整個流程如圖2 所示。Direct3D 是基于微軟的通用對象模式COM（Common Object Mode）的3D 圖形API，設置Direct3D 的視點和視線方向與前文所求得的視點和視線方向重合， Direct3D 就能夠自動構建以視點為中心視線方向為Z軸方向的觀察坐標系，再根據圖像的長寬值設定投影參數和視區變換參數，Direct3D 就能夠自動完成一系列的數學計算工作，從而實現三角網與三維地形的實時對準顯示。

本文的三角網是以三角形序列的方式存儲的，還需要設置Direct3D 的頂點序列表和三角形序列表。這樣就為交互式的虛實合成做好了準備工作。

圖2 變換流程

2 基于三角網的虛實合成

在實現了三角網動態顯示之后，為了實現虛實結合就需要知道虛擬物體插入點的三維坐標，用戶可以將視頻錄像暫停，從而利用鼠標或者菜單與3D 網格進行方便的人機交互[10]來指定圖像中某一像素點為虛實結合點。在調試過程中可以顯示虛擬網格，用來驗證算法的正確性，在實際計算插入點參數時則不一定需要顯示，以減輕系統運行負擔。從屏幕上一點計算其三維坐標的過程即為圖2 所示的逆過程，詳細的計算過程如下。

2.1 計算通過視點與屏幕上指定點的視線矢量

（1） 確定鼠標選取點的屏幕坐標

Windows 提供了API 來完成屏幕坐標的獲取，使用GetCursorPos 獲得鼠標指針位置，然后再利用ScreenToClient 轉換坐標到客戶區坐標系(以窗口視區左上角為坐標原點，單位為像素)，設該坐標為screenPt。

（2） 計算視線矢量在觀察空間的表示

在觀察坐標系中，視線方向是一條從觀察坐標原點出發的射線，所以只需要再確定一個該射線經過的點，就可以得到它在觀察坐標系中的表示。投影坐標系以近剪切面中心為坐標原點，近剪切面上一點與屏幕坐標之間的對應關系如圖3所示。

圖3 對應關系

假設圖形程序窗口的寬為 width，高為height，投影空間上的點projPt，根據比例關系，screenPt 與投影空間上的點projPt 之間的關系為 projPt.x = (screenPt.x-width/2)/(width/2) projPt.y = -(screenPt.y-height/2)/(height/2) projPt.z = 0

projPt.z 可任意取值，不影響最終結果。得到projPt 后，需要把該點坐標從投影空間轉換到觀察空間，設viewPt 為projPt 在觀察空間中的表示，根據觀察空間到投影空間的變換關系可以得到viewPt，觀察空間與投影空間的關系為

ProjPt = viewPt*ProjMatrix

式中 ProjMatrix為透視投影矩陣，通過Direct3D中的GetTransform函數可以獲得，ProjMatrix在Direct3D中的定義為

其中 Zn為近投影平面的值，w，h 是觀察坐標系的水平和垂直視角，Q 是遠投影平面與遠近投影平面之差的比值。計算得到viewPt 坐標并將projPt 帶入得到

DIRview.x=(((2*screenPt.x)/width)-1)/w

DIRview.y=-(((2*screenPt.y)/height)-1)/h

DIRview.z=1

（3） 變換視線方向到世界坐標系

設inverseViewMatrix 為觀察矩陣的逆矩陣，可以通過Direct3D 庫函數計算得到，DIRworld為世界坐標系下視線的方向，則根據世界坐標系與觀察坐標系的變換關系得 DIRworld= DIRview *inverseViewMatrix。

2.2 計算射線與三角網格交點的空間坐標

本文采用三角形重心坐標和視點到交點的距離為判斷依據來判斷視線是否與某一個具體的三角形相交，當有多個三角形與視線相交時取離視點最近的三角形為所求的三角形。設射線起點originPoint，三角形的三個頂點V1，V2，V3，重心坐標(U，V)，射線方向 Dir，射線原點到交點的距離T，交點為IntersectPoint，則根據重心坐標的性質得

IntersectPoint = V1 + U*(V2-V1) + V*(V3-V1) ;

根據視點，視線方向和視點與交點的距離得

IntersectPoint = originPoint + T*Dir；

整理得

根據T，U，V 的含義當T＞0, 0＜U＜1，0＜V＜1，0＜U+V＜1 時該交點在三角形內部，解此方程組即可獲得距離 T 進而根據 DIRworld 求得IntersectPoint。

2.3 虛實合成顯示

在已知插入點三維坐標值之后，可以通過Direct3D 來進行虛擬物體與真實物體的合成顯示。虛擬物體采用微軟的。X 格式文件，通過Direct3D 中的D3DXLoadMeshFromX 函數讀入系統，再用SetTransform 函數設置虛擬物體到指定的空間點，之后Direct3D 就能夠完成虛擬物體的顯示工作，詳細步驟可以參考 Microsoft DirectX SDK。用戶還可以對照文獻[10]完成與虛擬物體的交互操作。

3 實驗結果和分析

應用本算法構建簡單的實驗系統，并針對于戶外地形視頻錄像進行測試，測試平臺為Windows XP，CPU 主頻為1.4GHz，內存為256M，結果表明，當進行特征點識別并進行虛實合成計算后，CPU 的平均利用率約為78%，內存的占用約為50MB，系統運行負荷較小，視頻運行流暢，沒有明顯的延時和丟幀現象，能夠根據快速注冊算法進行虛實合成操作，效果如圖4 所示，其中圖(d)為圖(c)中的局部進行放大后的效果。但是，使用該算法需要注意，由于當前幀虛擬網格特征點的識別是采用的在前一幀特征點的鄰域內進行搜索，因此對于攝像機快速的平移或大角度旋轉的情況下會出現無法識別特征點的情況，另外由于戶外環境的復雜性導致的特征點誤識別，盡管可以通過交互的手段予以克服，但是會影響到系統的可操作性。

4 結 論

本文提出了戶外增強現實系統中在真實場景主要物體上增加表面3D 網格來實現虛實結合參數計算的復雜問題，著重研究和解決了虛擬三角網格與真實地形的對準以及基于單幅圖像的虛實參數計算問題，并利用Direct3D 實現了簡單的系統，經實例運行，表明該方法能夠快速的進行虛實合成參數的計算，大大地減少增強現實系統的復雜度，擴大了增強現實系統的應用范圍，是解決增強現實三維注冊技術的一個新的思路。

圖4 程序運行效果圖

[1] 柳祖國, 李世其, 李作清. 增強現實技術的研究進展及應用[J]. 系統仿真學報, 2003, 15(2)： 222-225.

[2] 朱淼良, 姚 遠, 蔣云良. 增強現實綜述[J]. 中國圖象圖形學報, 2004, 9(7)： 767-774.

[3] 陳 靖, 王涌天, 閆達遠. 增強現實系統及其應用[J]. 計算機工程與應用, 2001, 15： 72-75.

[4] 王涌天, 劉 越, 胡曉明. 戶外增強現實系統關鍵技術及其應用的研究[J]. 系統仿真學報, 2003, 15(3)： 329-333.

[5] 張廣軍. 機器視覺[M]. 北京： 科學出版社, 2005. 127-155.

[6] ARToolkit[EB/OL]. http：//www.hitl.washington.edu/ artoolkit.

[7] Feiner S, et al. A touring machine： prototyping 3D mobile augmented reality systems for exploring the urban environment [C]//Proc. 1st Int’l Symp. Wearable Computers (ISWC ‘97), Los Alamitos, Calif., IEEE CS Press, 1997： 74-81.

[8] Azuma R, et al. A motion-stabilized outdoor augmented reality system [C]//Proc. IEEE Virtual Reality, Los Alamitos, Calif, IEEE CS Press, 1999： 252-259.

[9] 劉 春, 吳杭彬. 基于平面不規則三角網的DEM數據壓縮與質量分析[J]. 中國圖象圖形學報, 2007, 12(5)： 836-840.

[10] 黃有群, 王 璐, 常 燕. 面向設計任務的增強現實交互技術[J]. 沈陽工業大學學報, 2008, 30(2)： 203-206.