采用視覺注冊的戶外增強現實技術的研究

黃有群， 李志鵬， 胡超博

（沈陽工業大學信息科學與工程學院，遼寧 沈陽 110178）

增強現實技術是隨著虛擬現實技術迅速發展和實際需要而出現的一種新技術。與虛擬現實技術所要達到的完全沉浸的效果不同，增強現實技術是在真實世界的基礎上，借助光電顯示技術、交互技術、計算機圖形技術和可視化技術產生現實環境中不存在的虛擬對象，并將其“放置”在指定的空間位置，呈現給用戶一種虛實融合的視覺效果[1]。這增強了用戶對現實世界的感知能力和與現實世界的交互能力[2]。由于在軍事、醫學、設計、展覽、娛樂等領域的良好應用前景, 增強現實技術的研究正受到越來越廣泛的重視[3]。

增強現實系統中一般都包含以下4個基本步驟[3]：① 獲取真實場景信息；② 對真實場景和相機位置信息進行分析；③ 生成虛擬景物；④虛實融合顯示。即系統首先獲得真實環境的圖像信息，然后根據不同的注冊系統獲取相機的位置信息和虛擬物體所要“放置”的位置信息，再根據相機與虛擬物體的相對位置關系進行渲染，最后通過融合顯示將虛實合成的增強圖像提供給用戶。

近年來，國內增強現實技術的研究已經取得了很大的發展。2005年武漢大學常勇等設計完成了“地下管網增強現實系統”[4]；2006年，華中科技大學熊金猛、易俊等完成了“基于增強現實的車間布局仿真系統”[5]和“海底冒險室內增強現實系統”[6]。這些系統都是基于ARToolkit開源二次開發包的[7]，都是采用ARToolkit的標記識別方法來完成注冊的。即利用有黑色正方形邊框的圖案作為標記，通過識別圖像中標記區域的變形，來計算相機相對于標記的位置和姿態，再根據它們之間的坐標變換矩陣，計算虛擬物體在現實世界中的坐標。

由于這種注冊方法完全依賴于標記， 這就使基于ARToolkit開發的系統難于擴展到戶外的應用領域。目前我國在對戶外增強現實的研究上還處于試驗階段，北京理工大學王涌天教授正著手于基于戶外增強現實的圓明園數字重建[8]；武漢大學杜清運教授正在研究基于戶外增強現實的地理信息系統[9]。他們的設計目的都是瀏覽方面的應用，其注冊方式是事先根據瀏覽和展示的需要而設計虛擬物體的位置和姿態，再通過使用GPS和電磁跟蹤設備來獲取觀察點的位置和姿態，再根據兩者的位置關系完成注冊。優點是實時注冊、沉浸感強，可以基本滿足以瀏覽為應用目標的戶外增強現實系統的需要。但是，其不足之處在于只能應用于系統已經規劃好的區域，即一個系統的應用地域范圍是相對固定的；另外其交互性不強，用戶只能按照系統的設定看到綁定在特定位置的虛擬物體，而不能根據用戶的想象來自行設定虛擬物體的位置和姿態。因此，不適用于以規劃設計為應用目標的增強現實系統。

鑒于以規劃設計為應用目標的戶外增強現實技術的需要，提出了一種基于計算機視覺的圖像級戶外增強現實技術的設計思路，并完成了一個可以通過交互手段按照用戶的需要，將虛擬景物以指定姿態“放置”到指定空間位置的圖像級戶外增強現實系統的原型，對于戶外設計規劃領域可以起到良好的輔助作用。

1 戶外注冊方法

注冊的實質是對于虛擬物體在現實世界中的插入位置的計算和對于相機在現實世界中位置的計算。基本方法可以分為基于硬件的跟蹤和基于計算機視覺的算法這兩大類。為了滿足不受特定區域限制，擁有較強交互功能的需要，采用了基于視覺的注冊方法。

1.1 標定點空間坐標的獲取

基于視覺的注冊方法基本上都應用在室內范圍。這是因為基于視覺的方法需要知道空間中一系列標定點的空間坐標，室內范圍可以設計規則的標記物并根據標記物建立世界坐標系，來得到標定點的空間坐標。而在戶外環境中無法根據上面的方法來取得標定點的空間坐標，因此限制了基于視覺的注冊方法在戶外增強現實中的應用。

針對這一問題，提出了一種輔助于激光測距的計算機視覺方法，來獲取標定點空間坐標。該方法需要在使用相機進行拍照的同時，利用激光測距儀測量標定點到拍照點的距離（由于激光測距儀使用簡單，并不會給使用者帶來操作上的問題）。標定點空間坐標的求解是在相機成像原理的基礎上展開的，如圖1所示，平面F為相機的前平面，即數碼相機的CCD感光區域，OW到OI的距離為相機焦距f，圖像上的P′點為標定點P點的像點，OW點到P點的距離OWP即為拍照點到標定點的距離，P′點相對于圖像中心OI的像素坐標為（xi,yi）。記T′點為P′點在XcOcZc平面的投影點，則xi對應的實際物理尺寸OIT′為|xi|/PixelResolutionWidth*CCDWidth;yi對應的實際 物 理 尺 寸P’T’為|yi|/PixelResolutionHeight*CCDHeight，其 中PixelResolutionWidth、PixelResolutionHeight為圖像在X、Y方向上的分辨率，CCDWidth、CCDHeight為數碼相機CCD感光區域的寬度和高度（可以通過相機說明書獲得，例如CCD為2/3英寸和1/2英寸的數碼相機的感光區域分別為 8.8mm*6.6mm 和6.4mm*4.8mm）。這樣就便得到P點的空間坐標

最后根據P′點在坐標系I中位置，確定xw、yw的符號，即滿足xw*xi>0、yw*yi>0。

圖1 標定點空間坐標求解示意圖

在取得了標定點空間坐標之后，可以根據攝像機線性模型

建立圖像坐標系與世界坐標系的關系，其中IPr,IPc為P點像素坐標，wPx,wPy,wPz為P點的空間坐標值，c11～c33為該圖像的標定矩陣。再利用計算機視覺的方法[10]就可以求得圖像中任意點的三維坐標，這樣就可以通過交互的方式指定虛擬物體所要“放置”的空間位置。

1.2 重合設置攝像機坐標系和世界坐標系

在得到虛擬物體在世界坐標系下的空間坐標之后，需要通過坐標變換將虛擬物體轉換到攝像機坐標系下。

一般情況這涉及虛擬物體坐標系、世界坐標系、攝像機坐標系之間的關系，如圖2所示。

圖2 坐標系之間的幾何關系

設虛擬物體某點在其自身坐標系下坐標為（α,β,λ），在世界坐標系下坐標為（xw,yw,zw），在攝像機坐標系下坐標為（xC,yC,zC），則

其中RW,TW為世界坐標系與物體坐標系的旋轉、平移關系，在確定虛擬物體的位置和姿態之后就是已知的；RC,TC為攝像機坐標系與世界坐標系的旋轉、平移關系，通常是通過RAC兩步法[11]求得攝像機外參數而得到，其算法涉及復雜的迭代過程。

在此設計中，將攝像機坐標系和世界坐標設置為重合（如圖1所示）。從一開始特征點坐標的求解就都是相對于攝像機坐標系的，這樣公式（3），可以化簡為

這個簡化的意義不僅在于省略了矩陣的乘法運算，更重要的是省略了攝像機外參數復雜的求解過程。

2 系統原型實現

本系統原型是在Microsoft Visual Studio 2005環境下使用C#語言編寫的一個可以應用于戶外環境的交互式增強現實系統。

由于系統要完成三維顯示和虛實融合顯示的功能，需要引入動態連接庫 Microsoft.DirectX.dll、Microsoft. DirectX. Direct3D. dll、Microsoft.DirectX.Direct3DX.dll、DirectShowLib-2005.dll來實現Direct3D和DirectShow中的功能。在三維顯示上是利用Mesh.FromFile（string filename, MeshFlags options, Device device, out ExtendedMaterial[]materials）來加載以“x”為文件擴展名的 3D 模型文件，再使用Mesh.DrawSubset（int attribute）來完成渲染。在融合顯示上，需要在顯示真實景物圖像的Filter鏈路上添加一個顯示虛擬物體的Filter，并實現IVMRImageCompositor9接口中的函數CompositeImage來完成融合顯示。

在交互上，用戶可以通過鼠標點擊來計算圖像中某點的空間坐標，并把虛擬物體“放置”在該位置上，其朝向可以在添加之后，通過鼠標托拽而設置。當用戶發現虛擬物體的位置需要調整時，可以通過鍵盤事件改變虛擬物體的空間位置，便于用戶進一步的規劃和設計。

圖3為程序運行的效果圖，其中圖3(a)為通過鼠標點擊，直接將虛擬物體“小亭”和“兩個長凳”放置在空間中的虛實合成效果；圖3(b)為通過交互手段，對那“兩個長凳”的角度對進行調整后的虛實合成效果圖。

圖3 程序運行效果圖

3 結 論

提出了一個獲取標定點空間坐標的方法，從而使基于視覺的注冊方法可以應用到以規劃設計為應用目標的戶外增強現實領域。通過圖像級系統原型的實例運行，表明本系統在戶外設計規劃領域可以起到良好的輔助作用。

[1]Azuma R T. A survey of augmented reality [J].Teleperators and Virtual Environments, 1997, 6(4):355-385.

[2]Ronald Azuma, Yohan Baillot, Reinhold Behringer, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, (11-12):34-47.

[3]朱淼良, 姚 遠, 蔣云良. 增強現實綜述[J]. 中國圖象圖形學報, 2004, 9(7): 767-774.

[4]常 勇, 何宗宜. 基于ARToolKit的地下管網增強現實系統研究[J]. 計算機工程與應用, 2005, (29):196-199.

[5]熊金猛, 陳幼平, 胡廣華, 等. 基于增強現實的車間布局仿真系統的設計與開發[J]. 機械與電子, 2007,(1): 64-67.

[6]易 俊, 李自力. 基于ARToolkit立體視覺成像增強現實系統的研究[J]. 微計算機信息, 2007, 23(10):255-257.

[7]ARToolkit [EB/OL]. http://www.hitl.washington.edu/artoolkit.

[8]王涌天, 林 倞, 劉 越, 等. 亦真亦幻的戶外增強顯示系統——圓明園的數字重建[J]. 中國科學基金,2006, (2): 76-80.

[9]杜清運, 劉 濤. 戶外增強現實地理信息系統原型設計與實現[J]. 武漢大學學報, 2007, 32(11):1046-1049.

[10]黃有群, 王 璐, 常 燕. 面向設計任務的增強現實交互技術[J]. 沈陽工業大學學報, 2008, 30(2):203-206.

[11]張廣軍, 機器視覺[M]. 北京: 科學出版社, 2005.81-84.