基于增強現實的頭部跟蹤系統的設計與實現

摘要：該文以提出一種對設備要求較低、較易實現、更符合“以人為中心”理念的交互方式為出發點，以普通攝像頭作為輸入設備，基于計算機視覺技術，設計了簡單的頭部跟蹤系統。實現上以增強現實技術為核心，結合了ARToolKit和Coin3D兩個開源庫的優點，大大降低了開發成本。實驗中本系統在Vega構建的視景仿真環境中得到了良好的應用，具有很強的可擴展性，操作簡單直觀，提高了整個系統的易用性，使用戶獲得了更好的沉浸感。

關鍵詞：增強現實；虛擬現實；頭部跟蹤；人機交互

中圖分類號：TP391文獻標識碼：A文章編號：1009-3044(2011)04-0852-04

Design and Implementation of Head Tracking System Based on Augmented Reality

WANG Jing， LI Guang-yao

(College of Electronics and Information Engineering， Tongji University， Shanghai 201804， China)

Abstract: To achieve a lower requirement for hardware equipments and more user-centered interactive method， this paper designs a simple head tracking system based on computer vision technology and using ordinary camera as input device. The core of the system is implemented with augmented reality technology. By combining the advantages of ARToolKit and Coin3D two open source libraries， the development cost is greatly reduced. Experimental results demonstrate that the system has a good result in the visual simulation environment built by Vega and has strong scalability. The simple and intuitive interactive operation improves the usability of the whole system and provides users a better sense of immersion.

Key words: augmented reality; virtual reality; head tracking; human-computer interaction

隨著科學技術越來越多地融入人們的生活，計算機開始被公認為是醫療、教育、能源和環境等重大社會問題解決方案的重要組成部分。而更自然、便捷的人機交互作為推動這一進程的核心之一，成為計算機科學和信息產業的重要研究領域。

尤其在科學計算可視化和三維CAD系統中，當前占統治地位的圖形用戶人機界面（WIMP/GUI）正遭受不斷的批評，加上多媒體計算機和虛擬現實系統對人與計算機通信的方式和要求的改變，使人機交互發生了很大的變化，催生了一些新的交互技術，如視線追蹤、語音識別、感覺反饋等，但這些技術也存在一定局限，尚不成熟和普及。

目前，作為計算機圖形學與交互技術領域的一個熱點，增強現實（Augmented Reality，簡寫為AR）技術得到了越來越廣泛的應用。增強現實技術是將真實場景同虛擬物體加以融合的一種手段，特點是虛實空間的一致性結合以及實時交互，具體包括3D物體的注冊技術、顯示技術、跟蹤和定位技術等[1]。與傳統虛擬現實技術所追求的完全沉浸效果不同，增強現實系統強調真實物體和虛擬物體的互相補充，加強人們對現實世界的感知與交互能力。增強現實技術在工業設計、機械制造、建筑、教育和娛樂等領域都有著廣泛的應用前景，而且它不僅提供了一種更容易實現的虛擬現實的方法，更代表了下一代更易使用的人機界面的發展趨勢[2]。

本文以提出一種對設備要求較低、較易實現、更符合“以人為中心”理念的交互方式為出發點，基于增強現實技術，設計實現簡單的頭部跟蹤功能，為用戶提供更自然、趣味性的虛擬現實體驗。

1 AR人機交互技術

AR系統本身就是一種人機界面，不同于傳統的WIMP界面，是一種典型的Non-WIMP界面。Non-WIMP界面對話的核心是一系列暫時的連續關系，交互方式上有虛擬鍵盤和鼠標、無觸摸控制屏（touchless screen）等。

AR中虛實物體交互的基本方式有兩類：視覺交互與物理交互。視覺交互包括虛實物體相互間的陰影、遮擋、各類反射、折射和顏色滲透等。物理交互包括虛實物體間運動學上的約束、碰撞檢測和受外力影響產生的物理響應等[3]。其中的物理交互常通過分析視頻獲取設備的圖像信息，識別特定的模式并轉換為動作指令，執行相應的計算并在虛擬場景中給出反饋。在基于計算機視覺的交互操作中，現今最自然直接的莫過于全身體感識別，如微軟的游戲配件Kinect主要靠3D深度感應器偵測玩家的動作，轉換到骨架追蹤系統，對人體的48個部位進行實時追蹤，達成全身體感操作。但全身體感技術實現難度較大，且對活動空間要求較高，實際應用中更常見、可用性更強的方法還是手勢識別。但人手仍然是復雜變形體，手勢本身的多樣性和多義性也常造成誤操作，影響交互質量。相較以上兩種方法，標識物識別雖然需要借助符合一定規則的外物，但較高的識別率和多個標識物的靈活組合可以為系統提供高可靠性和豐富的功能，是現下技術比較成熟、應用比較廣泛的方式。

因此目前一般增強現實系統中應用最多的還是基于人工標識物的識別技術。通過在場景中布置簡單的人工標識，系統對標識物的個數、類型及空間位置等信息進行分析，實時捕獲標志物被移動和遮擋的狀態變化，并結合碰撞檢測等功能來實現交互操作。

2 系統設計介紹

2.1 基本功能設計

以傳統的WIMP界面控制的仿真系統中，通常需要結合使用鼠標和鍵盤來在虛擬場景中移動視點和拾取物體，但現有的二維鼠標無法同時控制被操作對象在三維空間中的平移和旋轉，無法提供直接的深度信息就不能滿足虛擬環境中對于精確定位的需求，執行拾取等操作時也缺乏真實的接觸感。

針對虛擬現實系統中人機交互的主要特點，常需要以用戶自身做觀察的起點，改變觀察點的方式也應更符合自然方式。故本系統在三維虛擬仿真環境中，基于計算機視覺技術，實現簡單的頭部跟蹤功能來改善交互操作。

借助固定在鏡架上的特殊標記（圖1），保持標記始終處在與視線垂直的位置，用戶可通過頭部的運動實時地改變場景中的視角，以自然的方式來觀察虛擬環境。

此種頭部跟蹤方法實現比較簡單，適合用于第一人稱視角的虛擬現實系統等，解放了控制視角的手指。

除了控制視點外，頭部跟蹤功能可將視覺系統與運動感知、碰撞檢測等系統聯系起來，使整個環境具有多維的人機交互特性。且通過攝像頭等簡單普及的外設，改變傳統鍵盤鼠標的操作模式，增強用戶的投入感、沉浸感。

2.2 開發工具介紹

ARToolKit是一套開源的基于C語言的增強現實開發庫，由Hirokazu博士開發，受到華盛頓大學人機界面實驗室和新西蘭坎特伯雷大學人機界面實驗室的支持，通過這套開發庫可以較容易地編寫增強現實應用程序。ARToolKit使用計算機視覺技術計算攝像機和標識物之間的相對位置，提供快速和準確的三維注冊功能。

Coin3D是由SIM公司開發的開放源碼的OpenInventor開發包。OpenInventor是一個3D程序的開發平臺，它提供一系列在OpenGL函數庫上層開發的3D開發庫及可擴充的對象庫，簡化了圖形編程，同時又保留了OpenGL同有的強大3D處理能力[4]。

Vega是MultiGen-Paradigm公司最主要的工業軟件環境，用于實時視覺模擬、虛擬現實和普通視覺應用。Vega將先進的模擬功能和易用工具相結合，對于復雜的應用，能夠提供便捷的創建、編輯和驅動工具，大幅度減少源代碼開發時間。并且支持多種數據調入，允許多種不同數據格式綜合顯示。

本系統的整體虛擬環境由Vega來構建，讀入OpenFlight格式的虛擬場景，支持基本的鼠標鍵盤操作，并負責視頻的融合以及其他一些基本的圖像處理。ARToolKit主要負責攝像頭圖像的采集和三維注冊，確定標志物在真實環境中的位置與姿態。Coin3D則負責控制視點的平移旋轉，生成虛擬物體并實時地疊加至場景中，同時提供碰撞檢測等物理交互功能。

2.3 系統結構設計

本系統主要由人機交互、視頻采集、三維注冊、場景管理、虛擬物體生成、虛實融合、顯示輸出等模塊組成（圖2）。

其中，人機交互模塊基于人工打印標識物實現，用戶通過平移、旋轉、遮擋標識物來發出操作指令。視頻采集模塊循環進行真實場景的視頻采集，通過圖像處理方法從中檢測出標識物，并對標識物是否被遮擋等狀態信息及空間位置信息等進行實時捕獲。三維注冊模塊將檢測出的標識物的位置和姿態信息傳入場景管理模塊，建立現實環境與虛擬場景的空間對應關系。場景管理模塊除了調入外部場景模型文件外，還負責將標識物的位姿信息轉換為頭部跟蹤所需的信息格式，并生成具體的操作指令控制虛擬物體，在大型系統中還負責與碰撞檢測等模塊溝通。虛擬物體生成模塊根據用戶指令在虛擬場景中生成三維虛擬物體，然后通過虛實融合模塊將虛擬物體和信息疊加到真實環境上，最后顯示輸出。

3 系統實現

3.1 攝像機標定與三維注冊

開發增強現實應用最關鍵的部分在于實時地將虛擬圖像覆蓋到用戶視口，并且和真實世界中的對象精確對齊。本系統中設計的頭部跟蹤交互方式用普通的攝像頭作為輸入設備，對特定標識物進行識別，跟蹤其在三維空間中的位置并傳入計算機，當標識物的位置和姿態發生變化時，系統給出實時的反饋。而在此過程中，世界坐標系、攝像機坐標系和圖像坐標系之間的轉換關系是真實世界與虛擬世界間結合的關鍵，本系統中各個坐標系之間的關系如圖3所示。

圖3中坐標系Ow-XwYwZw為世界坐標系。世界坐標系是描述其它坐標系所需要的參考框架，只能用世界坐標系描述其他坐標系的位置。包括攝像機、標識物在內的所有物體均以世界坐標系為基準有自身的位置描述。坐標系Oc-XcYcZc為攝像機坐標系。攝影機坐標系的原點為攝像機光心Oc，Xc軸、Yc軸與圖像的X軸、Y軸平行，Zc軸為攝像機光軸，垂直于圖像平面。光軸與圖像平面的交點即為成像坐標系的原點O1，成像坐標系O1-XY描述的是攝像頭坐標系下的坐標在平面上的投影，常以物理單位表示。而最終在數字圖像上的圖像點常以像素為單位，每個像素的坐標(u，v)基于圖像坐標系O-UV描述，圖像坐標系是定義在二維圖像上的直角坐標系，坐標原點一般定義在圖像的左上角。

圖3中P(Xw，Yw，Zw)與P(Xc，Yc，Zc)為同一點P分別在世界坐標系和攝像機坐標系中的不同坐標。P(Xc，Yc，Zc)可由P(Xw，Yw，Zw)經平移旋轉得到，其關系如式(1)所示：

(1)

旋轉平移矩陣[R|t]描述了世界坐標系和攝像頭坐標系之間的轉換關系。其中R是一個3x3的矩陣，表示旋轉部分；t是一個三維向量，表示平移部分。

三種坐標系之間的轉換關系就是，世界坐標系下的點通過旋轉平移轉換到攝像頭坐標系下，再經過透視投影，轉換到中間過渡坐標系-成像坐標系下，接著通過平移轉換到圖像坐標系下，這樣就完成了世界坐標系經過攝像頭坐標系到圖像坐標系的轉換[5]。

在計算機視覺中，攝像機模型解決的是三維場景中的點與圖像平面上的點的對應問題。本系統中采用最基本的針孔攝像機模型，在該模型下，世界坐標到圖像坐標的轉換關系以矩陣形式可表示為式(2)：空間任意一點P(X，Y，Z)與其在計算機屏幕上的對應點C(u，v)之間存在如下的變換關系：

(2)

式中(Xw，Yw，Zw)是一個點的世界坐標，(u，v)是點投影在圖像平面的坐標，以像素為單位。(cx，cy)和(u0，v0)是基準點(通常在圖像的中心)的不同表示。(cx，cy)以距離為單位，而(u0，v0)以像素為單位。矩陣稱作攝像頭的內部參數，通過對攝像機進行標定求出。不同的攝像機，內參也不同。且同一攝像機的內參矩陣也不依賴場景的視圖，一旦被計算出來，就可以重復使用(只要焦距固定)。旋轉平移矩陣 稱作攝像頭的外參矩陣，用來描述攝像機相對于一個固定場景的運動，或者是物體用繞攝像機的剛性運動[6]。[R|t]將點(X，Y，Z)的坐標變換到某個坐標系上，每當該坐標系的位置相對于攝像機坐標系發生變化，則[R|t]的值也將隨之改變。

3.2 頭部跟蹤與視點移動

一般增強現實系統識別出標識物后，就是對其進行位姿估計，建立真實世界與虛擬場景中的坐標對應關系，坐標系之間的旋轉平移矩陣用來移動虛擬物體使之處在正確的位置上。而本系統中則將標識物的位姿信息用于虛擬場景視點的控制，通過固定于前額的小型標識物，將標識物坐標系與用戶視點綁定。攝像頭對用戶平移或轉身時頭部標識物的運動進行實時跟蹤，以此改變虛擬場景中觀察者的空間位置和相關參數。

在OpenInventor構建的虛擬環境中，通常將攝像機設置在靠近場景最頂端的位置上。一個場景在同一時刻只能有一個激活的Camera節點，所有Camera節點類都是從抽象基類SoCamera派生出來的。SoCamera的子類SoPerspectiveCamera類可以模擬人眼的透視投影。視點的變化涉及SoCamera的兩個域：position(SoSFVec3f)用于定位Camera的視點位置，當前的幾何變換可以修改這個位置；orientation(SoSFRotation)為Camera的觀察方向，用來描述Camera是如何相對于缺省方向進行旋轉的。缺省情況下，Camera的觀察方向是從(0.0，0.0，1.0)的位置指向坐標系原點，上方向是(0.0，1.0，0.0)，這個域連同幾何變換可以指定Camera在世界坐標系下的觀察方向。OpenInventor可以使用pointAt(const SbVec3f targetPoint)方法修改orientation域值，將Camera方向指向一個特定的目標點。

現實環境中標識物的坐標系放置在其中心，ARToolKit通過arGetTransMat函數可以計算出標志物坐標系相對于攝像機坐標系的旋轉平移矩陣，該矩陣一旦確定，標志物在攝像機坐標系下的位置也就確定了，將這個關系矩陣中的位置元素進行轉換，就可以變成角度和位移量去控制視點的變化。

4 實驗結果與改進方向

將本文中提出的頭部跟蹤模塊應用于本實驗室現有的電力系統維修檢測仿真系統中，視頻采集設備上采用通過USB接口與普通桌面PC相連的CMOS攝像頭，分辨率為30萬像素，刷新率為15幀每秒。

在如圖4的仿真系統中，用戶以正常速度旋轉平移頭部，分別以仰視、俯視、左視、右視的視角觀察虛擬環境時的實驗結果如圖5中所示。

實驗結果表明：在合適的光線環境下，文中系統反應速度快，能準確地識別標識物并跟蹤其旋轉平移運動，從而改變虛擬環境中的觀察者位置與視角，基本可達到實時交互的目的。

不過ARToolKit系統需要程序員自己設定閾值，在不同環境光之下，為取得最佳表現，閾值的設定不惟一（比如強光之下，灰度閾值應設得更低；弱光條件下，灰度閾值相應提高）。因此，ARToolKit系統在環境光改變的情況下適應能力不強[7]。

此外，由于人眼視線未必即與頭部朝向等同，所以本文中提出的頭部跟蹤不太適用于對視線跟蹤有高精度要求的系統中，需要一定的校準算法來實現更精確的定位。

在頭部跟蹤的實現基礎上，軟件上可結合立體顯示、識別定位等技術，硬件上可結合頭盔顯示器、多方位電子墻等外設，進一步增加虛擬現實系統的真實感與沉浸感。

5 總結

本系統結合了ARToolKit和Coin3D兩個開源庫的優點，使得原本復雜的增強現實系統開發成本大大降低。并將增強現實技術用于簡單的頭部跟蹤的實現，在Vega構建的視景仿真系統中得到了良好的應用，實際使用中對用戶基本無干擾。本系統有很強的可擴展性，操作簡單直觀，使得用戶在簡單的視景仿真漫游系統中獲得了良好的沉浸感，整個系統的易用性也有了很大的提高。

參考文獻：

[1] 全紅艷，王長波，林俊雋.基于視覺的增強現實技術研究綜述[J].機器人，2008，30(4):379.

[2] 朱淼良，姚遠，蔣云良.增強現實綜述[J].中國圖象圖形學報，2004，9(7):767-768.

[3] 沈克，蔣建國，彭太樂.基于增強現實的人機物理交互仿真系統研究[J].計算機仿真，2008，25(4):210.

[4] 閻鋒欣，侯增選，張定華，等.OpenInventor程序設計從入門到精通[M].北京:清華大學出版社，2007:25-27.

[5] 肖杰.基于攝像頭的交互方式的研究及應用[D].西安:長安大學，2010.

[6] 劉國翌，李平.平板圖案的跟蹤及其在增強現實中的應用[J].計算機應用，2005，25(7):1605-1607.

[7] 王維廉，王北星，黃嵐.兩種基于標識的增強現實注冊方法的比較[J].東北師大學報:自然科學版，2007，39(3):34.