增強現(xiàn)實交互技術(shù)在歷史博物館中的應用

呂淘沙，湯 汶，萬韜阮，朱耀麟，武 桐，田 蓉

（1.西安工程大學 電子信息學院，陜西 西安710047；2.提賽德大學 計算機學院，英國 米德爾斯伯勒；3.布拉德福德大學 媒體與信息學院，英國 布拉德福德，BD7 1DP）

0 引 言

在20世紀60年代，Ivan Sutherland［1］就提出將計算機生成的信息直接加到真實世界中的想法.直到90年代，增強現(xiàn)實技術(shù)被波音公司的Tom Caudel提出［2-3］.增強現(xiàn)實系統(tǒng)可將計算機技術(shù)和可視化技術(shù)生成的3D虛擬物體，通過數(shù)字化處理計算后精確地疊加在真實環(huán)境中已經(jīng)標定好的位置上，最后通過顯示設備將虛實融合的場景展現(xiàn)出來，給參觀者帶來新的視覺沖擊［4］.

早期，研究人員通過向真實場景中添加人為的已經(jīng)標定好的標志物來獲取完成虛實注冊所需的攝像機位置和姿態(tài)信息.即基于標志物的注冊技術(shù)［5-9］.以美國華盛頓大學的ARToolKit，德國政府資助研發(fā)的ARVIKA以及國內(nèi)北京理工大學的彩色標志點方法［10］和華中科技大學的ARDK為代表［11］，以上方法能在一定程度上解決注冊問題，但同時也存在一些缺陷.比如，在系統(tǒng)運行的過程中人為添加且已經(jīng)標定好的標志物需要始終位于參觀者的視線范圍之內(nèi)或必須在攝像機的視角范圍內(nèi)對真實場景中已標定好的標志物持續(xù)跟蹤，如果超出參觀者視線范圍或標志物一旦被遮擋，則不能正確預估其位置，系統(tǒng)就無法正常運行.此外，在人類認知范圍內(nèi)的博物館一般是以文物為基礎，利用櫥窗、玻璃燈箱和說明牌等刻板的方式進行文物的展出.展覽方式枯燥單一，展品數(shù)量雖多，但傳達的信息量卻很少，許多展品背后所蘊藏的信息被忽視.

針對上述問題，本文采用Vuforia特征點檢測匹配方法實現(xiàn)秦兵馬俑人機交互系統(tǒng)，利用相似比算法將虛擬按鍵由二維坐標轉(zhuǎn)化到三維坐標，根據(jù)真實秦兵馬俑坐標信息制作的幻影模型導入計算機，最后通過手指觸發(fā)虛擬按鍵產(chǎn)生相應的指令.該方法也使展覽的趣味性增加，以往乏味陳舊的參展方式也逐漸變?yōu)槎喔泄俚幕臃绞剑瑢崿F(xiàn)博物館的多元化［12］.

1 基于標志物的三維注冊

在文物展示中，要達到虛擬特體與真實場景的無縫結(jié)合，并實時顯示，則系統(tǒng)需要進行精準的三維注冊［13-15］.該系統(tǒng)采用基于標識物的計算機視覺的三維注冊技術(shù)，與無標識跟蹤方法相比，有標識物的視覺跟蹤方法通過設置標識物減少對目標物體的跟蹤時間，實時性較好.

1.1 標志物的選取

為了便于識別和分析，標志物通常采用方形標識物，標志物上的圖案對應不同的虛擬內(nèi)容.Vuforia圖像識別無需特別的黑白識別碼.檢測和追蹤到圖片本身的可識別點，通過對比識別數(shù)據(jù)庫里的識別數(shù)據(jù)和攝像頭捕捉到的圖片上的識別點是否吻合來達到特征點匹配［16］.

選取AR標志物是系統(tǒng)實現(xiàn)的關鍵之一，本系統(tǒng)中Vuforia使用彩色標志物如圖1所示，且標志物滿足以下幾點：

（1）圖片上細節(jié)豐富，特征點明顯，避免柔和或圓滑的形狀.

（2）圖像對比度強烈.

（3）圖片無相似的重復圖案，選取非對稱的圖案，盡量有很多不同的角度.

（4）圖片格式必須為8bit或24bit的PNG或JPG圖片，2M以內(nèi).JPG圖片必須是RGB模式或者灰度模式（不能使用CMYK模式）.

圖1 系統(tǒng)所選用的標志物及特征點在線提取Fig.1 The marker of AR system and feature points extraction online

本系統(tǒng)選取的圖像作為辨別標志物，如圖1所示，具有實時性強，穩(wěn)定性高等優(yōu)點.將所選取的標志物上傳到在線的Target Manager創(chuàng)建設備數(shù)據(jù)庫，在線創(chuàng)建設備數(shù)據(jù)庫即對用戶上傳的圖片進行特征提取，用于之后的識別跟蹤，計算標識坐標系與相機坐標系之間的關系.

1.2 真實場景中標志物的位置獲取

Vuforia通過QCARManagerImpl類獲取圖像，并進行圖像識別，跟蹤物體，得到目標物體的位姿.主要使用到的相關的數(shù)據(jù)結(jié)構(gòu)有

（1）ImageHeaderData 圖 像 頭 結(jié) 構(gòu) 體；（2）FrameState結(jié)構(gòu)體，它包含了識別跟蹤到的數(shù)據(jù).其中有找到跟蹤目標的個數(shù)，虛擬按鍵的個數(shù)，幀的索引號，跟蹤結(jié)果數(shù)據(jù)，虛擬按鍵跟蹤結(jié)果；（3）TrackableResultData結(jié)構(gòu)體，它包含了圖像識別跟蹤的數(shù)據(jù).位姿數(shù)據(jù)，跟蹤狀態(tài)以及目標的ID號；（4）PoseData結(jié)構(gòu)體，它包含了姿態(tài).其中有位置和旋轉(zhuǎn)量.目標物體位姿的具體程度如圖2所示.

2 交互技術(shù)

交互是指兩個或兩個以上物體之間相互影響以及相互作用的過程.交互技術(shù)內(nèi)容包括人機交互，人與所處真實場景之間的交互，以及真實世界中的物體與計算機生成的虛擬物體之間的交互.與虛擬物體的交互主要體現(xiàn)在用戶對虛擬物體的控制或編輯上［17］.

2.1 增強現(xiàn)實交互系統(tǒng)模塊及工作流程

現(xiàn)實世界與虛擬信息交互比較困難，系統(tǒng)使用外形簡單，易于識別的特制工具作為虛擬按鍵，通過按鍵可以觸發(fā)一些系統(tǒng)事件，利用Vuforia進行增強現(xiàn)實系統(tǒng)的建立.系統(tǒng)通過虛擬按鍵對兵馬俑模型進行控制，用戶通過手指點擊虛擬按鍵更換不同的兵馬俑3D模型并控制它們平移旋轉(zhuǎn)等動作，如圖3所示.

2.2 虛擬按鍵坐標的計算

標志物二維坐標系原點在標志物的左上角，Y坐標為豎直方向，X坐標為水平方向.像素為（1500，1050），按鍵尺寸為（200，75）.Vuforia SDK使用右手坐標系，以標志物的中心點坐標（0，0，0）定義一個三維坐標系.坐標X向右為正，坐標Y在標志物平面向上為正，坐標Z垂直于標志物平面以中心點向上為正.表1中原始像素坐標分別為按鍵矩形框中的左上角和右下角的坐標值.

圖2 相機得到目標物體位姿的程序流程圖Fig.2 The program flowchart of getting object pose

圖3 基于標識的交互系統(tǒng)工作流程Fig.3 The flowchart of interaction system based on the markers

表1 虛擬按鍵二維坐標到三維坐標的轉(zhuǎn)化Table 1 The transform of virtural buttons′2Dcoordinate and 3Dcoordinate

以紅鍵為例，利用相似比計算出表1中二維坐標轉(zhuǎn)化成三維坐標系后的X值和Y值.即90／750=（123.5-X）／123.5，X=108.68

同理計算Y值，判斷正負，轉(zhuǎn)化后的坐標值為（-108.68，-53.52）.表1中三維坐標數(shù)據(jù)即為原始坐標系轉(zhuǎn)化成三維坐標系得出的值.

2.3 系統(tǒng)實現(xiàn)及效果展示

圖4 手指觸發(fā)Red和Blue按鍵出現(xiàn)的虛擬模型效果圖Fig.4 The result of touching the Red button and the Blue button

利用Vuforia特征點檢測匹配算法，通過計算識別并檢測出圖像中標志物的位置及其ID，并在標志物上生成相應的虛擬信息，使參觀者在使用增強現(xiàn)實文物展示系統(tǒng)時，可通過按鍵的選擇對展品進行參觀，其中包括展品的選擇，展品的運動，展品的文字信息等等.

本系統(tǒng)設置了4個按鍵，參觀者通過觸碰相應的按鍵對其進行對應的控制，如圖4所示.當參觀者按下“Red”按鍵或者“Blue”按鍵時，標志物上將顯示對應的跪俑和站立俑模型，參觀者按下“Yellow”按鍵時，可控制跪俑旋轉(zhuǎn)，而參觀者按下“Green”按鍵時，可控制站立俑平移，如圖5所示.系統(tǒng)解決以往使用的未改進的ARToolKit在遮擋標志物的一部分信息時出現(xiàn)的虛擬物體消失的問題.即使參觀者的視野不全部在標志物范圍內(nèi)，仍能顯示虛擬物體，更接近人眼觀察，而未經(jīng)改進的ARToolKit達不到該效果.該優(yōu)點能很好地適用于博物館當中.此外系統(tǒng)的實時性較好，在運行過程中，虛擬物體的產(chǎn)生未出現(xiàn)延遲現(xiàn)象.

圖5 觸發(fā)Yellow及Green按鍵出現(xiàn)的虛擬模型效果圖Fig.5 The result of touching the Yellow and Green button

3 結(jié)束語

本文利用Vuforia特征點檢測匹配的方法實現(xiàn)虛擬世界和真實世界的虛擬按鍵交互系統(tǒng)，分析了標志物的選取原則，采用彩色標志物，增強圖片對比度，或者選擇一些看起來更銳利的圖片更有利于被識別.避免圖片內(nèi)容形狀簡單，過多圓形內(nèi)容以及模糊、壓縮過度的圖片和重復圖案.介紹了虛擬按鍵的設置以及利用相似比算法實現(xiàn)虛擬按鍵二維坐標到三維坐標的轉(zhuǎn)化.系統(tǒng)設置4種不同顏色的按鍵，分別控制文物的呈現(xiàn)與運動.參觀者手指控制能正確地反映到交互過程中.無須標志物完全顯示在攝像機視野范圍之內(nèi)，參觀者同樣可以看到虛擬文物，更加接近人眼觀察效果，帶給參觀者更逼真的沉浸感.在博物館大場景范圍中進行文物展示，攝像頭識別標志物之間的距離還可以進一步增加，使之更遠.

通過該增強現(xiàn)實虛擬按鍵交互系統(tǒng)的效果展示，反映出在博物館中增強現(xiàn)實技術(shù)有其獨特的應用價值和應用前景，對增強現(xiàn)實技術(shù)的發(fā)展和應用提供參考價值.增強現(xiàn)實技術(shù)在近幾年的發(fā)展很快，逐漸深入人們的生活中，該技術(shù)在文化遺產(chǎn)保護方面的應用也將成為趨勢.

［1］ SUTHERL I.The ultimate display［J］.Proceedings of IFIP，1965，65（2）：506-509.

［2］ CAUDEL Tom.AR at boeing［EB／OL］.http：／／www.ipo.tue.nl／hom.epages／mrauterb／presentations／HCI-history／tsld096.html，1990／2014.

［3］ Boeing Inc Augmented Reality［EB／OL］.http：／／www.boeing，com／denfense-space／aerospace／training／instruct／augmented.html，1990／2014.

［4］ 石剛，田洪波.基于增強現(xiàn)實的戶外導航系統(tǒng)的設計與實現(xiàn)［J］.蘇州大學學報，2010，26（3）：44-47.SHI Gang，TIAN Hongbo.Design and implementation of outdoor navigation system based on augmented reality［J］.Journal of Suzhou University，2010，26（3）：44-47.

［5］ KOLLER D，KLINKER G，ROSE E.Real-time vision-based camera tracking for augmented reality applications［C］.In Proceedings of ACM Virtual Reality Software And Technology Conference，1997：87-94.

［6］ 陳爍.增強現(xiàn)實中實時跟蹤技術(shù)的研究［D］.沈陽：沈陽工業(yè)大學，2014：30-40.CHEN Shuo.Research of real-time tracking in augmented reality［D］.Shenyang：Shenyang University of Industry，2014：30-40.

［7］ 范利君.增強現(xiàn)實系統(tǒng)中注冊方法的研究與實現(xiàn)［D］.武漢：中南民族大學，2013：13-22.FAN Lijun.Research and realization of registration method for augmented reality system［D］.Wuhan：South-Center U-niversity for Nationalities，2013：30-40.

［8］ 彭濤，李世其，王峻峰，等.基于增強人機交互技術(shù)的虛擬裝配［J］.計算機輔助設計與圖形學學報，2009，21（3）：354-361；368.PENG Tao，LI Shiqi，WANG Junfeng，et al.Virtual assembly based on augmented human-computer interaction technology［J］.Journal of Computer-Aided Design &Computer Graphics，2009，21（3）：354-361；368.

［9］ HAND C.A survey of 3Dinteraction techniques［J］.Computer Graphics Forum，1997（5）：269-281.

［10］ 李玉，王涌天，劉越.基于彩色標志點的增強現(xiàn)實注冊算法研究［J］.系統(tǒng)仿真學報，2008（3）：654-656；661.LI Yu，WANG Yongtian，LIU Yue.Study of color fiducial based registration algorithm for augmented reality［J］.Journal of System Simulation，2008（3）：654-656；661.

［11］ 管濤，李利軍，王乘.增強現(xiàn)實開發(fā)工具ARDK的研究與應用［J］.計算機工程與應用，2006，19：84-86；89.GUAN Tao，LI Lijun，WANG Cheng.Research and application of augmented reality development kit［J］.Computer Engineering and Applications，2006，19：84-86；89.

［12］ 李文霞，司占軍，顧翀.增強現(xiàn)實技術(shù)在博物館中的應用研究［J］.電腦知識與技術(shù)，2014（1）：160-162；184.LI Wenxia，SI Zhanjun，GU Chong.Study on application of augmented reality technology in museum［J］.Computer Knowledge and Technology，2014（1）：160-162；184.

［13］ 王涌天，劉越，胡曉明.戶外增強顯示系統(tǒng)關鍵技術(shù)及其應用的研究［J］.系統(tǒng)仿真學報，2003，15（3）：329-333.WANG Yongtian，LIU Yue，HU Xiaoming.Study on key technique and application of outdoor AR system［J］.Journal of system Simulation，2003，15（3）：329-333.

［14］ 王涌天，林倞，劉越，等.亦真亦幻的戶外增強現(xiàn)實系統(tǒng)——圓明園的數(shù)字重建［J］.中國科學基金，2006，20（2）：77-78.WANG Yongtian，LIN Jing，LIU Yue，et al.Outdoor augmented reality system-digital reconstruction of the old summer place［J］.Science Foundation of China，2006，20（2）：77-78.

［15］ YUAN M L，ONG S K，NEE A Y.Registration using natural features for augmented realility systems［J］.Visulization and Computer Graphics，IEEE，on，2006，12（4）：569-580.

［16］ 劉嘉敏，陳爍，段勇，等.基于多色彩標識的跟蹤及交互方法［J］.系統(tǒng)仿真學報，2014，12：2928-2933；2938.LIU Jiamin，CHEN Shuo，DUAN Yong，et al.Method for tracking and interaction based on multiple color makers［J］.Journal of system Simulation，2014，12：2928-2933；2938.

［17］ 紀連恩，張鳳軍，付永剛，等.虛擬環(huán)境下基于語義的三維交互技術(shù)［J］.軟件學報，2006，17（7）：1535-1543.JI Lianen，ZHANG Fengjun，F(xiàn)U Yonggang，et al.3Dinteraction techniques based on semantics in virtual environments［J］.Journal of Software，2006，17（7）：1535-1543.