移動增強現(xiàn)實技術(shù)在互動展示中的應(yīng)用研究

宋燕燕，曹效業(yè)，周 靈

(中國傳媒大學(xué)南廣學(xué)院，江蘇南京 211172)

移動增強現(xiàn)實技術(shù)在互動展示中的應(yīng)用研究

宋燕燕，曹效業(yè)，周 靈

(中國傳媒大學(xué)南廣學(xué)院，江蘇南京 211172)

隨著智能手機(jī)等移動設(shè)備及相關(guān)技術(shù)的飛速發(fā)展，增強現(xiàn)實技術(shù)在移動平臺得到了廣泛應(yīng)用。智能手機(jī)等移動設(shè)備體積小、重量輕、可隨身攜帶，為增強現(xiàn)實技術(shù)的發(fā)展奠定了基礎(chǔ)，將虛擬的信息融入現(xiàn)實世界，使用戶可以在移動終端感知到計算機(jī)生成的虛擬模型。研究增強現(xiàn)實技術(shù)在互動展示中的一些應(yīng)用，設(shè)計基于移動增強現(xiàn)實技術(shù)的產(chǎn)品互動展示系統(tǒng)。在分析增強現(xiàn)實關(guān)鍵技術(shù)的基礎(chǔ)上，闡述系統(tǒng)工作流程設(shè)計和功能設(shè)計，對基于設(shè)計的技術(shù)方案進(jìn)行實例研究，實現(xiàn)跟蹤定位、交互展示等功能。選擇Android平臺移動終端進(jìn)行發(fā)布，增強現(xiàn)實系統(tǒng)程序最終以互動3D展示的形式呈現(xiàn)。最終利用移動平臺構(gòu)建了能實時采集現(xiàn)場真實信息并與虛擬圖像進(jìn)行融合的完整體系。增強現(xiàn)實技術(shù)以各種形式應(yīng)用于互動展示中，降低了展示成本，增加了展示的趣味性。

增強現(xiàn)實;互動展示;移動平臺;跟蹤定位

0 引言

增強現(xiàn)實(Augmented Reality，AR)也稱為混合現(xiàn)實，是指利用計算機(jī)技術(shù)，將虛擬物體實時地疊加到一個真實畫面或空間，形成具有實時交互的三維圖像畫面，給用戶帶來更真實的體驗與感受［1-2］。增強現(xiàn)實由于其在真實環(huán)境和虛擬環(huán)境中起到了一個連續(xù)體的作用，其相關(guān)的應(yīng)用提供了一個新的人機(jī)交互方式。在世界范圍內(nèi)，增強現(xiàn)實技術(shù)受到了越來越多研究者的關(guān)注，國內(nèi)也有學(xué)者開始將這項技術(shù)應(yīng)用到各種展示過程中［3-4］。增強現(xiàn)實技術(shù)擴(kuò)展了產(chǎn)品展示方法，通過計算機(jī)立體化、生動化、全方位地呈現(xiàn)，從而營造更具真實感的交互情境，構(gòu)建更有效的展示環(huán)境，同時可以降低產(chǎn)品展示成本，增強產(chǎn)品展示效果。

隨著計算機(jī)軟硬件技術(shù)的迅猛發(fā)展，移動終端設(shè)備功能的集成化為開發(fā)移動增強現(xiàn)實系統(tǒng)奠定了基礎(chǔ)，利用移動平臺實時采集現(xiàn)場真實信息并與虛擬圖像進(jìn)行融合，使得產(chǎn)品三維動態(tài)展示更加友好和智能。

基于以上所述，文中設(shè)計了基于移動增強現(xiàn)實技術(shù)的產(chǎn)品展示系統(tǒng)，通過虛擬圖形渲染、實景采集跟蹤定位、圖形注冊、顯示等技術(shù)實現(xiàn)了產(chǎn)品的實時三維虛擬展示。該研究對增強現(xiàn)實技術(shù)在產(chǎn)品展示領(lǐng)域中的應(yīng)用具有實際參考價值。

1 增強現(xiàn)實關(guān)鍵技術(shù)

增強現(xiàn)實技術(shù)以虛擬現(xiàn)實技術(shù)為基礎(chǔ)，但兩者有所區(qū)別。虛擬現(xiàn)實是指完全由計算機(jī)對現(xiàn)實世界進(jìn)行模擬，形成虛擬空間，用戶通過自然交互設(shè)備獲得具有沉浸感的體驗;而增強現(xiàn)實則是強調(diào)計算機(jī)生成的信息與實景相融合，計算機(jī)生成的信息可以極大地擴(kuò)充真實場景的信息量，從而給人們的生產(chǎn)生活帶來便利［5］。

實現(xiàn)增強現(xiàn)實功能的完整框架一般有四個部分(見圖1)，分別是:虛擬圖形渲染模塊、實景采集跟蹤模塊、計算機(jī)圖形注冊模塊和顯示模塊。

產(chǎn)品互動展示涉及的關(guān)鍵技術(shù)有:跟蹤及定位、圖形注冊、顯示等。

1.1 跟蹤及定位

增強現(xiàn)實技術(shù)應(yīng)用于產(chǎn)品展示的技術(shù)優(yōu)勢之一在于實時交互性。為了實現(xiàn)良好的交互，系統(tǒng)需要進(jìn)行定位，以確定使用者的觀察點和計算機(jī)生成的虛擬對象在三維空間中的準(zhǔn)確位置［6］。

1.2 圖形注冊

開發(fā)者需要借助增強現(xiàn)實的跟蹤作用，實時檢測觀察者的位置、視角，從而重建坐標(biāo)系。目前主流的基于計算機(jī)視覺的圖形注冊方法主要有兩種:一是基于平面標(biāo)識的，二是基于立體標(biāo)識的［7-8］。其中，基于平面標(biāo)識物的注冊系統(tǒng)，是將特殊標(biāo)識添加到背景環(huán)境中，利用計算機(jī)視覺技術(shù)進(jìn)行識別，并找到標(biāo)識與攝像機(jī)、屏幕的位置關(guān)系，從而準(zhǔn)確地進(jìn)行三維定位。該方法雖然簡單、計算速度快，但存在識別死角。此次開發(fā)采用基于立體標(biāo)識的方法，其中涉及到攝像機(jī)坐標(biāo)系、標(biāo)識物坐標(biāo)系、屏幕坐標(biāo)系的空間轉(zhuǎn)換等。

1.3 顯 示

互動展示系統(tǒng)的開發(fā)需針對人類視覺進(jìn)行設(shè)計，以圖形圖像為主要輸出媒介。增強現(xiàn)實系統(tǒng)所采用的顯示技術(shù)主要可以通過透視式頭盔顯示器、手持式顯示器、普通顯示器等來實現(xiàn)［9］。此次開發(fā)將通過移動終端攝像頭采集的真實環(huán)境影像與計算機(jī)生成的虛擬場景影像進(jìn)行合成，然后在移動終端顯示器上進(jìn)行輸出，并進(jìn)行實時交互。

2 系統(tǒng)總體設(shè)計

該項目開發(fā)基于Windows平臺，主要是考慮到目前Windows系統(tǒng)的普及性，并能夠為學(xué)習(xí)者提供友好的、更具趣味性的程序享受。選擇Android平臺移動終端為系統(tǒng)發(fā)布平臺，增強現(xiàn)實系統(tǒng)程序最終以互動3D展示的形式呈現(xiàn)。通過增強現(xiàn)實的圖像識別技術(shù)在移動終端同時顯示攝像頭拍攝的真實影像和通過計算機(jī)生成的虛擬三維影像，并提供實時交互，使欣賞者從被動接收信息變成主動獲取信息［10-11］。

1) 該項目使用的黑水角閥在開車3個月后即出現(xiàn)閥體被穿孔現(xiàn)象，由于氣化爐及洗滌塔底部排出的黑水中含有大量固體顆粒，裝置運行中，固體質(zhì)量分?jǐn)?shù)較高的黑水在高速流動中對黑水角閥閥芯閥座形成沖刷腐蝕造成破壞。通過初步分析，黑水流動狀態(tài)為阻塞流，由于閥后壓力遠(yuǎn)小于閥前的飽和蒸汽壓，閥后存在嚴(yán)重氣蝕現(xiàn)象。介質(zhì)在閥腔拐點和出口縮徑處流速極高，黑水中的硬質(zhì)懸浮固體顆粒對閥腔造成嚴(yán)重的沖蝕破壞。出口法蘭與管道筒體連接處內(nèi)壁厚度不均勻，而該結(jié)構(gòu)在鑄造時很容易引起厚度突變，容易產(chǎn)生砂眼和裂紋等缺陷，在該惡劣的工況下，閥體容易出現(xiàn)穿孔。

2.1 流程設(shè)計

系統(tǒng)總體設(shè)計遵循科學(xué)研究的一般步驟，在需求分析階段進(jìn)行系統(tǒng)的功能需求分析和可行性分析，在概要設(shè)計階段明確軟件的總體目標(biāo)，軟件的體系結(jié)構(gòu)，功能模塊的設(shè)計以及界面的概要設(shè)計。在詳細(xì)設(shè)計階段進(jìn)行系統(tǒng)的實現(xiàn)，完成程序的主體，包括環(huán)境配置、數(shù)據(jù)準(zhǔn)備、界面實現(xiàn)和功能實現(xiàn)等，并通過驗證與測試來完善程序。設(shè)計流程圖如圖2所示。

2.2 功能設(shè)計

該系統(tǒng)針對產(chǎn)品進(jìn)行交互展示。主要組成部分的功能包括:產(chǎn)品進(jìn)入歡迎場景(GUI應(yīng)用)，根據(jù)需要進(jìn)入識別場景或者其他場景，實現(xiàn)等候音樂的播放，實現(xiàn)基本的識別追蹤功能，實現(xiàn)模型的放大、縮小、旋轉(zhuǎn)，實現(xiàn)點擊出現(xiàn)產(chǎn)品簡介，實現(xiàn)截圖功能，實現(xiàn)多媒體的播放功能，等等。

2.3 界面設(shè)計

該系統(tǒng)可以實現(xiàn)界面上的跳轉(zhuǎn)，打開應(yīng)用后會進(jìn)入載入界面，提示有關(guān)應(yīng)用使用信息，并等待場景選擇界面的加載。場景選擇界面里，用戶可以選擇進(jìn)入增強現(xiàn)實識別界面或者簡介界面。增強現(xiàn)實識別界面和簡介界面有相應(yīng)的返回功能。界面關(guān)系如圖3所示。

3 系統(tǒng)開發(fā)實踐

基于增強現(xiàn)實技術(shù)的產(chǎn)品互動展示系統(tǒng)的開發(fā)過程為:首先進(jìn)行跟蹤定位，制作立體圖形，識別圖形，將圖形注冊為標(biāo)識等;其次進(jìn)行視音頻資源開發(fā)整合，包括建立三維模型，綁定識別物與模型，制作GUI界面等;最后，設(shè)置交互，實現(xiàn)虛擬信息與真實景象的匹配與結(jié)合，并在Android移動平臺上完成發(fā)布［12-13］。

3.1 跟蹤定位

3.2 資源整合

在三維建模工具中建立需要用到的模型，由于移動終端處理大型程序能力的限制，注意要對模型進(jìn)行優(yōu)化，比如減少模型面數(shù)和貼圖文件大小，從而減少模型文件大小［14］。模型導(dǎo)出為FBX格式的文件，將模型放入場景中，調(diào)整位置使其放在ImageTarget預(yù)制物的上面，要保證模型大小比ImageTarget小。由于需要放多個識別的預(yù)制物，所以每一個預(yù)制物體的名字需要區(qū)分。

所有音頻和視頻素材在其他編輯軟件中進(jìn)行剪輯，如在Premiere中完成視頻素材的剪輯，在Audition中完成音頻素材的剪輯，并完成相應(yīng)格式的轉(zhuǎn)換。

該系統(tǒng)中的GUI界面包括載入頁面、場景跳轉(zhuǎn)頁面和識別頁面等。主要通過OnGUI函數(shù)來實現(xiàn)界面的布局，設(shè)置圖像材質(zhì)，繪制按鈕等。

3.3 設(shè)置交互

在增強現(xiàn)實編輯環(huán)境中導(dǎo)入標(biāo)識、導(dǎo)入模型、設(shè)置觸發(fā)動作，并實現(xiàn)產(chǎn)品模型的縮放、旋轉(zhuǎn)、視頻播放、顯示簡介、截圖等功能。如按下按鈕實現(xiàn)模型的放大，部分代碼如下所示:

if(GUI.Button(new Rect(50，Screen.height-120，70，70)，""，mIcon1))

{float oldScale=mMacTransform.localScale.x;

floatnewScale=oldScale*1.5f;

mMacTransform.localScale=new Vector3(newScale，newScale，newScale);}//如果按下該按鈕模型變?yōu)樵瓉鞸cale的1.5倍大小

通過調(diào)用系統(tǒng)的Application.CaptureScreenshot()函數(shù)實現(xiàn)截圖功能。

3.4 運行結(jié)果

該應(yīng)用程序發(fā)布于Android平臺，由于三維的計算需要較高配置的手機(jī)。首先粗略地進(jìn)行實驗識別，可以看出系統(tǒng)實現(xiàn)了預(yù)定功能。能夠進(jìn)行場景的跳轉(zhuǎn)，模型的識別跟蹤，放大縮小旋轉(zhuǎn)和截圖功能。

對結(jié)果影響最大的是照明程度和識別距離，分別對六個面和頂點在兩組光照和兩組距離下進(jìn)行比較實驗。結(jié)果如表1所示。運行測試結(jié)果如圖5所示。

4 結(jié)束語

文中從產(chǎn)品展示的角度討論了增強現(xiàn)實技術(shù)的原理及其在產(chǎn)品互動展示中的應(yīng)用，進(jìn)行了移動增強現(xiàn)實關(guān)鍵技術(shù)的探討，利用立體物作為識別對象實現(xiàn)了產(chǎn)品互動展示系統(tǒng)，給用戶帶來身臨其境的沉浸式體驗，使產(chǎn)品展示更加生動化，更具趣味性。將增強現(xiàn)實技術(shù)與實際相結(jié)合有利于增強現(xiàn)實技術(shù)的普及，也有利于這一技術(shù)今后的發(fā)展，具有一定的現(xiàn)實意義。增強現(xiàn)實技術(shù)正在改變著人類傳統(tǒng)的生活方式，結(jié)合增強現(xiàn)實場景、三維數(shù)據(jù)與現(xiàn)實世界創(chuàng)建的增強現(xiàn)實應(yīng)用將會給用戶帶來前所未有的體驗。

基于增強現(xiàn)實技術(shù)的應(yīng)用也存在瓶頸，比如實景融合方面的瑕疵，雖然是實時渲染，但是在燈光的渲染上需要消耗過多機(jī)器性能;還有識別上的不夠精確;在云識別方面，由于網(wǎng)絡(luò)速度限制，可能會對識別造成影響等。但是隨著科技的發(fā)展，這些問題最終都會得到解決。

［1］ 鄒優(yōu)嘉.移動設(shè)備增強現(xiàn)實技術(shù)與書本交互的應(yīng)用［J］.計算機(jī)技術(shù)與發(fā)展，2013，23(8):227-229.

［2］ 賴蘋華.基于移動增強現(xiàn)實技術(shù)的災(zāi)害和事故救援系統(tǒng)設(shè)計［J］.軟件工程師，2014，17(10):57-58.

［3］ 郭昌達(dá).增強現(xiàn)實三維配準(zhǔn)技術(shù)方法研究［D］.鄭州:解放軍信息工程大學(xué)，2013.

［4］ 程 志，金義富.基于手機(jī)的增強現(xiàn)實及其移動學(xué)習(xí)應(yīng)用［J］.電化教育研究，2013，34(2):66-70.

［5］ 司占軍，李文霞，顧 翀.增強現(xiàn)實在印刷品中的應(yīng)用研究［J］.包裝工程，2014，35(19):125-129.

［6］ Ceravolo P，Anisetti M，Damiani E.Augmented reality technologies systems and applications［J］.Multimedia Tools and Applications，2011，51:341-370.

［7］ 冉 洋，朱 飛，陳 康.虛擬現(xiàn)實及增強現(xiàn)實技術(shù)在工業(yè)設(shè)計中的應(yīng)用［J］.激光雜志，2010，31(1):4-6.

［8］ 常 勇，薛立明，姜淑芳.智能手機(jī)增強現(xiàn)實關(guān)鍵技術(shù)研究［J］.計算機(jī)工程與應(yīng)用，2011，47(15):69-71.

［9］ Wikipedia.Augmented reality［EB/OL］.2012.http://en. wikipedia.org/wiki/Augmented_reality.

［10］孫 源，陳 靖.智能手機(jī)的移動增強現(xiàn)實技術(shù)研究［J］.計算機(jī)科學(xué)，2012，39(6A):493-498.

［11］李 然，隋 毅，孫仁誠，等.手持設(shè)備增強現(xiàn)實開發(fā)平臺研究及應(yīng)用［J］.計算機(jī)仿真，2010，27(1):253-256.

［12］Billinghurst M，Hakkarainen M，Woodward C.Augmented assembly using a mobile phone［C］//Proc of IEEE international symposium on mixed and augmented reality.Cambridge，UK: IEEE，2008:167-168.

［13］Chen W C，Xiong Y G，Gao J，et al.Efficient extraction of robust image features on mobile devices［C］//Proc of IEEE/ ACM international symposium on mixed and augmented reality.［s.l.］:IEEE，2007.

［14］李東旭，江 澄，劉海峰.體感技術(shù)驅(qū)動下的圖書館應(yīng)用平臺架構(gòu)創(chuàng)新與體驗革命［J］.大學(xué)圖書館學(xué)報，2012(5):12 -17.

Research on Application of Mobile AR Technology in Product Interaction Exhibition

SONG Yan-yan，CAO Xiao-ye，ZHOU Ling
(Nanguang College of Communication University of China，Nanjing 211172，China)

With the rapid development of smart phones and other mobile devices and related technology，augmented reality technology is widely used in the mobile platform.Intelligent mobile phone and other mobile devices，with their small volume，light weight and portability，laid an important foundation for the development of augmented reality.Put the virtual information into the real world，users can sense the virtual model of computer generated in the mobile terminal.To study some applications of augmented reality technology in product exhibition，a product interactive exhibition system is designed based on mobile AR technique.On the basis of the principle of the AR key technology，the design of the system work flow and function is described，and the technical scheme based on design is studied，and the function of tracking and interactive display is realized.Selecting the Android platform mobile terminals，augmented reality system program eventually is displayed in the form of interactive 3D display.The system uses mobile platform to complete real-time collection of real information in disaster areas and fuses real and virtual images.AR technology could be applied in product exhibition in various forms.It does reduce the cost of product exhibition and increase the exhibition of interest.

AR;interactive exhibition;mobile platform;tracking

TP39

A

1673-629X(2016)09-0083-04

10.3969/j.issn.1673-629X.2016.09.019

2015-12-14< class="emphasis_bold">修回日期:2

2016-04-06< class="emphasis_bold">網(wǎng)絡(luò)出版時間:

時間:2016-08-23

江蘇省高校自然科學(xué)研究面上項目(15KJD520007);江蘇高校哲學(xué)社會科學(xué)研究項目(2015SJD324)

宋燕燕(1978-)，女，碩士，講師，研究方向為計算機(jī)應(yīng)用。

http://www.cnki.net/kcms/detail/61.1450.TP.20160823.1359.056.html