關于增強現實技術潛在發展方向的思考

喬秀全　任沛　商彥磊

隨著近兩年支付寶“掃福集福卡”、基于位置的增強現實（AR）紅包、QQ AR傳遞奧運火炬等活動的開展，AR與虛擬現實（VR）作為一種新型計算機視覺技術逐漸進入人們的視線，從學術界到產業界，AR/VR都成為了非常值得關注的熱點。人們的生活由于AR/VR的出現而在慢慢發生著改變，并且這種改變還在不斷地深入與擴大。我們可以預見的是，在未來的生活中，AR/VR將具有極其廣闊的發展空間與應用前景，并且將會成為5G的一種殺手級應用。

1 對AR/VR技術發展的

思考

AR[1]是一種將真實世界信息和虛擬世界信息無縫集成的新技術，是把原本在現實世界的一定時間空間范圍內很難體驗到的實體信息，通過計算機視覺等科學技術，應用到真實世界，被人類感官所感知，從而達到超越現實的感官體驗。通過AR技術，真實的環境和虛擬的物體實時疊加到了同一個畫面或空間。

VR[2]則是綜合利用計算機圖形系統和各種現實及控制等接口設備，在計算機上生成的、可交互的三維環境中提供沉浸感覺的技術，通過提供使用者關于視覺、聽覺、觸覺等感官的模擬，讓使用者如同身臨其境一般，可以及時、沒有限制地觀察三維空間內的事物。

1.1 AR/VR具有廣泛的應用場景

AR/VR作為一種新的視覺交互技術，將帶動一大批新的產業發展模式。在教育領域，通過VR技術，可以實現沉浸式的教學方式，寓教于樂；通過AR技術，可以更加形象生動地展現書本中的內容，從而大大增加閱讀的互動性與趣味性。在文化旅游及展覽領域，通過VR技術可以打造數字化旅游景點，使用戶足不出戶就可以遍覽天下美景；而AR技術在展覽領域可以實現規劃效果與真實場景的疊加，大大便利了市政建設規劃任務。在娛樂領域，VR游戲、VR視頻、AR游戲等也為人們提供了一種全新的娛樂休閑的方式。在工業制造領域，通過AR可以將多種輔助信息顯示給用戶；而VR則可以幫助企業更好地訓練工人。

1.2 AR/VR的歷史嘗試與發展

雖然AR/VR是在近兩年內才得以井噴式的發展，但其起源甚至可以追溯到現代計算機技術的誕生之際。著名計算機科學家、圖靈獎獲得者伊萬·薩瑟蘭（Ivan Sutherland）在1968年發明的頭戴式顯示器能夠將簡單線框圖轉換為3D效果的圖像，這種頭戴式顯示器（HMD）在結構上與現在的各種AR/VR產品也驚人的相似。1998年，AR技術第1次被成功應用于實時直播，Sportvision作為當時體育轉播圖文包裝和運動數據追蹤領域的領先公司，開發了1st & Ten系統，從此開啟了AR的應用與探索之路。

1.3 AR/VR具有極強的發展潛力

AR/VR技術離不開硬件設備的發展。VR 講究的是沉浸感、交互性和構想性，構想性的關鍵在內容設計，而沉浸感和交互性的關鍵則在于硬件實現。AR講究的是現實世界疊加虛擬世界，從而實現“虛實結合”，顯示技術與感知技術都是有待解決的重要問題。包括Oculus、Google、SONY、HTC、Samsung、Microsoft、百度、阿里巴巴、騰訊、樂視、愛奇藝、優酷等在內的多家公司已經開始參與從事VR/AR的相關研發，僅在2015年內就涌現出了100多家VR/AR的硬件廠商，其中不乏各大手機終端廠商。盡管目前的AR/VR行業仍然處于起步階段，但依據Digi Capital預測，至2020年，全球AR與AR市場規模將達到1 500億美元；BI Intelligence則統計，2020年僅頭戴式VR硬件設備市場規模將達到28億美元。AR/VR市場巨大的潛力吸引了越來越多的廠商、研究機構參與到了AR/VR軟件、硬件的研發浪潮之中。

1.4 目前提供AR的兩種主要形式

（1）配備專門的AR/VR設備（比如AR/VR頭盔或者AR/VR眼鏡）：這是一種極其重量級的解決方案：一方面因為設備的費用相對較貴，如Oculus Rift（VR設備）的消費成本約為1 500美元，微軟推出的全息眼鏡HoloLens、SONY推出的Morpheus頭盔、Samsung推出的Gear VR頭戴設備都由于其高額的成本，其推廣范圍大大受到了限制；而專用的AR/VR設備的另外一個缺陷在于其較差的便攜性，用戶對于AR/VR的使用范圍受限，大大局限了AR/VR的應用范圍與場景；因此，通過AR/VR近幾年的發展歷程，可以看出，基于專用設備的AR/VR應用推廣遇到了很大的障礙，還無法大規模、普適化地應用起來，目前更多的是在非常垂直的領域和特定的場合提供此類AR/VR體驗。事實上，給用戶增添個額外的設備，是很有挑戰性的事情，3D電視的市場經驗證明：哪怕只是多增加一副3D眼鏡，對于內容消費來說都是巨大的障礙。因此，AR設備的便捷化、輕量化，嵌入用戶的日常生活用品是一個必然的趨勢。

（2）基于智能手機終端的AR APP應用：隨著智能手機終端計算、存儲等能力的不斷提升，使得基于智能手機終端的AR應用成為可能。利用APP調用智能手機攝像頭，從而對物理世界進行識別，并疊加虛擬信息，從而達到增強現實的目的。目前，基于APP的AR服務提供目前也有兩種形式：

·一種是專門的、獨立的、離線的APP形式。所有AR的功能（包括開啟攝像頭、圖像識別、目標跟蹤和動畫渲染等）都在手機終端來完成；在這種模式下，AR服務中所涉及到的計算需求都要在本地進行，其特點在于實時跟蹤快，用戶體驗好；但這種模式下，用戶需要下載專門的APP，應用推廣的成本比較高；另外，單純依靠智能終端進行計算，AR服務的功能將大大受到受限（如識別圖片數量、種類、精確度等能力）。

·另一種則是采用“云+端”的模式，如支付寶、聚劃算、QQ AR等服務，借助云端強大的計算能力，可以精確識別更多的圖片，但與此同時，由于網絡傳輸時延的增大，要做到實時的識別與跟蹤難度很大，因而無法為用戶提供優良的AR體驗。endprint

目前看來，基于專用AR設備的應用提供模式太過重量級，無法大規模、普適化推廣與應用；而基于智能手機終端APP形式的AR應用，對于每個APP而言，又都是一個個獨立封閉的孤島，信息只局限于該APP的用戶，難以跨平臺提供普適化的AR服務，無法觸及更多受眾群體。另外一個致命問題在于AR應用的下載與安裝。AR服務的體驗必須依托于特定的應用軟件，從而導致了服務體驗的門檻過高，并不方便用戶的使用。總體來說，跨平臺地提供普適化的AR應用是目前AR提供技術存在的最大的一個問題。因此，需要提供一種輕量級、跨平臺的AR應用解決方案，使用戶不需要下載專門的APP或者不局限于某個具體的APP，就可獲得AR體驗，從而推動基于移動智能終端的AR大規模移動化、普適化應用。

2 Web AR是普適化AR

發展的轉折點

目前，AR技術出現了一種新的動向。這主要歸功于偉大的WWW之父——蒂姆伯納斯.李（2016年圖靈獎得主），他在20世紀90年代所發明的Web天然地具備了跨平臺的特性。現有的很多APP是支持移動智能終端瀏覽器（HTML5）網頁的，比如微信、QQ、微博、今日頭條等，因此如果提供基于Web的AR應用，那么用戶不用下載專門的APP，只需要利用通用的Web瀏覽器或者這些內在支持HTML5網頁的APP就可以體驗AR服務。Web天然的普適特性將為AR/VR的應用提供一條更加便捷的傳播方式。目前，越來越多的廠商開始關注原生支持AR/VR服務的智能終端硬件設備組件，這也給基于普適化的Mobile Web AR應用帶來了很大的機遇。因此，基于Web的AR技術，特別是基于移動智能終端的Mobile Web AR技術，開始逐漸萌芽，為實現AR應用的大規模、跨平臺的傳播和分享奠定了基礎，為解決AR的普適化應用難題提供了一種新的研究方向和技術可能。

然而，Mobile Web AR目前所面臨的技術難題主要有以下3點。

（1）目前Mobile Web AR還處于技術的萌芽狀態，現有的生態環境和技術條件、網絡支撐等都還不是很成熟，無法完全發揮出它的全部潛力。比如：Web瀏覽器計算能力很弱，無法像現有的APP一樣，在移動終端就完成全部AR的功能；參考現在基于獨立APP的AR的實現方式，想要完全利用前端JavaScript技術來完成全部AR的工作，包括圖像采集、特征點提取、圖像匹配、動畫渲染等，功能非常受限，目前只能識別簡單的基于標識的圖片（即基于Marker的AR技術），不足以支持自然圖片和實物（即Markerless圖像/實物）在前端的實時計算和識別；另外，由于JavaScript的弱計算能力，造成AR服務非常嚴重的卡頓現象，嚴重影響AR服務的用戶體驗。因此，只靠純前端的方式，目前看來基本上還行不通，無法大規模商用。這也就意味著更多的計算功能需要放到云端服務器來完成，也就是所謂的“云+端”的實現模式。但這時候，網絡的通信時延就成了很大的一個問題，現有的網絡環境又很難滿足AR技術在自動跟蹤和識別方面的實時性和低延時的苛刻要求。

（2）瀏覽器的功能和性能差異比較大。現在手機終端上有多種不同的瀏覽器，如百度瀏覽器、360瀏覽器、QQ瀏覽器、Chrome瀏覽器、Safari瀏覽器、火狐瀏覽器、UC瀏覽器等，除此之外，還有一些APP應用內嵌了簡化版的瀏覽器功能模塊（如微信、微博、QQ等），因此對于眾多瀏覽器的適配工作也比較復雜。然而，與原生提供AR服務的APP相比，手機瀏覽器的功能要弱化很多，較大的3D動畫模型和VR場景的加載和運行都會比較慢，直接影響了用戶的業務體驗；另外，Web網頁不具備直接調用很多手機底層資源的權限，這也就給AR服務的提供帶來了很大程度上的不便。

（3）內容制作和適配的問題也是Web AR普及所面臨的一大難題。現有的大部分3D建模工具對基于Web的3D呈現兼容性較差，很多工具導出的模型無法直接加載使用。另外一個關鍵的問題就是用戶與動畫模型的交互技術現在也不成熟，使得用戶在Web AR應用體驗的過程中娛樂性和趣味性無法很好地得到體現。

3 Mobile Web AR：一種輕

量級、普適化的AR技術

面對Web AR應用輕量化和普適化的攔路虎，我們團隊經過無數次的技術攻關，在Mobile Web AR方面取得了技術性突破。首次成功研制了一套完整的、具有自主知識產權的、基于HTML5的、能夠支持自然圖片和實物識別功能的Web增強現實技術，超前性地采用了面向Web的“端計算+邊緣計算+云計算”無縫協同的分布式AR實現方案，利用邊緣服務器來提供即時的復雜計算能力，利用云服務器來保存實時性要求比較低的、與大量業務運營相關的數據和邏輯，解決當前Web增強現實面臨的瀏覽器能力弱、圖像計算量大、擴展性不好、實時性低的技術難題。基于Web AR技術，用戶可以利用網頁超鏈接機制將AR的功能嵌入到各種Web網頁中，并且能夠方便地進行轉發、分享和傳播，讓用戶不再受限于專門的APP 就能獲得AR體驗，開啟了一個全新的、基于Web的AR應用新時代。

如圖1所示，Mobile Web AR技術可以靈活地嵌入到微信公眾號中，用戶只需要關注特定的公眾號，通過點選公眾號中的菜單欄選項即可體驗AR技術，程序將通過調取手機攝像頭進行圖像的采集、云端圖像識別，以及在微信瀏覽器下進行3D模型的加載與渲染等一系列操作，方便快捷地為互聯網用戶帶來輕量級、普適化的AR體驗。

4 5G網絡為AR/VR的

大規模商用提供了機會

4G改變生活，5G[3-4]改變社會。5G網絡將會帶來更高的速率、更寬的帶寬，能夠充分滿足消費者高帶寬、低延時等更高的業務體驗需求。同時，5G在網絡的整體設計中也將會采用一些全新的設計思路，比如軟件定義網絡（SDN）/網絡功能虛擬化（NFV）/網絡切片技術，從而可以根據業務需求來靈活動態地調整網絡資源，進而滿足不同業務類型的需求；設備到設備（D2D）的自組織通信使得終端與終端之間就可以直接進行數據傳輸和內容分享；移動邊緣計算（MEC）[5]技術使得計算和存儲等功能進一步下沉到網絡的邊緣，在更靠近用戶的地方運行，進一步滿足了低延時類的應用需求，避免了核心網絡的傳輸時延，對時延敏感的AR、自動駕駛、工業物聯網等應用將會在5G網絡中得到更好的支持。endprint

4.1 5G網絡下AR/VR的機遇與挑戰

5G到來之后，很多新型應用將會出現并大規模普及。AR/VR具有高帶寬、低延時、計算量大的特點；高清的VR視頻每秒容量都高達百兆，現有4G網絡下，移動用戶很難進行流暢的體驗，只能對視頻進行壓縮，或者采用將球形全景圖轉換成立方體切片逐步加載的方式來進行處理；而AR對實時性和計算的要求更高，需要對目標進行實時識別和自動跟蹤，若所有計算都從云端服務器進行處理，則網絡時延將會是一個很大的挑戰。然而，5G網絡具有的新特點，能夠很好地滿足消費者對超高清視頻、AR/VR、自動駕駛等高帶寬、低延時的業務體驗需求，可以說AR/VR將是5G的一種殺手級應用。

4.2 5G網絡下Mobile Web AR的

機遇與挑戰

相比較于AR/VR專用設備或者基于APP的AR/VR應用，Mobile Web AR理論上更加依賴于通信網絡的支持。由于Web前端計算能力弱，很多的工作需要在云端服務器來進行。在現有網絡環境下，可以在各地計算中心通過部署邊緣服務器來進行處理，但邊緣服務器的部署和管理都將浪費巨大的人力和物力。5G時代，有了統一的移動邊緣服務，應用提供商就能夠很方便地進行全網的按需靈活部署和動態遷移，解決現在Mobile Web AR所面臨的時延和帶寬問題。

Mobile Web AR技術能真正提供一種移動化、跨平臺、普適化的AR服務，可以應用到各行各業，包括：城市規劃宣傳、文化旅游行業、博物館、房地產行業、大型企業、連鎖酒店行業、連鎖餐飲行業、大型商場超市、商貿城、大型展會、廣告營銷行業等。AR/VR將不僅是一次視覺技術的革命，更是一次生活方式的巨大轉變。

目前，AR/VR還在進一步發展中，生態鏈尚不成熟。因此，AR/VR相關產業鏈（硬件設備、軟件平臺、內容制作工具、應用開發商等多方面）需要先形成產業聯盟，共同推進協同合作。在此基礎上，還應制訂相關標準，通過標準來進行互聯互通，讓產業生態鏈上的各個環節無縫協作，這樣才能開展大規模的AR/VR產業化應用，形成一個良好的產業生態鏈。

5 結束語

5G的低延遲、高吞吐量、D2D、多輸入多輸出（MIMO），以及邊緣計算等新的技術，將推動AR/VR的快速發展，而Web AR/VR輕量級和良好的跨平臺性將極大地提升用戶的使用體驗，從而產生更多更豐富的AR/VR應用，并帶來更多的業務和技術創新。目前Web AR的研究仍然處在初級階段，存在諸多待解決的問題，這需要學術界和產業界共同努力，在算法、協議、標準、Web 3D內容、產業鏈等方面完善和創新。

致謝

Mobile Web AR的成功實現與應用，離不開團隊老師和同學們的辛苦努力。感謝研究生張鵬、閆浩然、郭佳豪、徐言、宋麗敏以及任沛博士、南國順博士等同學的辛勤付出，對他們謹致謝意！

參考文獻

[1] KARHU A， HEIKKINEN A， KOSKELA T. Towards Augmented Reality Applications in A Mobile Web Context[C]// International Conference on Next Generation Mobile Apps， Services and Technologies. USA： IEEE， 2014：1-6. DOI： 10.1109/NGMAST.2014.36

[2] VINCE J. Virtual Reality Systems[M].New York： ACM Press/Addison-Wesley Publishing Co.， 1995

[3] AGIWAL M， ROY A， SAXENA N. Next Generation 5G Wireless Networks： A Comprehensive Survey[J]. IEEE Communications Surveys & Tutorials， 2016， 18（3）： 1617-1655. DOI： 10.1109/COMST.2016.2532458

[4] FOUKAS X， PATOUNAS G， ELMOKASHFI A， et al. Network Slicing in 5G： Survey and Challenges[J]. IEEE Communications Magazine， 2017， 55（5）： 94-100. DOI： 10.1109/MCOM.2017.1600951

[5] TRAN T X， HAJISAMI A， PANDEY P， et al. Collaborative Mobile Edge Computing in 5G Networks： New Paradigms， Scenarios， and Challenges[J]. IEEE Communications Magazine， 2017， 55（4）： 54-61. DOI： 10.1109/MCOM.2017.1600863endprint