VR與AR：半個世紀之路

劉敏++蒲實

三聯生活周刊：為什么20世紀60、70年代就有VR（虛擬現實）這個概念，但以前那幾個浪潮都沒有發展起來？這中間技術的掣肘點在哪里？短板在哪里？您是研究圖形學的，您最早開始接觸VR這個概念，包括混合現實的概念，是什么時候？

童欣：其實早在圖形學開始發展的時候起，VR和AR（增強現實）這些概念就已經存在了。90年代初，那時圖形學里高端的VR系統叫做CAVE System，當時由EVL研發的，由幾個顯示屏組成屋子的墻，提供了一個沉浸的環境。每個屏幕后面有圖形能力很強的圖形工作站。用戶戴上立體眼鏡，通過一些穿戴上的跟蹤設備和數據手套，可以在里面自由地走動旁邊的內容會隨著交互而改變。在當時這是一個非常高端、售價非常昂貴的系統。那個時候VR更多的還是面向工業應用，包括美國的航天系統或者是軍事應用。PC出現之后，大家開始用PC來代替原來的超級計算機，用PC把所有的顯示屏搭起來就能做成一個CAVE系統。這是VR發展的一條線索。另一條線索則是供單個人使用的頭戴顯示器這樣的VR系統。

AR方面也很早，主要還是面向非常專門的工業應用。一個是軍工。比如說，一家軍工廠需要修理一顆導彈，有了AR就可以知道先打開什么地方，需要執行什么樣的操作，可以極大地提高效率，減少失誤。因為對軍工來說，如果能提高效率，這個成本是值當的。一個是飛機制造和維修。波音公司很早就采用了AR的系統，就是小的半透明顯示器在眼睛前面，顯示的內容疊加在真實場景中。裝配飛機或者是修理飛機，這是非常高難度和復雜的任務，需要得到維修指南，哪怕告訴你手冊需要查哪兒。

微軟亞洲研究院網絡圖形組首席研究員童欣

我覺得這撥VR/AR浪潮的興起，一個原因是手機產業過去這幾年的發展，讓所有的傳感器和顯示器小型化，且價格真的能讓大家接受。同時隨著個人計算機計算能力的增長，和圖形處理器的發展，使得內容顯示的計算能力跟得上。所有條件結合在一起，終于可以以一個普通用戶能接受的價格為大家提供比較好的VR體驗。VR一直都在那，但之前很小眾很昂貴，現在慢慢地終于到了面向普通用戶的時候了。

三聯生活周刊：在這一波VR/AR浪潮里，計算圖形學、人機交互和傳感方面的技術水平有沒有突飛猛進的進步？

童欣：有幾個最重要的進步。硬件上，過去的傳感器已經非常精確，但售價非常昂貴。智能手機普及后，傳感器大量生產，價格變得非常便宜，傳感器的發展也讓很多定位技術有所進步。GPU的發展也很快，在這么高的分辨率下，能做到非常真實的顯示。當然，在這所有的背后，需要有很多實時算法進行支持，能夠結合傳感器數據進行實時的定位，同時把真實感很強的內容顯示出來。另一個方面是交互技術的進展。目前在VR中，大家的交互基本上還是依靠設備。首先靠傳感器幫助用戶確定在虛擬環境中的位置和頭的朝向。此外還需要有輸入，用游戲手柄，或者依靠語音、手勢，提供很好的自然的交互體驗。這也是一個很大的突破。

微軟其實一直在自然交互，VR和AR領域中進行著重點的投入和研發。在真實感實時現實方面，微軟研發了很多的算法并且通過Direct3D提供給用戶，和GPU的發展相互推動，帶給用戶更真實的內容體驗。自然交互方面是Kinect，這是第一次把很自然的體感交互體驗推給用戶，能用價格便宜的深度攝像頭，結合最新的算法，來達到用戶姿勢的實時識別和跟蹤。而近來推出的全息眼鏡HoloLens則把所有交互，顯示的最新技術，硬件集大成了。不僅僅是硬件上的波導顯示，全息處理器（HPU），整個的計算平臺的可穿戴化和小型化，更有軟件上的實時定位與場景重建技術，語音識別和手勢識別的技術。所有這些組合在一起才能讓混合現實的技術真正落地和活起來，才能給用戶帶來全新的體驗。

三聯生活周刊：HoloLens體現了近幾年技術發展的哪些東西？

童欣：我覺得其實很多。剛才也提到了，硬件層面，這么小的重量情況下，需要一個頭戴顯示器。HoloLens有一個See-Through的屏幕，要半透的，要能看清外面的東西，同時內容要顯示在上面，它的分辨率要夠。另一個方面，其實HoloLens就是一臺頭戴式的計算機，所有的計算單元包括電池都是集成在上面的，這些并不是理所當然地往里塞，需要平衡很多方面。硬件集成進去，需要保證它高質量地工作，續航能堅持足夠長的時間，比如說3到4個小時。所有這些都依賴于硬件的進步和工藝的進步。

有了這些還不夠，還要有最基礎的軟件去支撐硬件。對混合現實來講，最核心的技術叫做SLAM（Simultaneous Localization and Mapping），就是實時定位和場景建模的技術。這是什么意思呢？當我做VR的時候，由于整個視野沉浸在虛擬環境中，我只需要根據根據計算的位置，顯示整個虛擬的場景。現在我在一個真實的世界里，虛擬的東西可以按照我計算的視點移動，但是真實環境的物體并不會。所以我要知道你的頭在真實世界中的精確位置。這樣虛擬的東西和真實東西混合才會真實。比如說我想顯示一個虛擬的杯子，在桌子角上，我現在一轉頭再回來，真實世界中桌子和杯子還在那里，可是如果我的計算位置不精確，虛擬的杯子的位置就移動了。虛擬世界中，我怎么知道你看的是原來的位置，我就應該把這個東西顯示出來在原來的位置呢？所以計算機必須要知道在真實的世界中，我現在在哪兒，我在看哪兒，這個東西必須要實時算出來，同時必須非常穩定，不能有擾動，不然用戶就會覺得顯示的內容在空中飄，這個挑戰是非常大的。微軟通過HoloLens上的攝像頭和非常先進的算法，包括專用的HPU（Holographic Processing Unit，全息處理器，簡稱HPU）來進行所有的計算，把所有的位置信息能實時地提供給你。這些東西是所有做增強現實，特別是混合現實（MR）最關鍵的技術。

同時，我們也認識到混合現實這一全新體驗背后需要一系列的技術做支撐，無論是內容生成方面、智能交互方面，還是最上面的內容的智能理解交互方面，都需要專業的算法，門檻很高。如果只有幾個大公司做內容，做開發，可能還是不能滿足大家的需要。那最好的辦法就是我們建立一個生態系統。我們不僅提供像HoloLens這樣一個標桿的硬件，而且提供Holographic這樣一個軟件平臺，通過把不同的算法和服務變成普通用戶都能用的API，想開發某些應用的人也可以用我們的工具和服務來開發應用，最后可以做到HoloLens上去，也可以用到其他虛擬現實，增強現實設備上去。

三聯生活周刊：無論是游戲還是電影，我們在二維屏幕的圖形顯示上已經達到了相當高的水平。虛擬現實和混合現實開啟了一個沉浸式的三維圖形顯示的時代。在三維圖形領域，還有哪些問題是需要解決的？

童欣：光影技術在圖形學里叫“繪制技術”。實時的、光影真實的三維場景繪制技術，仍然是大家在研究的熱點問題。在微軟研究院，我們第一次嘗試用機器學習的方法來處理這一問題，第一次把一些原來非常難做到的復雜光影效果真的做成實時的。我們相信隨著這些技術的發展，會有更多的酷炫的光影效果，可以在VR和MR中呈獻給大家。

還有一個是怎么樣更加方便地產生更真實的三維場景和交互內容。傳統上我們需要藝術家去造型，但另一個方法是從真實世界中直接拍攝捕捉。比如，我想做一個咖啡館，原來是藝術家用三維造型軟件手工去做，包括所有的細節，這是一種方法。還有一種方法是，拿一個深度相機或者普通相機來，把一個咖啡館里所有的桌子和墻的幾何形狀、材質完全捕捉下來，把它放在三維場景里，真實感一下就提高了，所有桌面的材質都會很真實。有了這個技術，藝術家就不是無中生有了，他可以在這個場景的基礎上把材質改改，把桌子讓它生點銹，把它變得更有質感。所以內容捕捉技術是非常重要的技術路徑。微軟研究院在這個方向做了非常多的研究工作，我們的目標也是希望通過我們的推動，能夠讓普通的用戶享受這項技術，通過比如Kinect這樣的深度相機，甚至像手機或者是普通相機拍攝的東西，能夠把用戶感興趣的三維物體和幾何形狀表面的豐富材質、光影效果都捕捉下來，完美地再現在虛擬的世界里。一旦這個問題解決了，所有普通用戶都能產生高質量的三維內容，那虛擬世界，混合現實的世界就會變得豐富多彩，用戶的體驗也會提升一個數量級。

三聯生活周刊：混合現實真的要變得實用，還需要解決哪些問題？

童欣：首先從交互的角度來講，要有定位，要有語音和手勢、表情等自然的交互方式，這方面技術還需要進一步成熟。如果高質量的輸出和用戶的輸入方式不匹配，用戶就會覺得這個東西不好用，不自然。一個常被大家忽略的是智能感知層面的問題，為了更好的混合現實的體驗，我需要有更好的下一步的人工智能技術和識別技術。比如說在一個場景中，當我戴上AR眼鏡想操作這個東西。定位技術告訴計算機我在盯著這個東西，可是這個東西是什么呢？可能需要識別技術知道這是一個遙控器。然后系統知道用戶想使用遙控器了，把遙控器的操作信息從數據庫中拿出來傳遞給用戶，變成一些可視的指南，交給用戶說，你先按這個鍵吧，根據用戶操作的手勢和出現的問題，再給用戶進一步指南。你可以看到，這個簡單的例子里，自然交互，顯示，識別，所有的這些都要加在一起，這個場景才能行。如果里面缺任何一樣，最后都會變成聽起來很美好，用戶剛開始覺得很新鮮，但很快會發現，操作比原有的設備和方法更費事，那么自然帶來用戶期望和實際能達到的之間的巨大落差。所以微軟希望能從各個層面開展研究，提供解決方案，縮小落差，讓混合現實變成對用戶真正有用的東西。

長遠來看，從應用范圍來講，AR遠比VR廣泛得多，將來會滲透到生活各個方面。當你戴上VR的時候，你看不到真實環境，完全是在虛擬世界的體驗。AR混合現實更多是可以把它想象成視覺助手一樣的東西，極大的增強和方便你在真實世界的生活。但是AR技術的門檻更高，所以大家覺得AR可能普及得會比VR晚很多。以前大家會說AR怎么也得等10年，我個人樂觀估計可能會來得更快。原因有兩個。第一，AR很多基礎層的智能感知技術成熟得比我們以前想的要快。第二，隨著AI技術的成熟，識別感知層成熟得更快，比如說物體識別的技術日新月異地在發展。這些技術的進步能對AR的場景產生非常大的推動作用。這些東西如果比以前成熟得快，AR的場景應用就會更快地來到，但具體的時間我覺得很難預測，因為技術的發展真的是太快了。