一次降落傘事故如何助推增強現實

編譯 高斯寒

1992年，路易斯?羅森伯格（Louis Rosenberg）在賴特-帕特森空軍基地測試他開發的第一個交互式增強現實系統“虛擬導具”（Virtual Fixtures）

我爬進一具被傳感器、馬達、齒輪和軸承覆蓋的上半身外骨骼內，上身前傾，昂起腦袋，將我的面龐緊貼從天花板上垂掛下來的一套視覺系統的目鏡。我看見身前的一塊涂成黑色的大木板，上面打出的金屬孔眼形成網格。木板是真實的，我手上的銷子也是真實的，我在試圖盡可能快地將銷子從一個孔移向另一個孔。當我開始移動銷子時，一個虛擬圓錐出現在目標孔眼上方，同時出現了一塊緩緩移向它的虛擬平面。當我沿著平面朝向圓錐滑動銷子，將它送入孔內時，我能感覺到平面的存在。

這就是開發于20世紀90年代初期的“虛擬導具”平臺，被用來檢驗“知覺疊加”（perceptual overlays），改善人類在需要靈巧性的手工任務中的潛能，而且它被證明確實有效。

今時今日，虛擬現實專家們回首往昔，將這個平臺視為第一個允許用戶在單個沉浸式現實中同時接觸真實物件和虛擬物件的交互式增強現實系統。

這個研究項目開始于1991年，我將它作為我在斯坦福大學的博士研究的一部分來推介。等到我完成研究時——那是在歷經三年和建成多個原型機之后——我組裝好的系統裝滿半個房間，用掉價值將近25萬美元的硬件。我已經從人類測試中收集到足夠的數據，明確地表明用虛擬物件來增強真實工作空間能顯著提升精密任務中的用戶體驗。

考慮到研究周期并不長，這一項目也許聽起來一切都進展順利，然而由于緊張的預算和龐大的設備需求，有許多次該項目都瀕臨脫軌。事實上，若不是1992年的夏季有一個降落傘（是真實的降落傘，而不是虛擬物件）沒能在俄亥俄州代頓上方的碧藍晴空中打開，我的項目可能在早期就已經夭折。

在解釋一次降落傘事故如何幫助推動增強現實的開發之前，我會先交代一點兒當時的歷史背景。30年前，虛擬現實領域尚處在初期，連“虛擬現實”這個術語也是在1987年由杰倫?拉尼爾（Jaron Lanier）杜撰出來，拉尼爾那時在將第一批頭戴式設備和傳感手套商品化。他的工作建立在伊凡?薩瑟蘭（Ivan Sutherland）更早期的研究之上，薩瑟蘭是頭戴式顯示器技術和頭部跟蹤技術的開創者，而這兩項技術是激發虛擬現實的兩個關鍵要素。增強現實與真實世界、虛擬世界相結合，形成一個沉浸式的交互現實，而增強現實在那時尚未以一種富有意義的方式存在。

那時候，我還只是斯坦福大學的研究生，也在美國宇航局（NASA）艾姆斯研究中心擔任兼職研究員，對虛擬世界的創造很感興趣。在斯坦福大學，我在設計研究中心工作，這個團隊的研究重心是人與技術的交叉，在那兒誕生了一些最早期的虛擬現實手套、沉浸式視覺系統和三維音頻系統。在艾姆斯研究中心，我在先進顯示器和空間知覺實驗室里工作，那兒的研究人員在探究一些實現逼真的沉浸式模擬世界所需要的基本參數。

當然，知道如何創造出高品質的虛擬現實體驗和能夠實際制造出它不是一回事。那時市面上最高性能的電腦是在33MHz主頻下運行的英特爾486處理器。按照通脹因素換算調整后，這些電腦的售價相當于現在的8 000美元，但是其速度甚至比不上如今的低價游戲電腦的千分之一。另一個選擇是投資6萬美元來購買一臺硅谷圖形公司（Silicon Graphics）的工作站——它的速度依然比不上如今一臺普通電腦的百分之一。所以，盡管20世紀80年代后期和90年代初期在虛擬現實領域工作的科研人員做了奠基性的工作，但當時粗陋的圖形顯示、笨重的頭戴式設備和嚴重的延遲使得使用者頭昏眼花、惡心反胃，也正是這個問題阻礙了虛擬現實體驗。

我在NASA實施的一個研究項目是要優化早期三維視覺系統中的深度感知，而我是那些會因為延遲而頭暈目眩的人士中的一員。我發現，那時生成的圖像肯定屬于虛擬之列，但與現實相距甚遠。

然而，我并沒有因為頭暈或低逼真度而泄氣，因為我確信硬件會不斷進步。相反地，我關心的是虛擬現實體驗讓我感覺到多么封閉和孤立。我希望能擴展這項技術，帶著虛擬現實的魔力進軍現實世界。我夢想創造出一種融合現實，那兒的虛擬物件將以真切可靠的方式占據著物理環境，以至于它們看上去就像周圍世界的真實部分，使得你能伸出手來與之互動，仿佛它們真的在那兒。

我那時了解到，軍方飛行員在使用一種非?；究畹娜诤犀F實（平視顯示器），使得飛行數據能顯示在飛行員的視線內，于是飛行員就不必低頭看駕駛艙的儀表。我本人尚未體驗過那類顯示器，但因為一些20世紀80年代的賣座大片（包括《壯志凌云》和《終結者》在內）的關系，變得對它們很熟悉。在《壯志凌云》中，飛行員進行空中格斗時，前方的一塊玻璃板上出現了發光的十字瞄準線；在《終結者》中，十字瞄準線和文字、數字數據結合，成為虛構生化人（cyborg）對周遭世界的視野的一部分。

這些融合現實與沉浸式一點也沾不上邊，只是在一塊平面上呈現圖像，而不是在三維空間中與真實世界相連。但它們暗示了有趣的潛能。我認為我能夠邁進一大步，不僅僅是在一塊平面上呈現十字瞄準線和文字，而是創造出能夠在空間中與普通環境中的真實物件契合的虛擬物件。我還希望給那些虛擬物件賦予逼真的物理性質。

我需要大量資源來實現這樣的虛擬視覺，而這超出我在斯坦福大學和NASA所能獲取的資源程度。于是，我向美國空軍阿姆斯特朗實驗室（如今是美國空軍研究實驗室的一部分）的“人類感覺回饋”研究組推介這個構思。

為了解釋融合現實和虛擬世界的實際價值，我用一根簡單的金屬尺來打比方。如果你想要在現實世界中畫一條直線，你可以徒手作畫，用上百倍的心力慢慢畫，畫出的線條仍然不會特別直?；蛘?，你可以抓起一把尺子，花更少的心力，以更快的速度畫出直線?，F在想象一下，你可以抓起一把虛擬的尺子，而不是真實的尺子，令其立刻出現在真實世界里，與你周遭的真實環境完美契合。想象一下，這把虛擬的尺子感覺起來很真實——以至于你能用它來指引你手中實實在在的鉛筆。因為尺子是虛擬的，它可以是任何形狀，任何尺寸，具備有趣和實用的性質，這些是你用一根直尺永遠無法實現的。

當然，尺子僅僅是一個類比。我向美國空軍推介的具體應用是從增強制造到增強外科手術等。比如說，設想一名外科醫生需要在重要部位劃出一個危險的切口。她可以使用笨重的金屬定位裝置來穩定拿手術刀的手，避免傷害重要器官?；蛘撸覀兛梢酝顿Y一些新技術來增強外科手術——用一套虛擬導具來指引真正的手術刀，不僅是在視覺上指引，而是在實質上指引。因為導具是虛擬的，這樣的導具會徑直穿過病人的身體，在劃出切口之前就進入組織。這個構思讓軍方激動不已，他們感興趣的東西不只是外科手術之類與人近距離接觸的任務，而是用遙控機器人執行的遠距離任務。譬如說，可以在真實工作地點的視頻圖像上增加虛擬導具，以此作為協助，讓一名技師能夠在地球上遠程控制機器人來修理衛星?？哲姺矫嫱馓峁┳銐虻馁Y金來負擔我在斯坦福大學的研究開支，還有一小筆預算用于購買設備。更具意義的是，我還可以使用俄亥俄州代頓附近的賴特-帕特森空軍基地內的計算機和其他設備。

后來以“虛擬導具”之名為人所知的項目從此啟動，并努力朝著建造原型機的目標進發，原型機要能夠和人類受試者一起受到嚴格的測試。我變成一位到處奔波勞碌的科研者，在斯坦福大學研發核心構想，在NASA艾姆斯研究中心充實一些基礎技術，再在賴特-帕特森空軍基地組裝完整系統。

上面的9張圖中，每張都顯示了一塊簡單的洞洞板，上面有4個孔眼，而洞洞板前面有各種透明平面和其他導向面。這些早期繪圖是羅森伯格繪制的，作為他的“虛擬導具”項目的一部分，圖中的真實洞洞板和計算機生成的虛擬疊加相結合，構成增強現實的早期版本

我那時是一名二十歲出頭的年輕科研者，熱切地了解著這些在我周圍的實驗室中進行的眾多科研項目。我在賴特-帕特森空軍基地密切追蹤的一個項目是要設計新型降落傘。正如你也許預料到的，當研究團隊提出一個新設計方案，他們不會給一個活人綁上降落傘進行測試。相反地，他們將降落傘綁到假人身上，假人上裝了傳感器和儀器。兩名工程師會帶著硬件，坐飛機上天，丟下假人，并同時跳傘，那樣他們能觀察降落傘展開的狀況。繼續聽我說下去，你會明白這如何變成早期增強現實系統開發的關鍵所在。

說到虛擬導具項目，我的目標是證明我的基本構想——真實的工作空間能用感覺起來十分真實的虛擬物件來增強，那些物件能協助使用者完成靈巧的手工任務。為了測試這個點子，我不打算讓使用者完成手術或修理衛星。我需要一種簡單的可重復任務來量化手工績效。美國空軍早已有一個標準化任務，用于測試各種心理壓力和身體壓力下的人類靈巧性。它被稱為費茨法則插銷任務，受試對象要迅速地在大塊洞洞板的不同孔眼之間移動金屬銷子。

一塊正方形板子上有8個編號孔。2號孔和6號孔前面出現了兩個網面圓錐。費茨法則插銷任務中，受試對象要迅速地在不同孔眼之間移動金屬銷子。這兒顯示的板子是真實存在的，而幫助引導使用者到正確的孔眼處的圓錐是虛擬的

于是，我開始組裝一套系統，使得虛擬導具能夠與真實的洞洞板相融合，創造出一種與三維空間完美契合的混合顯示體驗。我的目標是要讓這些虛擬物件感覺起來十分真實，從而真實的銷子碰撞到虛擬導具會感覺像撞上真實的板子一樣。

我寫了軟件來模擬各種各樣的虛擬導具，從避免手越過目標孔眼的簡單平面，到精心設計外形、能夠幫助用戶指引真實銷子進入真實孔眼的圓錐。我創造出模擬紋理、具備相應聲音的虛擬疊加，甚至有些虛擬疊加可以模擬穿過黏稠的液體，仿佛那是虛擬的蜂蜜一般。

為了加強現實感，我為每個虛擬元素建立物理模型，將它的位置準確置于三維空間，使得它與用戶對真實木板的感知相契合。當用戶移動手，進入一塊對應虛擬平面的區域，外骨骼中的馬達會實際向后推，這項交互技術現在通常被稱為“振動反饋”。它感覺起來十分真實，你甚至可以沿著虛擬平面的邊沿滑動，就像抵著一根真實的尺子劃動鉛筆一樣。

為了讓這些虛擬元素和真實的洞洞板準確對齊，我需要高品質的攝像機。那時候的攝像機比現在可貴多了，我的預算中也沒有余錢，買不了攝像機。這是一個令人沮喪的窘境：空軍方面已經給予我各種硬件設備的使用權，但是在涉及簡單的攝像機時，他們卻幫不了忙?？雌饋砻總€研究項目都需要攝像機，并且大多數項目的優先級都遠遠勝過我的項目。

這讓我要說回到那些測試實驗用降落傘的工程師。某天，這些工程師到實驗室里來閑聊，他們提到他們實驗的降落傘沒能張開，導致假人從高空墜到地面，摧毀了假人上的所有傳感器和攝像機。

這看起來對我的項目來說也會是一大挫折，因為我知道，假如這座樓里有任何多余的攝像機，這些工程師一定會把它們弄到手。

但是，我接著問了下，我能否看一下失敗測試留下的殘骸。殘骸就是一堆嚴重損傷的彎曲金屬、懸吊的電路板和碎裂的攝像機。然而，即使攝像機的樣子慘不忍睹，外殼裂開，鏡頭受損，我還是尋思著，我能否將其中的某臺修復到足以滿足我的需求的程度。

靠著某種奇跡吧，我最終得以用六臺墜地的攝像機的殘骸拼裝出兩臺還能用的攝像機。就這樣，交互式增強現實系統的第一次人類測試靠著從天而降、墜落到地上的攝像機成為可能。

要明白這些攝像機對系統而言有多重要，就請想一下目前的一個簡單的增強現實應用，譬如《寶可夢GO》游戲。如果你的手機背面沒有一個攝像頭來實時捕捉和展示真實世界，那么它就不算增強現實體驗了，就只能算是一個常規的電子游戲而已。

同樣的判斷對于虛擬導具系統也成立。但是多虧了從失敗降落傘裝備中獲得的攝像機，我能夠創造出一種具備準確空間契合度的混合現實，以提供一種沉浸式體驗，讓你能在其中伸出手，同時與真實環境、虛擬環境互動。

至于項目的實驗部分，我進行了一系列研究，讓使用者體驗疊加在他們對真實任務板的感知之上的各種虛擬導具。結果發現，最有用的導具就是圓錐和平面，它們在使用者對著孔眼瞄準銷子時能夠指引他的手。最有效的導具涉及一些在現實中無法輕易制造，但在虛擬世界中很容易實現的實在體驗。譬如說，我將虛擬平面編碼為對銷子有“磁吸力”。對于使用者來說，假如我感覺銷子被迅速吸附到平面上，那么就能沿著平面滑動銷子，直至使用者選擇拽離它。這樣的導具將實驗中使用者的速度和靈巧性提高了一倍多。

這張圖片描述了一個戴著耳機和目鏡的人注視著兩個圓錐和一塊有4個孔眼的洞洞板。羅森伯格以這張增強現實系統的草圖展示了一位虛擬導具平臺的用戶，他穿著部分外骨骼，凝視著一塊由錐形虛擬裝置增強的真實洞洞板

手持真實手術刀的外科醫生與虛擬導具發生交互作用，結合真實和模擬世界，增強任務中的感知能力。一個人平躺在一塊白色平面上，被十字交叉的灰色和白色板穿過身體。增強現實誕生時，一個想象中的應用就是外科手術。如今，增強現實被用于外科手術培訓，外科醫生也開始將它用于手術室

我們那時考慮過的虛擬導具的各種應用中，在當時最具商業可行性的便是人工控制處在偏僻或危險環境下的機器人，譬如有害性廢棄物的清理工作。假如通信距離致使遠程控制機器人出現時間遲延，那么虛擬導具對于提升人類靈巧性而言將變得更有價值。

如今，科研人員依然在探索虛擬導具在遠程機器人方面的應用，并取得極大的成功，包括將其用于衛星修理和機器人輔助下的外科手術。

我朝著不同的方向進發來推動增強現實更為主流的應用。那是因為，虛擬導具項目對我個人產生最大影響的部分不是在插銷任務中改善的效率，而是當人類受試者離開系統，滔滔不絕地講述他們剛剛經歷的絕妙體驗時，臉上綻放的燦爛笑容。許多人主動告訴我，這類技術總有一天會出現在每個角落，變得無所不在。

我確實同意他們的觀點。我篤信，到20世紀90年代末人們就會看到這類沉浸式技術進入主流世界。事實上，當人們嘗試那些早期原型機后，他們的熱烈反應深深地鼓舞了我，于是我在1993年創立了一家公司：浸入科技（Immersion），目標便是從事主流消費者應用開發。當然，技術的發展并沒有設想中那么快。

我冒著再度犯錯的風險，真誠地認為，虛擬現實和增強現實（如今一般以元宇宙之名提及）到21世紀20年代末會變成大多數人生活中的重要部分。實際上，基于大公司對于為改良這項技術做出的投資在近期的激增情況，我預測到21世紀30年代初期，增強現實會取代移動電話，成為我們首要的數字內容接口。

那些在30年前早早體驗過增強現實的受試對象中，沒有一人知道他們使用的硬件設備是從一架飛機中當空墜落的降落傘中得到的。但他們確實知道，他們是第一批伸出手觸碰到人類“增強未來”的人。

資料來源 IEEE Spectrum