谷歌VR光場(chǎng)技術(shù)實(shí)驗(yàn)

Paul Debevec

直以來(lái)，人們相信VR（虛擬現(xiàn)實(shí)）可以讓我們身臨其境，足不出戶就可游歷大千世界。正因如此，我們創(chuàng)造了VR探險(xiǎn)，人們只需戴上VR設(shè)備，五光十色或奇幻、或險(xiǎn)峻、亦或是難以觸及的精彩場(chǎng)面就可近在眼前。此后，谷歌進(jìn)一步推出了“Jump”——一項(xiàng)實(shí)現(xiàn)360全景拍攝的完整VR錄制系統(tǒng)。而VR180全新視頻格式的推出，更是一次全新的體驗(yàn)，即使對(duì)那些不熟悉VR技術(shù)的人來(lái)說(shuō)，也能夠用它輕松制作出VR內(nèi)容，留住生活中每一個(gè)珍貴的瞬間。

不過(guò)，想要?jiǎng)?chuàng)造出最真實(shí)的存在感，我們?cè)赩R中所呈現(xiàn)的景象就需要盡可能地近距離呈現(xiàn)，猶如你置身其中所看到的一切一樣。當(dāng)你真實(shí)地站在一個(gè)地方，只要頭來(lái)回轉(zhuǎn)動(dòng)，整個(gè)世界就會(huì)回應(yīng)你：光以不同方式從各個(gè)物體表面被折射出來(lái)，觀眾就可以從不同角度看到物體。為在VR中營(yíng)造更加逼真的存在感，谷歌一直在進(jìn)行“光場(chǎng)”（Light Fields）技術(shù)實(shí)驗(yàn)。

光場(chǎng)的本質(zhì)

光場(chǎng)是捕捉、線跡和渲染等一系列計(jì)算的組合。目前仍有許多部分有待完善，不過(guò)由于運(yùn)動(dòng)視差的產(chǎn)生以及超真實(shí)的紋理和光照，它們呈現(xiàn)的效果仍然能夠給你一種極高品質(zhì)的存在感。我們生活在一個(gè)充滿光線的世界，無(wú)論來(lái)自太陽(yáng)還是人造光源，光線在我們周圍沿著每一個(gè)方向傳播，形成一個(gè)連續(xù)的光場(chǎng)。簡(jiǎn)單來(lái)說(shuō)，光場(chǎng)是整個(gè)三維空間內(nèi)所有光線的總和，如果能將光線的傳播過(guò)程記錄下來(lái)，并且能在顯示端還原，就是完整的光場(chǎng)技術(shù)。

事實(shí)上，人眼對(duì)感知深度信息是非常敏感的，這包括雙目視差、運(yùn)動(dòng)視差、遮擋和聚散度等幾種方式。當(dāng)人在自然狀態(tài)下觀察目標(biāo)物體時(shí)，眼睛是在不斷變焦的，并且能夠通過(guò)前庭視反射消除畫面切換時(shí)的抖動(dòng)和模糊。

而現(xiàn)在的一些電影中采用了120幀4K的拍攝手法，本以為可以滿足人眼的要求，卻忽略了投影的電影屏幕是一個(gè)固定焦距，迫使觀眾長(zhǎng)時(shí)間將眼睛固定在一個(gè)焦距上而產(chǎn)生大量的不適感。可見，只有當(dāng)我們能真正采集和顯示完整的光場(chǎng)信息，才能創(chuàng)造真正的虛擬世界。

而與全景視頻相比，VR視頻允許人們?cè)谝曨l里自由移動(dòng)觀看——提供場(chǎng)景中任意位置的360度自由視角。而全景視頻是傳統(tǒng)視頻單一的觀看視角，拍攝機(jī)位在哪兒，觀看者就必須在哪兒。而如果是一部VR電影，那么傳統(tǒng)的“鏡頭運(yùn)動(dòng)、場(chǎng)景切換”可能都將被取代，由觀眾來(lái)決定鏡頭位置。你可以把VR視頻看成是“3D全景視頻+自由移動(dòng)”。

為驗(yàn)證光場(chǎng)技術(shù)的市場(chǎng)潛力，谷歌推出了“歡迎來(lái)到光場(chǎng)”App——在HTC VIVE、Oculus Rift和Windows 混合現(xiàn)實(shí)耳機(jī)上均可使用。下面我們來(lái)看一下它具體是怎樣操作的。

捕捉和處理光場(chǎng)

光場(chǎng)的特別之處在于，可以生動(dòng)地呈現(xiàn)現(xiàn)實(shí)中捕捉的2D連續(xù)鏡頭，并形成VR體驗(yàn)，因?yàn)楣鈭?chǎng)可以記錄進(jìn)入空間體量中的所有不同光線。同時(shí)，VR頭顯還可以支持定位追蹤。

這款相機(jī)設(shè)備僅需1分鐘就能四周擺動(dòng)，記錄下70厘米范圍內(nèi)數(shù)以千計(jì)的對(duì)外視角，這些提供了2英尺寬直徑的光線體量，同時(shí)決定了頂部空間的大小，一旦畫面處于處理狀態(tài)，用戶就需要轉(zhuǎn)動(dòng)頭顯捕捉畫面。從球體表面上的相機(jī)定點(diǎn)抽取光線，構(gòu)建一種從球體內(nèi)部向外看的獨(dú)特視角，配合用戶頭部的轉(zhuǎn)動(dòng)。它們被排列好，壓縮進(jìn)一個(gè)定制的數(shù)據(jù)庫(kù)中，由專業(yè)的繪制軟件讀取。目前谷歌已經(jīng)將它應(yīng)用于一項(xiàng)統(tǒng)一游戲引擎的插件中。

光場(chǎng)記錄世界

我們選擇了一些特別的地方試驗(yàn)光場(chǎng)記錄相機(jī)。其中，最喜歡加州帕薩迪納市的蓋博住宅中，那些用上漆柚木和紅木裝潢的室內(nèi)，威尼斯馬賽克房子上光滑的陶瓷片和閃耀的鏡子，西班牙格拉納達(dá)山上的St.tephen教堂里畫滿太陽(yáng)的彩色玻璃窗。最重要的是，在史密森學(xué)會(huì)航空航天博物館和3D 數(shù)字化辦公室的幫助下，我們進(jìn)入了NASA的發(fā)現(xiàn)號(hào)宇宙飛船內(nèi)。他們提供給我們?cè)谌嗽煨l(wèi)星駕駛艙內(nèi)宇航員的視角，這是之前從未對(duì)公眾開放過(guò)的。此外，谷歌還記錄了多種光場(chǎng)，并試驗(yàn)眼神交互如何能夠應(yīng)用在六自由度的物體空間內(nèi)。

“歡迎來(lái)到光場(chǎng)”試水

在《歡迎來(lái)到光場(chǎng)》中，7分鐘的導(dǎo)視體驗(yàn)，幫助用戶學(xué)到更多關(guān)于這項(xiàng)技術(shù)和位置的知識(shí)。之后，他們可以在走廊上自由地探索空間。

作為虛擬現(xiàn)實(shí)領(lǐng)域最具有變革性的新技術(shù)，光場(chǎng)同時(shí)提供雙目視差、移動(dòng)視差、選擇性聚焦三方面的視覺信息，從傳統(tǒng)的2D平面圖像提升到了4D光場(chǎng)圖像，極大地提升沉浸感和逼真度，模糊了虛擬和現(xiàn)實(shí)的邊界。盡管只是處于實(shí)驗(yàn)階段，但光場(chǎng)仍然達(dá)到了體驗(yàn)虛擬現(xiàn)實(shí)的新高度，希望“歡迎來(lái)到光場(chǎng)”得到大家的認(rèn)可。目前這款A(yù)pp已經(jīng)在Steam VR上推出。

可是，光場(chǎng)技術(shù)從拍攝到重建，再到顯示都需要從軟硬件各方面的共同配合。而如何從冗余的光場(chǎng)信息中實(shí)現(xiàn)超分辨率光場(chǎng)成像，也是亟待解決的一個(gè)問(wèn)題。不過(guò)，現(xiàn)在我們由衷地為VR向更真實(shí)畫面邁進(jìn)了一步，感到無(wú)比興奮。

編譯自《谷歌博客》《Tech crunch》

（責(zé)任編輯 姜懿翀）