互動視頻 更進一步的虛擬現實

技術宅

最近虛擬現實（VR）非常的火熱，不過VR雖然可以給我們帶來虛擬真實的體驗，但是這種體驗大多基于虛擬畫面，用戶并不能進行實時互動。麻省理工學院目前開發出了一種互動視頻技術（Interactive Dynamic Video），則可以讓用戶和視頻進行觸摸互動體驗。效果就類似星球大戰中的絕地武士那樣在屏幕中制造波瀾，即使隔著一個次元的屏障。那么什么是互動視頻技術？這種技術是怎么實現視頻的觸摸互動？又會給我們的生活帶來什么樣的影響？

科技掃盲 互動視頻是個什么鬼

使用過VR設備的朋友都知道，當我們帶上類似Oculus虛擬設備觀看視頻時，我們可以進入更加真實的視頻世界。但是無論這個虛擬體驗有多么真實，作為觀眾永遠只是旁觀者，我們只能觀看視頻，而無法與視頻進行互動交流（圖1）。

為了能夠讓用戶和VR視頻有更多的互動體驗，麻省理工學院開發了互動視頻技術。這種技術可以讓我們在觀看視頻的同時進行觸摸交流，比如在演示視頻中，虛擬的皮卡丘出現在草叢中后，用戶只要拖動鼠標，草叢就會動起來，這個效果就像生活中的真實場景一樣（圖2）。

觸摸視頻 認識互動視頻背后的原理

互動視頻的亮點就是互動，即用戶可以通過鼠標、觸摸等操作讓視頻中原來靜止不動的物體“動起來”，從而獲得更加真實的體驗。比如在上述演示視頻中，原來畫面中的草叢實際上是靜止的，但是通過觸摸操作可以讓其晃動，這樣在虛擬皮卡丘跳躍到草叢后草叢會晃動，感覺就像生活中真實的場景一樣。那么這種視頻互動的效果是怎么實現的呢？

大家知道，現實生活中的物體如果受到外力的作用，物體就會發生震動。這樣要讓視頻中原來靜止的物體能夠和用戶的觸摸進行互動，傳統的方法是使用3D建模來建立互動式模擬，通過建立虛擬3D模型實現和用戶的互動。這種3D建模方法可以讓用戶通過觸摸虛擬3D模型獲得互動，但是3D建模技術難度大，3D渲染需要花費大量的時間，而且也不是每一種物體都可以進行建模。因此這種傳統3D建模技術無法在常見的VR場景中大范圍使用（圖3）。

麻省理工學院現在開發的視頻互動技術則繞開3D建模。開發人員首先利用攝像機預先拍攝禁止物體在受到外力作用下的微小震動視頻（最短只需5秒的視頻片段）。接著開發人員利用一個算法來生成一個預測模型，通過這個模型來預測出該物體在其他外力下產生的震動模式。獲取物體預測震動模式后，研究人員還會將該模型和物體在實際外力作用下的震動進行比較并進行校正，這樣進行多次算法修正后，這個預測模型就可以比較真實地反映出物體在外力作用下的震動了。這樣通過將視頻互動化，分析并預估出物體如何應對各種未知作用力，探索出了視頻交互的新方式（圖4）。

我們以上述Pokemon Go游戲為例，開發人員首先拍攝視頻畫面中草叢在外力作用下的震動視頻，通過算法和預測模型就可以預測出草叢在小精靈附著時的震動狀態。這樣當游戲中的小精靈出現在草叢上面的時候，草叢就會由于這個虛擬物體的作用而出現相應的震動，看上去就像有個真正的實物落在草叢中。同樣的，當我們使用手捕捉小精靈觸碰到手機攝像頭展示的草叢時，手機上顯示的草叢也會發生相應的震動，整個的游戲操作就像是在現實生活中真實的觸碰，可以讓VR游戲擁有更為逼真的游戲場景（圖5）。

不僅僅是觸摸 互動視頻技術發展前景

通過上述介紹，我們知道視頻互動技術可以讓我們觸碰虛擬視頻中的物體并獲得反饋。在游戲領域，該技術的出現可以讓讓我們獲得更為真實的體驗。比如在一些VR射擊游戲中，使用互動視頻技術后，用戶通過扣動虛擬槍械可以獲得像在使用真槍一樣的感覺，如開槍后的后座力震動、扣動扳機后的形變等。這種游戲感覺是不是讓人神往？

互動視頻技術還可以應用在購物領域，在VR購物中我們可以在遠程真實看到需要購買的物品，如果結合視頻互動，那么用戶就可以獲得更加真實的購物體驗。比如一些絲綢衣服，用戶甚至可以通過觸摸布料，通過布料的變形來判斷質量的好壞，整個購物體驗就像是你在實體商場購買衣服。這種全新的購物體驗自然可以讓大家更有買、買、買的沖動。

當然類似的應用還可以用在很多領域，比如橋梁設計，通過橋梁模擬受力形變來獲得承重參數。這項技術用于電影制作中，可以通過算法模擬出真實世界的情景，可以簡化特效師的工作，打造逼真的視覺效果，通過這種虛擬受力獲得更多的特技效果等。