探索VR內容創作的未來

一、VR創作與場面調度

問：您之前做過《西游記之大圣歸來》這么有名的作品，為何決定進入VR這個全新的領域？

米： Pinta Studio[2]大部分工作人員來自CG動畫電影行業，比如我是《西游記之大圣歸來》[3]（2015）的編劇，蘇昊丹是《白蛇：緣起》[4]（2019）的編劇，因為想做電影而聚到一起，又憑著對VR的興趣以及探索VR敘事的信念在做VR動畫。

我覺得VR是一個“試煉之物”，可以通過VR鍛煉敘事能力。雖然我們已經做過《西游記之大圣歸來》《白蛇：緣起》，但我對于目前的結果不是特別滿意，覺得我們在攝影、美術等方面與國外還是存在太多差距；而且， VR和電影的制作流程雖有相似之處，但本質上卻是一門新技術。忽然“闖入”二維世界的VR，豐富了動畫電影的維度，讓我們思考VR是否也能做動畫電影？于是我們希望通過VR搭建導演團隊，培養新導演，再通過VR反哺電影，達到長期穩定的團隊輸出，對公司的原創動畫電影創作提供幫助。比如，《拾夢老人》[5]（2017）是童話題材，《烈山氏》[6]（2018）想要嘗試VR動作戲，規劃的第三部作品有大量臺詞。我們的動畫公司一般要用四年制作一部作品，但中國動畫行業不能那么等下去。

我們團隊的VR短片規劃是能做到迪士尼的水準。雖然當下VR很難盈利，但我們已經在這領域積累了多年的寶貴經驗，所以不想輕易放棄。未來我們可能會嘗試先鋒的手段，做《親愛的安杰麗卡》[7]（Dear Angelica， 2017）那種更具實驗性、更縹緲與更有趣的影像。不過，我們是公司，也會兼顧盈利，在商業化方面做了很多嘗試，想把VR帶給消費者，讓大家都能參與到VR的樂趣中。

問： VR制作流程是怎么樣的？

米：導演負責掌控整個流程；編劇提供腳本；故事板要畫二維鏡頭； Layout （設計）出鏡頭設計，我們會在平面或VR里畫分鏡，但一般平面居多，因為用VR畫分鏡更挑戰體力，而且成本更高；建模要做出所有交互需要的設計，要重點把握物體比例、分鏡比例和敘事節奏；將做好的緩存導入引擎；導入引擎之后是渲染；再往后是做音效；最后一步，將影像打包測試，期間可能還需要并行修改，再輸出到各個平臺。一般來說，從創作到制作完成需要八個月左右，但由于每個平臺的輸出標準不同，比如輸出到HTC Vive和PS VR要采用不同的標準，就導致了最后一步非常漫長，可能我們的作品早就完成，但要反復調整測試，最后制作周期就會延長。

VR制作的好處在于，在前期的美術層面可以不斷地優化影像，比如能通過更新的方式重新建模。然而，我們可能要花三個月左右在輸出階段修復bug （問題）。當一處bug被修復，不是說便萬無一失，因為每次看完都可能會發現新的問題……于是我們想出了提高工作效率的辦法：三人同時看三臺機器打包的三個版本，然后匯總修改意見，繼續打包并檢查?！妒皦衾先恕肪褪窃谕崴箛H電影節截止前三小時才打包完成的。不過，問題還是可能存在。如果電影節組委會和我們的UE版本不同，或版本更新頻繁，那我們的努力就白費了，只能重新打包。做VR短片有一個很重要的時間節點就是各種電影節獎項投稿截止日。做VR短片和做動畫片的不同在于，動畫片能通過其它途徑比如各種網絡平臺被觀眾看到，而VR短片被人看到的唯一方式是進入電影節VR單元，所以電影節是我們重要的推動力，電影節的deadline （截止日期）就是我們的deadline。為了投電影節，甚至會出現最后三周通宵工作的狀況。

問： VR如何進行調度？

米：攝影機、聲音和燈光。VR行業目前的問題就在于沒有新工具去更新現有的調度，不存在用觸覺或嗅覺調度。

第一，攝影機其實是可以介入的，但它不能有很明顯的加減速，否則就會造成觀眾的眩暈。調度盡量做到直線運動，而不是弧線運動，這是運鏡時最基本的手法。

第二，因為全景聲有聲音的定位，你可以用各種聲音來引導觀眾往各個方向看。在《墻壁里的狼》（Wolves in the Walls）[8]里面，就是通過小女孩覺得墻里面有聲音的方式，引導觀眾去找聲音。聲音定位系統在游戲領域已經開發得差不多了，之前YouTube也解決了聲音定位的問題———當你轉動的時候，畫面聲音是跟著轉動的。蘋果公司出的 AirPods也更新了聲音定位技術。但是配樂不能定位，它會分散你的注意力。

第三，我們可以用舞臺式的燈光，通過在某些角度暗燈、某些角度亮燈的方式，吸引觀眾的注意力。我們還用了一些電影里用過的剪輯技巧，比如《飛屋環游記》（Up， 2009）有一個場景是講卡爾（Carl）的太太愛麗（Ellie）去世了，他坐在教堂里，然后站起來轉身走的時候，背景從教堂變成了他家門口———這種方式的轉場，在VR里是可以用的，因為人物是固定的，參照物是連續的，轉場的時候觀眾不會有出戲感。

第四，黑場也是一種轉場手段。之前有人總結過，如果在VR中直接轉場，觀眾可能會暈動；但如果有一個0. 3秒左右很短暫的黑屏，就像人眨眼的速度，觀眾就不會產生不適。背景切換在VR中存在技術難題，因為平面電影用兩張圖在做過渡，相當于是一個疊畫，但VR是三維模型，同樣的操作就會使畫面變成中間全是X光的感覺，也就是說模型是“透”的。三維世界的燈光更講究物理真實，必須用程序解決，于是我們專門開發了一個探照燈程序，當它全黑的時候，整個三維世界也會隨之變黑，反之亦然?！妒皦衾先恕肪陀昧诉@個程序。《烈山氏》也用了，不過《烈山氏》是反過來用———沒有照到的地方是純白色的，這是基于劇情畫面的需要：神農氏中毒時，要營造一個符合幻境的純白色空間。如果程序員也解決不了這個問題，我們就用最簡單、最原始的辦法———在攝像機前面加一塊黑布。

問：如何設計VR的人稱問題？

米：第三人稱視角的VR考驗觀眾對角色的體驗程度。傳統影視作品使觀眾養成了第三人稱觀看的視覺習慣，即鏡頭語言對我們來說已成為本能。然而， VR讓我們作為旁觀者去觀察角色的生活，如果我們僅僅以第三人稱觀看，而不主動進入故事，體驗就很一般。《烈山氏》是第三人稱的短片，更希望觀眾跟著神農氏體驗場景。相比，第一人稱視角的VR沒有那么高的要求，但存在性別認知、角色認知與物種認知的問題。

二、VR行業：艱難、沉寂與突破

問：《拾夢老人》《Ello Echo》[9]《烈山氏》的盈利狀況如何？

米：科普類的VR項目相對會有較好的盈利情況。譬如《星球》[10]（Sphere， 2018），可能存在多渠道的發行方向，買家可以直接購買其內容并放在天文館或者博物館展出，分賬也比較簡單。然而，影視敘事類的VR本質上沒有太多收益。

就我們的三部作品而言，由于VR是一個新興的內容載體，有些品牌會選擇植入廣告?！妒皦衾先恕凡唤杏?，叫收入。它有一個針對國內用戶設計的廣告版，在這當中我們做了一些“植入”：主角是一個收廢品的老人，他的家中擺著各式各樣好玩的物件，其中好幾件都是有植入的，比如二鍋頭；垃圾場周圍的高速公路有一塊廣告牌，上面是一個房地產廣告。另外，我們和天堂傘品牌也有資源互換的合作：天堂傘內面印有《拾夢老人》海報，品牌每賣一把帶海報的傘，我們便會得到相應的收入———我們的傘還是當季賣得最好的。

《Ello Echo》的收入主要依靠Apple?！禘llo Echo》是Apple在全球推出的第一款敘事類AR作品。我們當時給“蘋果中國”發這個項目，得到了他們的肯定，他們說在北美市場也沒有見過這樣的項目，所以就在春節期間順利地幫我們推了一波。后來，我們又做了《Ello Echo》的VR版。VR要在AR基礎上輸出，但比AR的精度高。

《烈山氏》的盈利則相對困難，因為它沒有那么多對口的收益模式。由于《烈山氏》是神農氏嘗百草中毒的故事，和醫療健康的關系比較密切，我們便和愛康國賓進行合作；除此之外，我們還和中草藥相關的食品合作過。不過《烈山氏》用UE制作，畫質更好，也更容易操作，省去了很多麻煩。

總體來說，我們的電影非常幸運，得到了國家廣電總局、國家電影局的資金支持；但國內VR行業還處于起步階段，普遍現狀是制作成本逐步降低，但收益卻也變得更低。譬如， Pinta的定位是科技公司，投資方會覺得科技公司“不差錢”，動畫公司又覺得你不是純動畫制作，很少愿意合作。歐洲行業狀況相對好許多，因為有各種文化類、藝術類的基金支持VR創作。

問：走VR這條路是否比電影艱難？

米：是的。第一， VR要投入的資金太多，制作成本巨高。第二，創業初期，我們想做更商業化而非實驗性強的VR作品，但不盡人意。VR從業者或多或少經歷著VR敘事的“瓶頸期”，尤其是疫情期間，全球VR影視方向的探索幾乎處于停滯狀態。最早的一批創業公司比如Oculus Story Studio[11]已經解散了，創始人帕爾默-洛基（Palmer Luckey）創立了新公司Fable Studio[12]，準備往人工智能方向發展； Google的VR敘事平臺也解散了。打個比方，就像《阿凡達》（ Avatar， 2009）出現之前，立體電影其實是處于井噴前的沉寂狀態， VR行業可能也有很多這樣的公司，除了探索敘事，還在積累一些科技方面的方向，悄悄地在硬件軟件上做突破。可以說， VR正在經歷“黎明前的黑暗”吧。第三， VR難以實現院線放映的效果。院線電影有一個統一的結束時間，但VR由于有交互性，會導致不同的觀眾有著不一樣的結束時間，難以協調。第四，大部分人才更愿意去更成熟的傳統游戲行業，而不是進入VR行業。

因為疫情，各行各業的發展都受到了沖擊，我們也開始接觸許多跟VR不相關的項目，大部分工作人員都是動畫電影行業的，所以知識是通用的。我們以前做過京東的葫蘆娃廣告項目，除了最終渲染不同，其他技術方面和動畫制作的方向是一致的。

三、VR：“講故事”的新媒介

問：電影和VR的區別是什么？

米：人類離不開“講故事”，電影和VR都要先把故事本身講清楚，做好場面調度和表演。區別就在于，電影是電影， VR是VR。電影是讓我們在銀幕上觀看； VR可能會在很長一段時間與電影并存，但VR是全新的媒介，它的視聽體系和電影不同，也就是說有自己的“玩法”，而且VR的終極形態不只會停留在“看”或交互上，它應該還會有更好的表達方式。

兩者最大的區別是剪輯。電影比VR更依賴剪輯，但不是說電影只需要剪輯，而是剪輯是電影創作的基礎知識。如果回到好萊塢黑白電影時期，我們會發現每個剪輯都很“省”，鏡頭調度考究；而現在很多電影的剪輯很零碎，包括年輕電影人在各類平臺上發布自己的作品，有些剪輯雖然漂亮，但目的性都不夠。

VR創作的特點在于“想剪也剪不掉”。在創作初期，創作者就得想清楚如何調度，如何利用360度空間讓觀眾去關注你的角色，相當于你從一個電影導演突然變成一個舞臺劇導演。既然是“舞臺劇”，又要考慮如何保持和觀眾的距離。比如希區柯克的電影，從坐下到站立，然后遠近，目光俯仰，都有它的意義，蘊含著人物之間關系的變化，這是電影攝影很重要的知識。電視劇《隱秘的角落》的電影感也很強，攝影考究，創作者在一個鏡頭停留的時間足夠長，能讓鏡頭講更多的信息。最初我們選擇VR，也想挑戰一下剪輯———拋開“花里胡哨”的手段，還能如何將故事講清楚？再回到電影創作，我會用更多的場面調度設計情節，會有更本能的反應去用ABC三節奏拍鏡頭，而不是一個鏡頭交代完一件事就切到下個鏡頭。

問：什么樣的題材比較適合VR？

米：動畫短片需要一個很強的“抖包袱”過程，但如何在VR里面抖這個包袱，創造更多奇觀，其實是一個逆向的過程。我們當時沒有刻意去想什么故事適合VR，不要想VR要需要哪種類型的故事，而是在拍完幾部作品后，思考哪種類型適合VR。

VR的意思是“虛擬現實”（virtualreality），我們做了很多作品后，發現VR更適合做超現實的題材，它們可能沒有很強的邏輯，但會制造出一種你在現實中體驗不到的沉浸感，讓我們的感受更加縹緲，比如夢境或虛幻畫面。譬如，《親愛的安吉麗娜》為我們呈現飄浮在宇宙的虛擬體驗；講宇宙起源的《星球》也令我震撼；《失明日記》[13]（Notes on Blindness， 2016）讓我們體驗盲人角色感受世界，我們靠聲音辨別迷迷糊糊的世界，短片背景則是盲人日記旁白，非常有意思，敘事節奏也掌握得很好。舉個例子，下雨時，畫面會從純黑漸漸轉為熱鬧的聲音；如果有小孩經過，盲人就能聽見小孩的腳步聲，短片把腳步聲視覺化成腳印，把風視覺化成風鈴飄動。

植入真人秀/實景、又有游戲理念的作品，也適合VR。真人秀作品用真實存在的道具彌補VR的感官缺憾，觀眾的嗅覺與觸覺得到舒展，使作品有更多的層次感。比如，在《愛麗絲漫游仙境VR》（Alice， the Virtual Reality Play， 2017）中，觀眾就是愛麗絲本人，當你走進一個房間，會有兔子給你餅干、讓你唱歌。《肉與沙》有一個從入場到出場的儀式感———體驗影片之前，我們就被“關”在寒冷的小屋里面，觀看墨西哥偷渡客的包與鞋，等到時間差不多再光腳進入空間，就和影片一樣踩在沙地上；影片結束，我們要從長廊出去，墻上掛著影片中墨西哥邊境的鐵板，照片中的人就是我們剛才看到的角色。三維建模也做得很好，當影片的直升機飛過，我們也能感受到風吹的感官體驗。

我在威尼斯電影節體驗最好的一部作品叫《恐怖的虛擬現實》（ The horrifically real virtuality， 2018）[14]。體驗這部作品時，導演不在現場，技術也沒完全到位，工作人員就隨機選擇了幾位觀眾幫忙拍完其中一段。短片場景像德古拉城堡，我們負責拿著攝像機幫忙運鏡，其中一位老人將吸血鬼演得惟妙惟肖。導演來了后，說這部作品是masterpiece （杰作），我們的參與很重要，然后就開始實時剪輯，不到一會兒就完成了。進行完整觀看時，我們發現自己身處一個虛擬的電影院門口，又看到自己坐上了飛碟，進到劇院，隨后就到了剛才幫忙拍攝的場景，感到非常驚喜。這部作品實際上是一個藝術品，敘事一般，但在交互設計這塊很有意思，有非常多的層次感，我們既是創作者也是角色。很多電影節作品通過豐富的維度讓我們獲得更好的體驗，勝于游戲。

從個人創作出發， VR可能更適合超現實題材。實拍少了Z向的維度，但在5G時代，新的算法在壓縮體量方面應該問題不大。目前VR創作的普遍問題在于做得很商業，故事過于簡單。我更希望VR成為娛樂項目而非先鋒藝術，所以對很多“形而上”的作品談不上太多喜歡。我認為拍VR恐怖片會很有意思。

問：從敘事和互動的比例看， VR和游戲的界限在哪里？

米：保持導演推動敘事和觀眾做選擇推動敘事的平衡是創作難點，但無論用何種方式推動敘事，都需要設計更多交互。如何定義交互屬于敘事還是沉浸？我們做過一些很隱性的嘗試，大部分集中在視聽方面。比如傳統影視有越軸的問題， VR怎么解決？我們準備了很多攝像機，如果觀眾“越界”了，下一個鏡頭就要馬上智能切換———這是我理解的交互。以《拾夢老人》為例，如果觀眾走到了另一個角度，那么下一個鏡頭就和剛才的鏡頭有所差別，會提供一個更自然的角度。還有一種情況：觀眾不做選擇，或可能每個觀眾做出不同的選擇，但都不影響劇情發展，兩個情節的出發和結束是統一的。我們不想讓觀眾感到自己在做選擇，否則這作品應該定義為游戲。

游戲的敘事和互動比例比較均衡，但游戲對VR創作的借鑒意義不大，因為如果觀眾要在游戲中看動畫，是一件冒險的事。我覺得偏敘事化的游戲已經到“天花板”了，敘事到了一定高度，更容易被用戶“挑剔”，比如任天堂的游戲《塞爾達》；但使用戶沉浸其中的游戲肯定離不開敘事，比如，《半衰期》（Half-Life）加入了非常電影化的敘事，讓觀眾化身角色愛莉克斯（Alyx）。我認為游戲屬于另一個領域，今后應該也不會嘗試。

影像和游戲的界定很模糊，但游戲中可能存在新的敘事。以《最后的戰役：劫后余生》（The Last Stand： Aftermath）為例，雖然玩家到處撿垃圾，但同時有一個角色和玩家進行對白———玩家無所事事地在空間里轉悠的不確定性，我覺得就是一種很“高級”的敘事。但這種轉悠行為也可能破壞敘事：游戲一開始，玩家想要殺死每個敵人，但進入游戲后，玩家就只在城里到處撿物資、撿巧克力與撿剪刀，報仇的心態就淡了，等游戲結束再恍然大悟“沒有報仇！”如果這種行為叫敘事，我覺得它是失敗的。當然，在撿垃圾過程中也有一些隱藏的懸念或線索，比如玩家通過死去朋友的書信感受游戲世界，不能全部否定。

問：想過用AR做作品嗎？比如觀眾拿著手機探索故宮，或嘗試偵探類AR？

米：探索故宮這種科教項目很有想象空間。偵探類AR需要設計劇情和場景，屬于游戲設計，沒有那么簡單。

我們團隊更擅長敘事，而軟件工程師或游戲行業從業者更關注互動。我們開發了《ElloEcho》的AR動畫版本：第一， AR是社交性更強的XR。VR的沉浸感體驗是屬于個人，但是就現階段來說，觀眾更希望能產生共鳴。第二， AR基于手機，更加便攜，比VR一體機有更廣闊的受眾市場。目前我們的市場還沒有一個很好的應用軟件發掘AR的可能性，《ElloEcho》AR設計了一個很有意思的點：所有人都能和Ello合影。第三， AR沒有VR強烈的沉浸性，但AR提供了另一種趣味———“偷窺”角色。我們看到的AR世界是微觀世界， AR中的Ello非常“迷你”，會激發觀眾的憐愛欲。

問：現階段有一種看法認為， VR是一種world building，那么您認為在VR中美工設計更重要還是內容劇情更重要？

米：我覺得為敘事服務的美術設計最重要，美術要做到匹配故事的程度。比如講廢墟的故事，就對廢墟提出了很高的要求。World building是另外一個方向，做物理引擎的部分人員叫simulation everything，會從world building方向模擬整個物理世界。但是，這種simulation everything可能是未來虛擬現實的做法，要先扔個種子，五年后長棵樹，然后長果子?，F在各種特效的simulation是基于鏡頭的，不可能做到一個“雞生雞蛋”，我們拿工具把雞蛋敲碎，慢慢固化成一個煎蛋，這個流程我們是模擬不了的———因為中間是“切”過的。我覺得現階段不著急做world building，它需要太多技術投入。

問：短視頻使每個人都能成為創作者， VR的可能性大嗎？

米：集體創作有一個前提，就是大家都能觸摸到藝術創作的門檻。每個技術的萌發期都會伴隨許多創意，創作者熱衷于用新的媒介表達深層的思考，花費了很多精力與成本做研究，研究內容也偏向深刻。但是對創作者而言， VR是一個難點。我在北京航空航天大學開了一門VR選修課，課程初衷是鼓勵學生進行VR創作，學生的選課初衷也是基于對UE、交互設計或數字媒體的興趣。但實際上， VR創作難度太高，學生對三維短片的知識儲備不太夠，更別提要先學習如何用新的引擎制作VR，而且，學生接觸VR設備的普遍反應是“很辛苦”：首先，為了看一部作品，要經歷“摘眼鏡———戴頭顯———摘頭顯———戴眼鏡”的過程；其次，他們會因為看到一部好作品而感動，有學生甚至覺得VR的沖擊力遠遠大于傳統敘事，對VR表現出強烈的興趣，但當我稍微講如何制作時，學生的興趣就降下來了。更何況對大眾而言， VR本身的技術門檻和觀看門檻都比較高，很難實現集體創作。實際上，目前攝像機都沒有普及，后期制作也有技術門檻。即便給一部Blackmagic的4G相機，有人能做好拍攝工作，但后期也未必能跟得上。

當一個媒介的拍攝和制作方式簡單到只需要按著大拇指就能拍的時候， UGC模式（ User Generated Content，用戶原創內容）才會出現。目前來看，只有手機短視頻能做到這個程度：每個人都有手機，操作也非常便捷。整個劇情行業已經轉向短視頻形式制作了，我們公司也是短視頻數據比較好。然而，我們也不用對VR感到悲觀，雖然VR還沒有普及，但已經開始影響我們的生活了。

注釋

[1]米粒： Pinta Studio聯合創始人，資深動畫導演。曾就職于追光動畫、十月數碼、青青樹等原創動畫電影公司，參與《大圣歸來》《搖滾藏獒》《小門神》《阿唐奇遇》《白蛇：緣起》等動畫電影的主創工作，具有豐富的動畫電影立項、編導及制作經驗。見官網介紹： http： / / www. pintastudios. com/ team

[2] Pinta Studio （平塔工作室）是中國著名的動畫工作室， VR作品有《拾夢老人》《烈山氏》《Ello Echo》。

[3]《西游記之大圣歸來》是田曉鵬導演的動畫電影，獲第30屆中國電影金雞獎“最佳美術片”。

[4]《白蛇：緣起》是黃家康和趙霽導演的動畫電影，獲第29屆安錫國際動畫節“長片水晶獎”提名，第32屆中國電影金雞獎“最佳美術片”提名。

[5]《拾夢老人》是米粒導演編劇的VR動畫，入圍第74屆威尼斯電影節VR電影單元“最佳VR電影”單元。

[6]《烈山氏》是米粒和王錚導演的VR動畫，入圍第75屆威尼斯電影節VR電影單元“最佳VR電影”單元。

[7]《親愛的安杰麗卡》是薩施卡·昂塞爾德（薩施卡·昂塞爾德）導演的VR動畫，獲第69屆艾美獎“優秀原創互動節目”提名。

[8]《墻壁里的狼》是VR工作室Fable Studio出品的VR動畫，入圍圣丹斯電影節與翠貝卡電影節。相關信息見官網： https： / / fable-studio. com/ wolves-in-the-walls

[9]《Ello Echo》是蘇昊丹導演的VR動畫。

[10]《星球》是埃莉莎·麥克尼特（Eliza McNitt）導演的VR作品，獲第75屆威尼斯電影節VR電影單元“最佳VR電影”。

[11] Oculus Story Studio是著名的VR工作室，代表作有《親愛的安杰麗卡》、《亨利》（Henry）和《迷失》（Lost）等。

[12] Fable Studio代表作有《墻壁里的狼》。更多信息見官網： https： / / fable-studio. com/

[13]《失明日記》是詹姆斯·斯賓尼和皮特·米德爾頓導演的VR作品，入圍第70屆英國電影學院獎。

[14]《恐怖的虛擬現實》入圍2018年威尼斯電影節VR單元。更多信息見官網： http： / / digitaldozen. io/ projects/ the-horrifically-real-virtuality/