飛行影院之節目畫面研究

詹振預

(中影電影數字制作基地有限公司,北京 101400)

在慶祝中國共產黨成立100周年之際,筆者有幸參與了中國共產黨歷史展覽館飛行影院的節目生產制作,為把節目制作出最好的效果,對飛行影院節目的畫面 (以下稱 “節目畫面”)特殊展現形式進行了深入研究。

飛行影院在一些博物館、娛樂城已有建設,但節目效果參差不齊。首先,節目畫面顯示質量不好,存在畫面清晰度或對比度不夠、亮度不足、畫面拼接縫明顯等問題；其次,節目體驗效果不佳,節目沒有發揮飛行影院的特點,沉浸體驗感差。這些問題主要緣于節目制作過程中缺少對節目的深入研究和相關研究結果的借鑒。對節目技術細節理解透徹,制作效果就相對好些；若理解得少,完成效果就較為一般。

1 飛行影院——沉浸感節目系統

飛行影院與VR影院一樣,都屬沉浸感節目系統,注重第一視角的觀感體驗,兩者具有一定相似性和可參考性。VR影院設備一般是頭戴式VR眼鏡,是一種可360度任意角度觀看全景畫面的設備,體驗者主動旋轉或移動位置,即可獲得視角和空間上的變換,具有非常真實的沉浸體驗感受。飛行影院無法讓體驗者像使用VR眼鏡一樣隨意改變觀看視角,而是反其道而行之:體驗者無需主動旋轉或位移去改變觀看視角,而是通過畫面視角的移動變化、動感座椅配合對體驗者體位調整,讓體驗者有坐在飛行器上或汽車上穿梭場景的沉浸感受。

沉浸感節目是體驗者置身在節目畫面的包圍空間中,配合動感座椅及其他感知道具,以及精準的聲音定位,與畫面融為一體,達到畫面、空間、動作、聲音合一,帶來真實的沉浸體驗感受。若僅有很強的畫面包圍感,但畫面的透視、運動與體驗者不能完美匹配,甚至錯位失真,體驗者不可能有真實的沉浸體驗感受。通常平幕節目的畫面對體驗者無法產生包圍感,不能營造較好的沉浸體驗。沉浸感節目的畫面還需有聲音的包圍與定位相匹配,可通過全景聲定位技術實現。

畫面包圍感可理解為以體驗者為球心的一個球形曲面幕上顯示的畫面包圍體驗者,把球體畫面平面展開得到的就是VR形式的全景畫面,水平360度,縱向180度。在飛行影院中,體驗者不改變觀看視角,在其主視覺區域和余光區域顯示畫面,就能讓體驗者感受到畫面包圍感,因此飛行影院顯示的畫面只需全景畫面局部裁切即可 (以下稱 “全景裁切畫面”)。

2 不同坐標空間畫面定義及相互邏輯關系

要做好沉浸感節目,須先了解節目畫面與體驗者、攝影機、銀幕、投影機等之間的邏輯關系,即畫面與以不同物體為參考坐標原點的空間對應關系。四個參考主體對應四種坐標空間畫面:通過體驗者看到的畫面,就是以體驗者為球心的全景畫面,稱之為體驗者空間畫面；攝影機模擬體驗者第一視角拍攝的畫面,即體驗者看到的畫面,也是攝影機所要拍攝的全景畫面,稱之為攝影機空間畫面；在影院中,銀幕上顯示的畫面為銀幕空間畫面；銀幕上的畫面一般是使用投影機進行畫面投射,投影機投射的畫面稱為投影機空間畫面。

理論上,上述四種坐標空間畫面均指各自的全景畫面。在沒有特別說明的情況下,本次研究中的銀幕空間畫面和投影機空間畫面僅指所要顯示局部區域的全景裁切畫面,體驗者空間畫面也僅指以體驗者觀看銀幕范圍的全景裁切畫面,但攝影機空間畫面仍指360度全景畫面,該全景裁切畫面或拍攝所需區域畫面則稱攝影機空間全景裁切畫面。

飛行影院系統從外部接收的節目畫面,一般是適配好的銀幕空間畫面,稱之為輸入畫面。輸入畫面用于銀幕顯示,由節目所需的攝影機空間全景裁切畫面轉換而成。攝影機空間全景裁切畫面與體驗者空間畫面的畫面是一樣的,但環節不一樣,前者是獲取素材,后者是觀看結果。現有攝影機受物理條件限制,無法直接拍攝全景畫面,可通過拍攝的普通畫面或魚眼畫面轉換而成,角度范圍不足時可多角度拼接,但三維CG軟件一般可直接渲染輸出全景畫面。

3 根據銀幕環境確定相關畫面尺寸

節目畫面需要在銀幕上顯示才能被體驗者觀看,銀幕的物理環境是討論節目畫面的基礎所在,其形狀、大小、位置決定了特定空間的畫面。本研究以中國共產黨歷史展覽館飛行影院為研究基礎,其銀幕尺寸圖如圖1所示。該飛行影院中間區域采用以球體為基礎的球形曲面幕,在左右兩側又分別連接了以柱體為基礎的柱形曲面幕,總稱異形曲面幕。

圖1 飛行影院銀幕尺寸圖

前排座椅中間位置為該飛行影院設計最佳體驗位置。落座于該位置的體驗者空間畫面角度為水平200度,縱向67度,視覺中心在體驗者正視方向上；攝影機空間全景裁切畫面與體驗者空間畫面角度相同；銀幕空間畫面角度為水平210度,縱向74度,銀幕的畫面中心與視覺中心并未重合,在縱向上有一定偏差。通過角度調整,擴展銀幕空間畫面下方區域,使銀幕空間畫面中心與視覺中心重合,此時銀幕空間畫面縱向角度擴展到79度,畫幅比2.66∶1,即飛行影院系統輸入畫面的畫幅比。

輸入畫面大于銀幕的顯示范圍意味著顯示時需做裁切,所以攝影機空間全景裁切畫面也需在縱向上進行同比例補償,把縱向擴展到71度,畫幅比為2.82∶1。從攝影機空間全景裁切畫面到輸入畫面轉換,兩者畫幅不一致,但畫面內容一致的,通過畫面縱向拉伸完成畫幅調整。

該飛行影院異形曲面幕平面展開后,銀幕尺寸水平方向約20.5米,縱向約7.2米,視覺中心與體驗者的距離約5.9米。理論上人眼的分辨率可達20角秒,在亮度、對比度等因素影響下,人眼正常分辨率為1～2角分,根據角度換算公式:

1度=60角分=3600角秒

1角分=0.000291弧度

同時由于動態影像人眼動態分辨率會比靜態分辨率有點減弱,按1.5角分計算人眼分辨率,即像素點大小,計算銀幕顯示畫面所需的分辨率為:

1.5角分=0.0004365弧度

人眼分辨長度=弧長=弧度×半徑=0.0004365×5923毫米≈2.585毫米

銀幕橫向分辨率=20500/2.585像素≈7930像素

銀幕縱向分辨率=7180/2.585像素≈2778像素

縱向擴展后分辨率=2778×79/74像素≈2966像素

7930×2778 是銀幕實際顯示需求的畫面分辨率,擴展后的輸入畫面分辨率是7930×2966。若銀幕是自發光的LED顯示屏,輸入畫面滿足實際顯示需求的畫面分辨率即可。本研究影院銀幕環境由多臺投影機投射畫面拼接而成,輸入畫面需切分出各自投影機顯示區域,再轉換成各自投影機空間畫面,經對應投影機把畫面投射到銀幕上。轉換過程就是畫面變形矯正過程,對輸入畫面設置一定操作冗余,確定輸入畫面最終分辨率為8000×3000,畫幅比2.67∶1。攝影機空間全景裁切畫面與輸入畫面的分辨率橫向相同,縱向不同,則攝影機空間全景裁切畫面分辨率為8000×2837。

4 飛行影院的高分辨率顯示方案

本研究影院使用多臺4K投影機投射,單機分辨率為3840×2160。3840＞2778＞2160,投影機采用縱向放置拼接投射,只需在水平方向上拼接,接縫按10%損失,計算水平方向上的有效分辨率。

單臺投影機:2160×90%=1944

多臺投影機:1944×4=7776＜7930＜1944×5=9720

通過計算,采用5臺投影機可滿足銀幕顯示畫面分辨率7930×2778的投影需求。

在高分辨率銀幕顯示中,多臺投影機投射拼接仍為主流方案,但在制作中需要盡量避免其不足所造成的影響。其一,投影機一般無法投射百分百的純黑,融合處理時,黑色和暗部畫面在拼接區域會出現顯示亮度不均,造成融合失敗,應盡量避免。其二,投影機在曲面幕投射畫面時,畫面需進行坐標空間變換矯正,會影響畫面銳度,導致畫質降低。多投影機拼接顯示方案雖有不足,但性價比高,保證輸入畫面有較好清晰度、銳度和足夠分辨率,仍可以較高畫質顯示。

想解決上述問題,可采用更好方案——LED顯示屏,運用LED點陣顯示畫面可解決畫面影響問題。LED顯示屏具備高亮度、高對比度、廣色域等優勢,不足之處就是高價格、高耗電等。本研究影院銀幕顯示像素點的最佳分辨長度為2.585毫米,單個LED發光單元需小于這個尺寸,例如P2.5型號的LED就可滿足需求。隨著LED顯示屏的技術指標進一步提升,價格逐漸下降,LED顯示屏將在電影行業加快推廣應用。

5 飛行影院節目畫面的拍攝制作

影院的節目畫面主要通過拍攝或CG制作完成,攝影機空間全景裁切畫面與體驗者空間畫面一致,拍攝 (或CG)相機模擬體驗者第一視角觀看和運動,與體驗者實際觀看視角和運動相匹配。拍攝制作流程較為復雜,CG制作流程相對簡約,本節重點研究拍攝制作詳細流程。

5.1 無人飛行器的選用

本研究影院所需制作的節目包含大量飛行體驗鏡頭,為了能讓體驗者真正領略到飛行翱翔的感覺,攝影機需模擬鳥類或飛機的視角與速度拍攝,主要通過飛行器掛載攝影設備拍攝完成。大型飛行設備有較高的飛行高度與速度,體驗感強,但飛行條件受限大且費用高昂,一般較少采用。近幾年,小型化無人飛行器快速興起,其飛行受限較小,費用越來越親民,因此此類飛行器的航拍得到廣泛應用。在帶來很多便利的同時,小型化無人飛行器也有缺點。例如設備采用電池供電,單次的飛行時間和距離受限；飛行速度和高度受限；起飛重量受限；抗氣流干擾能力較差,影響飛行穩定性。

在小型化無人機民用領域,較知名的有大疆、司馬等品牌,如大疆御、悟系列的輕型無人一體機,內置攝像系統、穩定系統,一般為4旋翼,起飛重量有限,不能加載其他拍攝設備,設備價格低、重量輕、續航長,拍攝任務中可作偵察機選用。更大起飛重量的專業無人機,如Freefly ALTA6、志翔Z1等專業級無人機設備,一般為6旋翼以上,負載能力大,可搭載專業的攝影設備,費用也相對較高。無人機設備選用以滿足應用為主,不同品牌之間設備功率和操控性也不盡相同,在滿足飛行任務情況下,應選用飛手熟悉的機型。

根據本研究影院節目的拍攝內容和拍攝任務需求,對無人機拍攝團隊的設備要求如下:

(1)6旋翼以上的專業級無人機；

(2)無人機凈載重量10公斤以上；

(3)每組電池的單次飛行時間不少于10分鐘；

(4)無人機遙控距離 (可飛行最遠距離)1千米以上；

(5)無人機實時圖傳距離 (可提供攝影機實時監控畫面)1千米以上；

(6)無人機動力電池組 (可一次性供完整拍攝次數)不少于5組；

(7)預備電池充電方案,每日無人機拍攝總時間不少于60分鐘；

(8)提供偵察機,為主拍攝方案提供路線偵察和試飛；

(9)提供應急備機方案。

無人機團隊根據項目拍攝任務,確定選用的無人機設備如圖2所示。偵察機采用大疆悟Inspire2一體機,志翔Z1、Freefly ALTA6為拍攝無人機。經測試試飛,設備滿足拍攝任務要求。

圖2 本項目選用的無人機設備

5.2 無人機掛載拍攝設備的選用

攝影機空間全景裁切畫面角度為水平200度,縱向71度,畫幅比2.82∶1,分辨率為8000×2837。經過調查分析,可滿足此全景畫面角度拍攝的設備主要有三種類型:高分辨率VR拍攝一體機、多攝影設備拼接拍攝、單機8 K魚眼拍攝。

5.2.1 高分辨率VR拍攝一體機

VR拍攝一體機設備為一體化設計制造,使用及攜帶都非常方便,廠商為用戶預制從拍攝到VR輸出的完整使用方案,全景畫面角度范圍水平360度,縱向180度,滿足輸入畫面的角度需求。

大部分VR拍攝一體機輸出的全景畫面最大分辨率僅為8 K×4 K,Insta 360影石Titan VR攝影機可支持輸出11 K全景畫面,是目前了解到可輸出最大分辨率的VR拍攝一體機。設備采用8×M4/3傳感器,九軸陀螺儀,單鏡頭180 Mbps的碼流,最終可輸出10560×5280的VR全景圖像。經拍攝測試,對于光線充足場景,銳度及清晰度都較高,拍攝效果不錯；但光線相對不足或處于暗部及陰影區域,畫面顆粒噪點明顯。設備采用10bit Pro Res 422 HQ記錄時能較大改善畫質,該模式僅支持最大8 K視頻分辨率拍攝；11K視頻拍攝時,僅支持8bit H.264/H.265記錄,對畫質有較大影響。設備自帶Insta 360 Stitcher拼接軟件,支持陀螺儀穩定計算和光流計算。在拼接時,畫面中仍會存在拼接錯誤區域,甚至很難修正,如圖3所示。11 K分辨率的全景畫面,其節目有效的全景裁切畫面分辨率僅為5867×2083,與節目所需分辨率差距較大。全景畫面角度完整,圖像質量中等,分辨率不足,但操作方便,無法選為主攝方案,可作備機方案。

圖3 畫面拼接中存在錯誤

5.2.2 多攝影設備拼接拍攝

多臺攝影設備拼接拍攝,相關方案較多,方案應保證足夠的拼接融合區域和較少的接縫數量,為保證中心畫面的完整性,中心畫面需獨立拍攝,即在拼接方向上采用奇數拼接。由于需掛載無人機拍攝,首選畫質好、重量輕的攝影設備,適合拼接的設備主要有GoPro、APSC微單相機、全畫幅微單相機等類型攝影設備,列舉選用的多攝影設備拼接拍攝方案對比,詳見表1。

表1 多攝影設備拼接拍攝方案對比

經過分析,索尼A6400 APSC微單、索尼Alpha 1微單、佳能EOS R5均可滿足拼接需求。但由于索尼A6400 APSC微單為5機拼接,接縫數量多,重疊區域范圍有限,后期拼接難度大,不推薦使用；索尼Al pha 1微單市場缺貨嚴重,很難湊齊設備,只好放棄；佳能EOS R5測試拍攝8 K視頻時,設備發熱嚴重,經常進入過熱保護狀態,無法進行后續長時間的拍攝,放棄采用。多設備拼接方案還存在無法完美拼接邊緣融合問題,設備連接需定制支架,存在調試不佳導致拍攝失敗的風險,最終放棄選用多攝影設備拼接拍攝方案。

5.2.3 單機8K魚眼拍攝

攝影機空間全景裁切畫面為水平角度200度,重點了解200度以上的超廣角魚眼鏡頭,并對部分鏡頭進行畫質測試。經測試,拍攝的畫面多數是在畫幅內圓形成像或者畫幅短邊裁切的圓,成像范圍小,畫質普遍不高；攝影機視頻分辨率基本都在8 K以內,再裁切出所需畫面,有效分辨率遠不足8 K。

一款影視級大畫幅220度超廣角魚眼鏡頭Entaniya Fisheye HAL 220 PL采用更換墊片方式調節焦段,可對成像范圍進行控制。經測試評估,成像質量大大超越常見魚眼鏡頭,拍攝畫質完全可被節目使用。遺憾的是,當鏡頭在最長焦段拍攝時,成像范圍仍無法充滿整個傳感器,有效分辨率仍是不足；可喜的是,這款鏡頭已經有了升級版,從參數看能滿足拍攝需求,經過廠商渠道的努力,項目組快速拿到了升級版鏡頭的測試樣品。

這支升級版鏡頭Entaniya Fisheye HAL 220 LF是一只220度的魚眼鏡頭,同樣可通過更換墊片方式進行焦段調節,焦段范圍為9.1～12.6 mm,可用于ARRI、RED等專業級攝影機拍攝。從畫質和重量兩因素考慮選用了RED Monstr o 8 K VV專業攝影機,設備重量僅1.52kg,傳感器尺寸40.96×21.60 mm,17+動態范圍,拍攝視頻分辨率8192×4320,支持Pro Res 422 HQ 30f ps記錄視頻數據。經拍攝測試,魚眼畫面轉換成全景畫面后的有效分辨率基本滿足需求。

5.3 定制拍攝方案

經對比分析測試,選定志翔Z1+RED Monstr o 8 K VV+Entaniya Fisheye HAL 220 LF作為主力拍攝機型,FreeFly ALTA6+Insta360 Titan 11 K VR為輔助拍攝機型。攝影機空間全景裁切畫面為水平200度,縱向71度,設備均能滿足拍攝需求,但由于拍攝所需角度較大,導致無人機的旋翼很容易被拍進有效畫面內,為解決這個問題,需對選定設備進行合理定制。

輔助拍攝機型定制,Insta360影石Titan是VR攝影一體機,360度無死角拍攝,無人機自身無論如何都會被拍攝進畫面,只能通過加大攝影機與無人機之間的距離實現無人機在畫面中成像面積的減小,減少對畫面影響。該VR攝影一體機機身小巧,重量中等 (5.5kg),采用1.2米以上連接加長桿,如圖4所示,可避免無人機被攝進最終有效畫面內,且無人機也能安全穩定飛行。

圖4 輔助拍攝機型定制

主力拍攝機型定制采用220度魚眼鏡頭拍攝,無人機旋翼會被攝入有效畫面內,有三種常規解決思路:(1)采用扣拍方式可避免旋翼入畫,但拍攝角度與實際拍攝需求不相符合,不可采用；(2)加大攝影設備與無人機之間距離,但由于主力拍攝機型設備所含攝影機、鏡頭、云臺等,整體重量已接近10kg,接近無人機掛載上限,重量和距離的增加會導致無人機飛行受擺動影響增大,加大飛行安全風險,應避免采用；(3)攝影機往前放置,即在旋翼外側裝置攝影機,避免旋翼被攝入有效畫面,掛載設備偏離無人機重心線,因增加配重平衡而造成負載增加,超過無人機掛載極限和飛行能力,無法采用。三種常規思路均無法采用,問題沒有解決,經仔細分析研究,對思路 (3)進一步拓展,即把無人機動力電池當作配重使用,定制一個杠桿支架,一端放置攝影設備,另一端放置電池組,可不增加負重,解決無人機平衡問題,如圖5所示。

圖5 主力拍攝機型定制

5.4 畫面拍攝與轉換處理

采用輔助機型Insta360影石Titan 11 K拍攝,拍攝時只需重點關注攝影機的飛行路線,無需關心鏡頭角度,后期可二次調整畫面角度,但無法改變透視關系,通過專用軟件Insta360 Stitcher拼接處理,輸出360度11 K的全景畫面。根據節目需求,最終攝影機空間全景裁切畫面為水平200度,縱向71度,分辨率5867×2083。為符合影院系統輸入畫面要求,需對畫面作縮放變形處理,使分辨率為8000×3000。

主力拍攝機型拍攝畫面處理流程,根據魚眼鏡頭Entaniya Fisheye HAL 220 LF官方提供的RED Monstro 8 K VV傳感器成像范圍適配圖,如圖6所示。從適配圖上分析,按水平200度和縱向71度計算,11.7 mm焦段能夠在傳感器成像面積最大化,但經測試,從魚眼畫面轉換成全景畫面時,全景裁切畫面的四個角落會產生暗角,如圖7所示,畫面不完整,無法使用。最終確定焦段為10.9 mm,魚眼圖像成像角度為水平220度,縱向115度,轉換全景畫面后,全景裁切畫面正好適配水平200度,縱向71度,畫面完整,但無法再調整構圖角度,如圖8所示。在畫面轉換過程中,圖像中每一像素都需重新計算位置,畫面分辨率最好一步轉換到位,使全景畫面分辨率14400×7200裁切成畫面分辨率為8000×2837,可減小畫面多次變換造成的銳度下降。最后需對畫面縱向變形,調整畫幅比,使輸入畫面分辨率為8000×3000。

圖6 RED Monstr o+HAL 220 LF成像范圍

圖7 11.7 mm焦段魚眼畫面轉全景裁切畫面有4個暗角

圖8 10.9 mm焦段魚眼畫面轉全景裁切畫面范圍對比參考

6 三維軟件中的相機及渲染設置

影院的節目內容除了拍攝部分,還有三維CG制作部分。在三維軟件相機視圖中,只支持透視相機的實時顯示,魚眼或全景相機不支持實時顯示,但可支持渲染輸出。雖然透視相機可調成200度視角觀看,但與200度全景視角圖像顯示差異過大,沒有可參考性,無法提供輸出畫面的實時顯示,場景設置和動畫調節極為不便。但可采用多相機組模擬全景畫面顯示,相機數量越多,模擬的圖像越接近全景畫面,也不宜過多,一般設置三個或五個相機,奇數個相機成組以確保中間相機正好顯示中心畫面,中間相機也代表相機組拍攝位置和方向。相機組中的相機視角可實時顯示模擬全景畫面,提升對場景操作的方便性,提高工作效率。

三維場景渲染軟件只支持渲染360度的全景畫面,渲染完成后再裁切出所需畫面,無效畫面渲染過多,效率極為低下。臨時解決方法是以相機為中心創建一個球體模型,球體大小以能遮擋住整個三維場景為準,在球體打開一個水平200度、縱向71度的開口,相機透過開口所能看到的場景就是渲染區域。把球體設置成不渲染的純遮擋材質,可相對減少渲染時間,渲染過程中還是會占用較大的內存,雖無法從根本解決問題,但可作應急使用。較好的解決方法是重新開發可定制輸出的全景相機,徹底解決該問題,提升渲染效率。

7 結束語

本次研究完成與飛行影院中畫面相關的拍攝、處理、顯示等環節的技術性研究,希望為同類產品制作提供一定的參考、借鑒作用,對提升飛行影院的節目質量和沉浸體驗感帶來更加積極的影響。