基于技術角度的全景視頻關鍵技術分析

張燦

摘要：在VR技術日益興起下，全景視頻受到了人們密切關注，并以一種新的方式出現在人們視野中。文章分析了基于技術角度的全景視頻關鍵技術，希望可以為相關行業帶來一定借鑒作用。

關鍵詞：全景視頻；技術角度；關鍵技術

全景視頻由很多鏡頭360。環繞拍攝物體，支持多角度、多層面播放。用戶可對觀看視頻的方向控制。觀看全景視頻的用戶并不是以被動方式來觀看內容，而是成了主體，積極、主動地探索觀看內容。采集和制作全景視頻利用的是拼接圖像技術，是由很多角度來對重疊子圖像進行拍攝[1]。因此，本文首先分析了全景拍攝對于VR內容采集的重要性，然后研究了用戶沉浸體驗中顯示技術提高的必要性，最后淺談了VR視頻流暢中傳輸編碼問題，以期可以提高我國全景視頻制作技術，進而提高我國社會經濟水平。

1 采集VR內容需要以全景拍攝為主

全景拍攝技術與3D圖形制作進行對比后發現，全景拍攝技術能夠為VR視頻提供豐富的內容。而且其技術在提供內容過程中，具有操作便捷、內容采集快速等優點。在進行采集VR內容時，全景攝像機在整個采集過程中是一個非常關鍵的設備。從目前市面上較為主流的全景攝像機來進行分析，具有非常多類型的可選性。例如：業余便攜設備、多運動攝像頭組裝而成的全景拍攝機。無論哪一種設備，都具備著畫質清晰的優點。隨著人們對VR內容采集要求越來越高，人們開始追求感官上的立體觀。因此，在行業中出現360。3D全景攝像機。比如：Jump系列、Nokia也研發出了同類的產品。為了得到更加高清的畫質，有的發燒友通過將多個專業級別的電影攝像機（Red dragon）進行了組合，然后讓其成了能夠進行全景攝像的專業級別設備。在進行內容采集過程中，相關專業人員還在全景攝像機中配備了4耳全景聲采設備。

從當前全景攝像機的發展來進行分析，雖然已經取得了非常大的成果，但在其設備使用過程中，依然存在諸多問題。（l）相機分辨率中的問題。因為用戶觀看以前2D畫面只是相當于全景畫面的1/9，在觀看VR內容時，想要觀看到更清晰的效果，需要全景攝像機分辨率達到4K及以上分辨率。全景相機拍攝內容，主要是以固定式焦距為主，在這樣的使用過程中，固定機位所拍攝的距離無法將其畫面進行放大，從而需要超高分辨率才能讓其拍攝內容更加清晰。而當前的顯示屏、壓縮以及存儲等技術都很難達到這一要求。（2）I/O問題。全景相機需要對多個鏡頭的焦距以及快門同步控制，確保畫面融合的一致性。如：Jump系列的全景相機在進行拍攝過程中，需要通過16張存儲卡來實現視頻記錄。要完成其設備所拍攝內容的復制，需要花費相當長的時間。這樣會對其全景視頻的發布形成一定的影響。此外，當前互聯網視頻網站在進行內容發布過程的要求也相對較高，需要為其視頻發布提供10接口。最為常見的就是利用SSD硬盤來進行多個數據信息的拷貝。在光纖、SDI以及HDMI等高速接口傳入到視頻切換臺設備中直接錄播處理。（3）對于全景攝像機而言，體積都是特別龐大的，在拼接壓縮中會耗費很長時間。其視頻需要操作人員對其采集內容進行拼接與編碼計算，然后才能夠實現集成到小型全景相機中，并對所編譯完成后的全景視頻進行輸出，然后對其視頻進行普通視頻處理，方便后續的視頻編輯處理。（4）全景攝像機進行VR直播過程中，必須要保證其拍攝過程具有穩定性，而且要確保其拍攝過程幀速達到25幀/秒。整個過程是一個非常漫長的過程，而且對其數據傳輸以及視頻處理等方面都有著非常高的要求[2]。

2 VR視頻質量是拼接編輯的重點

在利用全景攝像機多角度拍攝視頻之后，應及時拼接以及校正，將很多個攝像機視頻合成完整的視頻，進而提供給廣大用戶。拼接及時需要對拼縫以及光照融合的問題，這就要求提供給用戶視頻內容質量較高。在拼接全景視頻后，還需要進行調色、拼縫修復、字幕等后期制作。如在《撕人訂制》這一綜藝節目中，就需要在全景視頻中加入動畫特效以及對白字幕，替換擦除攝像機中的黑洞。在《中網網球賽》全景直播中，則在全景直播系統中疊加比分牌。通過調查發現，行業中有很多應用性較強的全景拼接軟件，如Nuke，auto Pano等。其中Nuke具備很多功能，如生成三維點云、估計相機位置、修復拼接等。同時還有很多用在拼接全景、渲染的開源SDK中。如谷歌中的Oculus VR SDK，CardboardVR SDK等。谷歌中的Jump全景相繼可以拍攝出更為立體化的全景，在排水中使用了8個左眼的攝像頭、8個右眼的攝像頭，可在使用Nuke軟件生成左眼和右眼對應的全景圖，進而得到視頻不但有全景，而且立體感還很強，讓用戶有三維虛擬現實的體驗。全景拼接編輯在使用圖像處理技術后，其視頻內容更加高質量，而想要實現這些，都需要便捷和強大的軟件算法。

3 VR視頻的流暢需要解決好傳輸編碼的問題

在完成制作VR視頻內容后，需利用媒體平臺的網絡發給廣大用戶，而當前全景視頻技術面臨最大的挑戰就是網絡傳輸與壓縮碼率。隨著互聯網技術的不斷發展，在網絡中的1 080 P視頻資源播放相對較為流暢。但如果要對2 K/4 K全景視頻進行播放時，必須要其網絡速率達到4M左右，否則在觀看全景視頻時，會出現經常性卡頓的問題，對于視頻欣賞體驗有著非常大的影響。在對全景視頻進行壓縮編譯過程中，通常情況下會使用rectangular球面全景圖格式作為常規格式。在進行3D 360。全景圖片處理時，通過是將左、右眼全景圖片進行上下拼接，確保其長度與寬度比為1：1；對于3D180。全景圖片，主要是利用左、右眼全景圖進行左右拼接，確保其長度與寬度比為2：1。在南北極區域中，球面全景圖有很多冗余像素情況，前些年，Facebook實現了全景多棱模型的構建，但在實際測試與應用過程中發現，其分辨率可以將用戶不關注的畫圖進行分辨率降低處理。但當用戶轉換觀看模式時，如何實現將低分辨率視角轉換成為高分辨率視角，成了目前的一個技術難題。我國與其他國家很多企業也在對H.265壓縮技術進行研究，這一技術可以對超高清視頻中的碼率有效降低，但H.265軟件進行編解碼中會浪費很長時間，客戶端解碼硬件水平還需要提高。另外，網絡傳輸通過光纖到戶，很多先進技術的應用，都會顯著強化網絡傳輸全景視頻數據的流暢性、安全性。但從技術角度上來分析全景視頻重點技術，其在視頻制作中還有很多問題，這些問題的解決并不是一件簡單的事情，需要很多相關工作人員積極研究，并記錄好解決這些問題的方式，切實提高全景視頻制作技術，從更大程度上提高全景視頻制作技術，進而為用戶提供更加高清、穩定的視覺盛宴[3]。

4 顯示技術影響用戶的沉浸體驗

全景視頻需要安全的、較為真實的顯示技術呈現給廣大用戶，有很多顯示方式，如：真三維顯示、3D立體眼鏡以及頭盔顯示器等方式。在VR中，頭盔顯示器是一種很典型的設備。HMD顯示技術通常是對無眩暈、沉浸感等問題進行解決，這與分辨率、聲音以及視場角等因素有著很大關系。如2015年暴風魔鏡所研發的產品，其產品在進行視頻觀看時的視場角只能控制在60。左右，而且其產品外觀與普通望遠鏡有一定的相，對于所觀看畫面有一定的區域限制。在觀看時周邊畫面則顯示為黑色，在一定程度上對沉浸感形成非常大的影響。據相關數據信息顯示，人體眼睛可以完成120視場角，這也讓VR研發團隊開始著力于頭盔式設備的研發，雖然已經通過實現110。視場角范圍，但在進行使用過程中會出現非常明顯的眩暈感，其主要原因有以下幾個方面：（1）刷新率。當人們關觀看視頻內容時，一旦進行快速轉頭動作，渲染設備刷新速度無法與視角速度進行匹配，從而導致在使用過程中出現非常明顯的遲滯感。要解決這個問題，需要其渲染設備刷新速度達到90 Hz以上。從目前市場中所出現的高端VR頭盔來進行分析，ony PSVR頭盔的渲染速度已經達到了110 Hz以上，在進行轉頭動作后，所看到的虛擬背景處于是靜止狀態，會產生一種非常逼真的視覺效果。（2）全景聲。當前市場中較為出色的全景聲技術產品以Dolbyatmos為最佳選擇。要實現HMD全景聲，可以采用HRTF技術來進行聲音方向處理，可以實現虛擬景物與其聲音的融合。（3）戴上HMD頭盔后應對用戶個體進行適配，這就好像我們換了一幅新眼鏡，應對鏡片中的色散、瞳距以及畸變等參數加以調整。

5結語

總而言之，在VR技術越發完善下，其為我們日常生活和工作帶來了很多樂趣，但不能盲目樂觀，VR技術還需要很大的發展空間。為了能夠讓VR技術得到更大的發展，需要研發出更加輕便的VR顯示設備。讓使用者能夠在使用過程中，感受到其設備的舒適性。此外，為了能夠讓使用者更加流暢地觀看VR視頻，需要從網絡建設方面入手，通過提高帶寬的方式來實現最佳的視覺體驗。對于手勢交互方面的研發，應該從感知系統方面進行切入。要結合力學反饋、聽覺、視覺以及身體姿態等多個方面的因素來進行考量。同時，在進行VR視頻內容發布時，應該以多樣化的形式來豐富其視頻內容，而不只是簡單地局限于視頻與游戲中的應用。

[參考文獻]

[1]朱云芳，葉秀清，顧偉康.視頻序列的全景圖拼接技術[J].中國圖象圖形學報，2011（8）：1150-1155.

[2]封靖波，蘇志勛，劉秀平.一種基于相似曲線的全景圖自動拼接算法[J]計算機學報，2003 （11）：1604-1608

[3]康彥肖，龐超實時視頻圖像拼接在視頻中的應用[J].信號與信息處理，2008 （38）：26-28