存儲系統如何達到4K后期制作要求

周進 張虎

摘 要 4K等高分辨率素材正成為影視動畫后期制作的主流，4K等高分辨率的優勢不言而喻，但對存儲速度、容量以及穩定性的要求達到前所未有的高度。本文提出基于大魚集群存儲系統的4K高分辨率后期制作網存儲方案，結合客戶度高速SSD緩存，能夠通過性價比最好的解決方案達到的4K等高分辨率后期制作的要求。

關鍵詞 存儲 4K 視頻圖像 后期制作

中圖分類號：TP391.41 文獻標識碼：A DOI：10.16400/j.cnki.kjdks.2016.03.016

Abstract 4K high-resolution material is becoming the mainstream film and television post-production animation， 4K resolution and other advantages of self-evident， but the memory speed， capacity， and stability required to achieve an unprecedented height. This paper presents a high-resolution 4K post production network based storage solutions fish clustered storage systems， combined with customer-degree high-speed SSD caching， through cost-effective solutions to achieve the best resolution 4K post-production and other requirements.

Key words store； 4K； video； post-production

當前，隨著用戶需求和相關技術的發展，4K正在逐漸替代高清成為影視動畫制作的主流技術。4K技術的優勢不言而喻，提供了接近膠片的畫質；更高的畫面層次感以及更豐富的細節表現，大大提升了用戶觀賞體驗。但4K視頻生產卻使得IT基礎架構面臨了巨大的挑戰，首當其沖的便是存儲子系統。由于影視動畫視頻生產的本質是數據處理，從前期的視頻拍攝或動畫制作，到后期的合成、編輯和發布，整個流程圍繞著視頻圖像數據的存儲而展開。因此，存儲系統是整個IT基礎設施的核心，特別是在4K環境下，級數增長的視頻圖像數據更讓存儲系統成為影響影視動畫生產效率的關鍵因素。

1 4K視頻圖像制作的存儲需求

眾所周知，4K視頻圖像生產的核心問題是巨大的數據量。以前期拍攝為例，無壓縮的4K視頻圖像數據量可超過300MB/s，某些特殊場景需要更高的幀率，數據量則可能達到GB/s。一個電影的制作過程中，累計的數據量可能達到幾百TB。對于大型的4K視頻圖像制作機構，通常有大量的歷史數據，并且通常有多個項目同時進行，配置PB級的存儲設備才可能有效保證視頻生產正常進行。因此，容量及其擴展能力是4K視頻圖像生產環境中非常重要的存儲需求。

與此同時，4K后期制作對存儲性能的要求極其嚴苛，4倍于高清的碼率，各種復雜的特效，通常需要多層編輯，導致存儲帶寬需求數倍增長，對于一些場景，使用萬兆接口的網絡存儲設備都可能無法滿足編輯的帶寬需求；另一方面，在網絡化的制作環境中，多個編輯節點，多種業務共享存儲資源，并發地訪問存儲系統，對存儲子系統的最大輸出性能和擴展能力都提出了極高的要求。另外，值得特別指出的是，視頻圖像編輯不但要求極高的存儲帶寬，還對存儲訪問延遲有特殊要求，不但要滿足視頻編輯中的低延遲要求，還需要延遲的表現穩定，否則，可能出現卡頓、丟幀等情況，極大影響編輯人員的工作體驗。

現代視頻圖像生產更加呈現工業化的特征，擁有更大的制作團隊，更詳細的業務分工，強調生產流程中各個環節的緊密協作與交互，因此，在IT基礎架構設計時，有必要構建基于共享存儲系統的視頻制作網絡，實現數據在不同的業務之間、不同節點之間高度共享，加速數據在不同業務間的流轉速度，提升整個視頻生產效率。同時，保證共享存儲系統的可靠性和可用性也極為重要，否則，共享存儲系統的故障將造成整個視頻圖像生產的中斷，并可能造成重要視頻圖像素材的損失。

綜上所述，在4K視頻圖像生產中，存儲系統所面臨的挑戰可歸納為：（1）極高的性能要求：穩定的高帶寬和低延遲；（2）具有高可擴展能力：按需擴展的海量存儲系統；（3）數據的安全共享：支持多種平臺、業務的數據共享，高可靠/高可用數據存儲。

2 現有存儲方案及分析

為了應對上述4K視頻圖像制作中的存儲需求，人們嘗試了多種存儲方案，但就目前的實際應用效果來看，還未能找到一種滿足上述所有存儲要求、切實可行的存儲方案。比較常見的幾種方案均存在著各種問題：

2.1 單機存儲方案

在小型的制作環境中，單個編輯機配置內置高速SSD或者直連磁盤陣列的方式比較常見，當前的高端SSD設備的讀寫性能可以滿足4K制作的需求，但是SSD價格昂貴，容量有限，制作時常受限于容量，會有頻繁的數據導入/導出的操作，嚴重影響制作效率。高速磁盤陣列可以做到較大容量，但是性能有限。無論采用哪種方式，單機存儲方案都只能支持單機操作，數據共享十分困難，另一方面，存儲空間受限于存儲架構，難以擴展，無法支持大規模的工業化視頻圖像生產。更為嚴重的潛在問題是，SSD和磁盤陣列損壞可能造成難以彌補的數據丟失，制作的穩定性和數據的安全性都存在很大問題。

2.2 傳統高端存儲方案

傳統高端存儲系統（SAN/NAS）具有一定程度的容量和性能的擴展能力，并切實實現了數據的高效共享，在高清時代是行之有效的視頻制作網存儲解決方案，然而，4K環境下，傳統存儲設備的缺點也暴露無遺：

首先，單機存儲性能受限于網絡接口速度，傳統的千兆網絡、2G/4G光纖接口都幾乎無法滿足4K視頻圖像編輯的需求。其次，當采用更高速度的存儲網絡，如萬兆、8G/16G光纖接口時，雖然可以滿足單機的性能需求，但傳統存儲系統受限于體系架構，在性能上擴展能力極其有限，因而無法支持大規模的4K視頻圖像制作。

其次，雖然數據可以通過網絡共享，但是受限于接口速率，幾乎無法進行在線編輯，只能將素材下載到配置有高速單機存儲設備的編輯機上進行編輯，并在制作完成后將結果上傳至中心存儲，中心存儲設備的作用退化成簡單共享存儲，數據共享效率低下，無法有效開展協同作業。另一些4K視頻制作流程中使用了低碼率的代理碼進行實時編輯，并根據編輯結果下載4K最終結果視頻，這樣雖然避免了4K所造成的性能壓力，實現了實時編輯，但犧牲了編輯質量，是一個不得已的折衷方案。

最后，在4K視頻圖像制作網的規模一定的情況，通過升級硬件設備，傳統存儲系統也可以滿足上述既定的存儲需求，但是，整個存儲系統的擁有成本難以控制，系統擴展也十分困難。

2.3 分布式存儲方案

分布式存儲系統以良好的可擴展能力著稱，整個存儲系統的聚合存儲性能和容量均可在線擴展。相對于傳統高端存儲方案，可以有效解決海量數據不斷增長所帶來的容量問題。而且，對于普通高清制作，當前網絡接口也可以做到以較低成本實現存儲系統聚合帶寬的在線擴展，可以很好滿足普通高清制作網的需求。但對于4K視頻圖像制作，它與傳統存儲面臨同樣的單機存儲性能問題，同時，分布式存儲系統的訪問延遲也更難控制，很難達到4K制作時所要求的穩定的超高帶寬和低延遲。

3 大魚集群存儲系統方案

針對4K視頻制作的存儲需求以及當前幾種存儲方案的問題，北京電影學院數字合成與大數據實驗室進行了充分研究，并提出了基于大魚集群存儲系統的4K視頻圖像制作網絡存儲方案。

大魚集群存儲系統是構建于通用硬件之上的高性能、高可靠、高可擴展的新型分布式存儲系統，其核心是大魚分布式文件系統軟件（DayuFS），用戶可以采用通用服務器、普通的SATA/SAS硬盤以及主流以太網絡來構建媲美傳統企業級存儲產品的海量存儲系統。DayuFS的基本原理是以軟件方式整合物理集群中多個獨立節點上的存儲資源，組成具有單一文件系統映像的存儲空間；并通過良好設計的系統結構和數據分布策略，保證系統性能的高可擴展性，支持存儲容量/性能的在線擴展。同時，DayuFS中采用多副本的方式保證數據的高可用性，任意單一節點失效均不會導致數據丟失和數據服務的正常運行。

DayuFS主要面向海量非結構化數據應用而設計，致力于解決此類應用數據中存儲量巨大、I/O吞吐率高、數據增長迅速、構建成本高、管理復雜等傳統存儲所面臨的棘手問題。非常適合數據量巨大、存儲I/O帶寬要求極高、數據增長迅速的4K視頻圖像制作領域，同時，DayuFS還針對其它分布式文件系統存在的單機訪問性能問題，設計并實現了客戶端SSD緩存，并依據此特性提出了4K視頻圖像制作網絡平臺的解決方案，有效應對了相關存儲需求。方案結構圖如圖1：

方案中采用大魚集群存儲系統作為中心存儲系統，通過萬兆互聯網絡向所有的編輯工作站提供文件共享存儲服務。編輯機上安裝有DayuFS的客戶端軟件，通過客戶端，編輯機可以訪問大魚集群存儲系統的所有文件數據，訪問的方式與本地文件系統一致，上層的編輯和制作軟件無需做任何修改，就可以直接與DayuFS對接。DayuFS的客戶端上還可以配置了一塊或者多塊高速SSD設備作為客戶端磁盤緩存，多塊SSD的聚合存儲性能應保證可以滿足該節點上視頻制作的需求。采用此配置可有效解決其它分布式文件系統所存在單機訪問性能問題。

相對于其它現有的4K視頻制作存儲方案，基于大魚集群存儲系統的方案具有明顯的優勢：

3.1 高效安全的數據共享

DayuFS實現了全局統一的單一文件系統影響，在未作限制的情況下，從任何客戶端訪問DayuFS，均能看到全局統一的文件系統視圖，因此可以高效實現不同客戶端之間的數據共享，同時，DayuFS提供了不同的操作系統平臺上的客戶端軟件，包括Linux、Windows、MacOS，支持各操作系統的大多數主流發行版，非常適合視頻制作環境中各種平臺設備共存的情況。有利于4K視頻圖像制作中不同業務之間的數據共享和流轉。

另一方面，在大型視頻圖像制作環境中，為了視頻生產的安全，不同項目、不同業務之間數據隔離也很有必要。DayuFS提供了多租戶功能，系統支持多個租戶，租戶之間數據完全隔離，互不可見，杜絕多用戶環境下可能存在的非授權數據訪問，實現數據的安全共享。DayuFS還支持通用的NAS協議，如NFS、CIFS以及FTP，可以很方便地為臨時用戶、特殊設備提供訪問DayuFS的途徑。

3.2 穩定的高性能表現

DayuFS支持在客戶端使用一個或者多個SSD設備作為磁盤緩存，與內存構成客戶端多級緩存機制，擴展緩存容量，減少網絡通信，提升訪問性能。由于編輯作業的特征，其數據的局部性較強，非常適合應用緩存提升性能，然后4K視頻圖像的數據量巨大，無法在內存中有效緩存，反而降低數據訪問效率。使用本地的SSD緩存，可以將一次編輯的大部分數據均緩存于本地，讓大多數數據讀操作均不通過網絡，本地完成，有效保證了極高的讀帶寬和低延遲。對于寫操作，同時利用SSD作為寫緩沖，使用異步寫操作來提升訪問性能。為上層應用提供非常穩定的高讀寫帶寬和低訪問延遲。

另一方面，DayuFS所提供的客戶端軟件與DayuFS服務端之間采用高效的私有數據交互協議，可以大幅度降低網絡通信開銷，進一步提升數據訪問效率。

3.3 容量/性能高可擴展

DayuFS最重要的設計目標即為高可擴展性，采用了松耦合的高可擴展架構，將元數據和數據分離存儲、分別管理，元數據和數據服務節點均可獨立按需擴展。DayuFS軟件確保并發訪問請求被均衡地分散到多個節點處理，因此，增加新的存儲節點，可在增加容量的同時，使得性能也可隨節點數目近似線性增長。可以輕松構建存儲容量PB級，聚合存儲帶寬達幾十GB/s的海量存儲系統。

另一方面，由于SSD緩存的應用，在4K編輯時大幅降低了服務端壓力，有效提升了DayuFS所能支持的客戶端數量，從而進一步提高了系統的可擴展能力。

3.4 擁有成本優勢明顯

DayuFS的設計目標是應用普通的硬件設備替代傳統存儲系統中昂貴的專有硬件，因此整個系統的構建成本低廉，并且由于具有按需擴展的能力，無需一次性購買未來的所有存儲容量，可以按需購買，從而降低了用戶的構建成本。同時，對于4K編輯合成等后期制作應用，SSD的使用大大降低服務器端的壓力，減少了對服務器端節點數目的要求，從而進一步降低了成本。

4 總結

通過上述對大魚集群存儲系統方案的分析，可以看到，對于4K視頻圖像制作來說，該方案能以較低的成本，提供海量的存儲空間，并能保證并發編輯時的極高性能需求，為4K視頻圖像制作節點提供高效、安全的數據共享服務。另一方面，這種方案也為更高分辨率的視頻圖像制作網絡平臺構建提供了思路。

參考文獻

[1] 周進，崔賢.影視動畫非線性編輯技術教程.清華大學出版社，2010.

[2] 周進.影視動畫數字合成技術教程.清華大學出版社，2010.

[3] （美）布林克曼.數字合成的科學與藝術.清華大學出版社，2011.