電影云修復技術研究

劉佳楠

中國電影科學技術研究所(中央宣傳部電影技術質量檢測所),北京 100086

1 引言

隨著數字電影制作技術的快速發展,以及5G、大數據、云計算、人工智能等高新技術在電影行業的深度融合與應用,近年來涌現了電影云制作、電影智能化修復等電影制作的新概念與新模式,給檔案影片的數字化修復提出了新要求與新挑戰。為滿足修復技術與系統設備在算力、傳輸能力和效率等方面不斷攀升的需求,電影修復模式的云化以及系統的分布式架構設計已逐步成為行業發展新趨勢。云修復模式具備共享設備資源、降低修復成本、標準化修復流程和提高修復協作效率的特點,能夠更好地滿足人工智能修復、高幀率修復等高算力需求的修復工作。特別是對于高質量精致修復項目,云修復模式在提供充足算力的同時還可提供靈活的協同制作環境。

目前,雖然國內外還未有成熟、專業的云修復系統推出,但隨著電影云制作技術和國內互聯網云服務發展的日趨完善,當下已初步具備將本地修復系統遷移到云端的可行性。因此,本文通過梳理本地修復系統的通用要求并結合云制作的特性,探討實現云修復所應具備的基本技術要求。

2 電影云修復技術需求分析

2.1 電影云修復的基本工作流程

在分析電影云修復的技術需求前,首先需要對云修復模式的基本工作流程進行界定。傳統的電影修復工藝可分為兩個主要環節:修復環節和制作環節。修復環節即去除影像的瑕疵,在這一環節中,膠片首先經過物理修復,然后完成數字化掃描,在轉為數字文件后進行畫面與聲音的數字化修復,使影片內容恢復完整、連貫。這其中,物理修復工藝依靠人工對膠片進行修補,而數字掃描工藝則依賴于專業膠片掃描設備,所以此環節中僅數字化修復工作具備遷移至云端開展的可行性。制作環節即音視頻文件的編輯工作,主要包括剪輯、調音、調色、聲畫合成、壓縮打包等,這一環節中各項工藝均基于數字處理技術,所以都具備遷移到云端開展的可行性。因此,電影云修復的完整流程應從膠片數字掃描后的文件上傳云端開始直至修復完畢,在云端完成影像的損傷修復、編輯、調音調色、聲畫合成、打包輸出和鑒定入庫工序,如圖1所示。

圖1 影片數字化修復基本工作流程

上述可向云端遷移的修復工藝又可繼續細分為兩類操作。一類是人機交互操作,一類是計算機自動處理。其中,人機交互操作的特點是頻繁而大量,且需要即時反饋操作結果,例如數字修復中的手繪或制作中的畫面調色等,這類操作對系統運算速度和傳輸能力要求很高;而計算機自動處理只需在任務完成后反饋結果,例如降噪、數據打包等。兩者相比,自動處理類操作更加適合采用云計算方式,調取云端資源獲得更高效渲染。但對于電影修復來說,自動修復相對有限,人工修復卻必不可少,因此研究電影云修復模式須以支持人機強交互操作為首要目標。

2.2 電影云修復對存儲容量的需求

通常,數字修復采用無壓縮10bit dpx文件,修復分辨率通常為2K 或4K,計算存儲讀寫和傳輸相關數據量如表1 所示?？筛鶕砀駭祿M行估算,若待修復影片為2K分辨率素材,以常用的H.264視頻編碼為例,估算遠程方式讀取1路2K 視頻所需速度約為1.65MB/s,4K視頻所需速度為4.67 MB/s。

表1 2K、4K 分辨率影片的數據量

存儲容量方面,若按常用修復規格2K 分辨率、90分鐘時長來估算,一部電影膠片的掃描數據量約為1.5TB,加上修復制作后的完成片數據,一部影片至少需要3TB左右存儲空間。

2.3 電影云修復對運算能力的需求

電影云修復模式對運算能力的剛性需求是能夠實現影片實時播放和交互操作的即時反饋。這需要云服務器至少滿足以下兩點:

(1)云服務器從云存儲讀取數據的帶寬至少支持1 路視頻,如果數據的實時傳輸想要實現實時轉場等特效,則至少需支持2路視頻數據傳輸;

(2)云服務器處理一幀畫面數據的總時間必須小于幀周期。

2.4 電影云修復對圖像顯示質量的需求

電影云修復模式下,圖像必須經過壓縮方能通過網絡由云端發送到客戶端。通常需要考慮客戶端圖像顯示的分辨率、顏色失真度和平滑播放情況,作為衡量云模式下是否能滿足修復操作要求的基礎指標。除此之外,部分修復功能在此基礎上對系統還有特殊要求,大致可分為兩類:

(1)不能掩蓋原始素材的瑕疵,主要針對畫面中噪聲、臟點、劃痕、閃爍、抖動損傷的修復處理;

(2)不能添加額外的失真和噪聲,主要針對畫面中顏色失真、馬賽克、畫面鑲邊等問題的修復處理。

這兩類特殊要求體現了電影數字化修復與其他影視制作的差異。修復工作對象是帶有不同程度損傷的電影素材,修復目的是消除或減輕損傷。因此,修復的前提是修復系統能夠準確呈現出損傷,修復人員方可依據具體情況制定修復方案。在本地修復模式中,從素材源數據輸出到顯示器的傳輸通道是無壓縮的,數據真實反映在監視設備上,所有修復操作“所見即所得”。而云修復模式下則不同,素材數據在傳輸到顯示設備前需經過壓縮編解碼操作,噪聲、抖動、閃爍等源圖像的損傷都不利于圖像壓縮。若壓縮比過高,則會在客戶端顯示中出現掩蓋損傷的情況,影響修復判斷。如果云模式下數據不能真實反映到顯示設備,修復操作就不能 “所見即所得”,這為修復質量控制增加了風險,因此必須對各種技術方案下圖像回傳的準確性和質量進行評估。

2.5 電影云修復的部署模式

2.5.1 公有云

公有云作為第三方提供商通過公共互聯網提供的云計算服務,其云端資源面向社會開放,任何人、單位或組織均可按需租用這種服務,使用云上共享資源。市場上主流公有云服務包括亞馬遜AWS、微軟AZURE、阿里云、騰訊云等。通常,公有云按照主機配置 (CPU、GPU、存儲容量)、網絡帶寬使用量、使用期限、公網IP數量等因素計算支付費用。系統的配置、管理與維護工作由云服務提供商負責。租戶可以管理自己的虛擬機,進行開關機、安裝和運行軟件、上傳下載數據等操作。

本文對騰訊云服務的付費情況進行了調研。在騰訊云租用一臺圖形工作站 (GPU 渲染型GN7vw:8核CPU、32G 內存),月租費根據GPU 顆數(0.25到1 顆)和內網帶寬不同,價格在1800 到2500元不等。設置公網IP 免費,但租用公網帶寬需另外收費,分帶寬計費和流量計費兩種租賃方式。按帶寬租賃價格如表2 所示。按照使用流量計費,具體又分成按小時 (576元/GB/小時)計算和按天(24元/GB/天)計算。從這一實例可看到,與服務器本身租費相比公網使用費要高得多。因此若租用公有云服務,使用成本中大部分將會花費在網絡服務上。

表2 騰訊云公網按帶寬租用價格

此外,本文也實際測試了阿里云新推出的無影云桌面服務。測試選取了該系列中專用于圖形設計與視頻處理的GPU 圖形型套餐。套餐包含多種硬件配置可供選擇,測試所選配置如表3所示,月租價格為3066.32元。除所選套餐外,根據顯存大小和CPU 數量不同,還有多種套餐可選,租費從2000到6000元每月不等。因此對于修復項目,若通過公有云部署云修復系統,雖免去了一部分本地系統的搭建費用,但云服務租費又將引入一筆不可忽視的成本投入。需根據項目規模和實際需求來進行核算與選擇。

表3 阿里無影云配置詳情

2.5.2 私有云

私有云是通過互聯網或者內部專用網絡連接的只面向特定用戶提供的云計算服務。私有云具備云服務的可伸縮性和彈性特點,可在定制范圍內為用戶提供比公有云更高的安全性,在性能定制、資源配置和風險控制上均有優勢。私有云有兩種部署方式,一種是直接部署在用戶自己的機房,成為本地私有云;另一種是由第三方托管。

2.6 電影云修復的遠程連接方式

本文對遠程桌面類和原生C/S架構軟件兩種技術實現方式分別做了分析研究。

2.6.1 遠程桌面類

遠程桌面是云計算的通用解決方案之一。云桌面上的應用程序完全在云端運行,除遠程顯示外,程序運行性能與桌面本身基本無關?？蛻舳酥回撠煱焰I盤鼠標操作發送給服務器,服務器把整個計算機的桌面輸出截斷,重定向到客戶端,客戶端把服務器的桌面輸出顯示在本地監視器上。在顯示方面,音視頻應用的圖像通常是通過OpenGL 或者DirectX 方式直接寫入顯示緩沖區,而且大量采用GPU 硬件加速計算,所以早期的遠程桌面通常不支持這類應用。但隨著云計算技術的發展,GPU 廠家也開始從底層支持顯示緩沖器回讀,甚至加上了硬件編碼器支持從顯存編碼,所以目前新的遠程桌面或者云桌面產品已經可以支持此類應用。

遠程桌面協議是實現遠程桌面應用的關鍵技術之一,決定了客戶端與云端通信方式。常見有微軟公司的RDP10 協議,Citrix 公司的ICA/HDX 協議、VMware公司的PCoIP協議等。不同協議對于電影修復系統的支持程度有所不同,需根據具體系統架構和修復需求進行選擇。

2.6.2 原生Client/ Sever架構軟件

2.6.2.1 原生C/S架構

原生C/S (Client/Server)架構就是從底層開始就將應用程序設計成由服務器 (Server)和客戶機(Client)兩部分組成的分布式系統。Client通過遠程過程調用 (RPC)直接訪問Server,不再通過遠程桌面或其他中介轉發,各種手機APP均屬此類架構。遠程桌面則屬于B/S (Browse/Server)架構,本質上遠程桌面或者瀏覽器也是C/S架構,只是采用了通用的客戶端程序。為便于區別,本文中把專用C/S架構稱為原生C/S架構。云計算的本質是分工和分享,原生C/S架構能夠充分發掘云端設備和客戶端設備的潛力,發揮各自優勢,優化任務分工。

2.6.2.2 原生C/S架構特點

(1)高性能

原生C/S架構為特定應用而專門設計。其每一項內部操作都是預知的,可根據需求進行優化設計。同樣軟硬件環境下,原生C/S架構的性能要顯著優于遠程桌面架構。此外,原生C/S架構可支持標準監看、監聽環境,實現修復原素材的隨時查看,便于損傷評估。這是目前遠程桌面技術條件所不能達到的。

(2)靈活性好

原生C/S架構均由底層開始設計。因此除一些基礎的網絡通訊協議外,基本不受任何其他限制,具有高度靈活性。

(3)安全性強

C/S架構還具備安全性強的特點,通常適合在局域網等小范圍網絡環境中應用。而國內電影修復屬于專業性強而用戶少的應用場景,同時對素材分發與制作過程的安全性又有較高要求,因此采取此思路開發并配合修復私有云搭建是具備良好適用性的。

與云桌面相比,原生C/S 架構也存在一些缺點。如設計復雜,維護成本高,穩定性差等。另外針對云修復應用的設計,還有一些特殊問題不容忽視,例如異常處理。云修復是數據量高、計算強度大的強交互任務,且需要使用大量外部數據,極易出現各種異常。本地模式通常采用彈出桌面對話框來提示。云桌面亦可采用此方式,但是原生C/S架構不行。此架構下彈出對話框僅在云端,客戶端無顯示,因此需專門設計異常處理機制。又如,影視制作軟件廣泛采用主機+插件模式。有些第三方插件(如Neat Video降噪器)有自身的配置對話框。在原生C/S架構下,這類工作在云端的插件無法直接在客戶端彈出對話框,因此也需采用特殊處理方法。

2.6.2.3 針對電影云修復應用優化原生C/S架構設計舉例

影片修復需要高等級的圖像質量,高質量意味著高碼率或者高級編碼方式。而高碼率則又需求高帶寬。同時,修復操作要求系統能滿足低延遲以實現流暢而大量的交互式操作。高級編碼方式可以提高質量、降低碼率,但計算復雜度高和幀間壓縮算法也會增加延遲?？梢?在畫質、帶寬和延遲三方面是互相矛盾的。因此實現云修復的關鍵技術就是如何解決這些矛盾,在其中尋求平衡點。途徑之一是針對流程中不同修復工藝的側重點靈活運用圖像壓縮算法,合理分配計算任務。

例如檢視功能 (Inspect)的設計。檢視是修復流程的基本操作之一,包括連續播放檢視和隨機定位檢視。連續播放檢視的首要條件是平滑不能卡頓,但可以容忍一定程度的初始延遲,即可接受修復人員按下播放鍵后等待半秒再播放的情況。隨機定位檢視則必須快速響應,否則嚴重影響工作效率。針對這兩種情況,連續播放檢視時采用幀間壓縮算法,可以提高質量,降低碼率。隨機定位檢視則必須采用幀內壓縮,因為幀間壓縮必須要有足夠的前后參考幀才能輸出編碼數據流,會產生較大的延遲。而這種優化設計只能在原生C/S架構下才能實現。云桌面是無法得知用戶操作是連續播放還是隨機定位檢視的。

再如,手繪(Paint)是云修復的一項人機交互的高負荷操作。需跟隨用戶鼠標移動路徑實時處理圖像并將結果反饋給用戶,如果用戶移動速度很快就會產生明顯延遲。在C/S架構下,客戶端圖像是客戶端程序自行繪制的,因此可以采用局部替換的方法,服務器只傳送當前鼠標點作用范圍內的圖像塊,由客戶端結合以前的緩沖圖像拼接出最終結果,從而提高傳輸效率,提升用戶體驗。而用戶在進行同一圖像的縮放和移位檢查時,則可完全由客戶端依據緩存自行繪制,無需云端服務器參與,節省了網絡流量。

3 云修復技術難點分析

目前,全球范圍內還沒有成熟的電影云修復技術解決方案。而現有電影云制作的核心問題,仍主要集中在如何實現海量數據的低延遲低成本傳輸。對于電影云修復來說,問題更甚?，F有電影云制作技術,主要應用在云剪輯和云渲染方面。其中,云剪輯所體現出來的優勢在于協作,由于使用代理畫面,其數據傳輸壓力可以得到降低;而云渲染主要目的是共享算力,不要求實時交互性操作。而云修復與二者不同,需要滿足畫面、聲音實時修復和播放功能,這就在現有電影云制作基礎上,增加了實時交互性操作的技術要求。因此,海量數據的傳輸及運算成為研究云修復模式的技術關鍵。所謂電影云修復,從邏輯上是把現有的本地部署轉換成遠程分布式部署,如何實現高質量低延遲的視音頻網絡傳輸是修復系統向云端遷移的技術難點之一。

另外,電影數字化修復系統的搭建核心是數據移動,即將存儲中的媒體文件傳送到工作站內存,數據經過修復處理后再輸出到顯示器顯示出來修復結果。在本地模式中,程序運行在同一計算機中,數據移動是從一塊內存傳送到另一塊內存或者設備存儲器,地址空間是統一的。而云模式中,程序運行在不同的計算機上,數據移動必須通過網絡。影視制作比一般辦公或者通訊應用傳送的數據量高出很多數量級。而修復制作要求可類比于電影母版制作,需要最高等級的質量,高質量又需要高碼率或者高級編碼方式。高碼率意味著在傳輸中需要高網絡帶寬,成本很高。同時,修復制作還需要低延遲以實現交互式操作,低延遲網絡同樣價格昂貴。因此在修復質量、帶寬、延遲、成本四方要素中取得平衡也是當前云修復技術實際應用所面臨的關鍵問題。

4 結束語

基于上述調研與分析,現階段技術條件在硬件、傳輸能力等方面已初步具備搭建電影云修復系統的基礎和技術可行性。可依托公有云服務或私有云平臺,將修復流程中的損傷修復、編輯、校色等環節的工作部署到云端,在一定程度上實現本地修復配置成本的降低。但從目前影視云制作發展整體情況分析,相關技術仍處于發展過程中,尚有諸多技術瓶頸,離真正在云端實現修復全流程的目標還存在一定差距。例如各類修復制作專業軟件對云模式的支持程度,云修復系統在影像調色與調音專用外設上的兼容程度以及遠程修復所引入的數據傳輸和網絡服務租用的相關成本等。以上問題仍需后續進一步開展針對性研究。相信隨著技術飛速發展,電影云修復將會逐步確定和完善其應用模式、改善和突破技術瓶頸。未來電影云修復模式的成熟應用,應能夠與電影云制作流程進行良好銜接,獲得更靈活多樣的修復制作能力,優化修復流程,提升制作效率,加快推進智能化發展。