檔案影片云修復基礎技術測試研究

劉佳楠

中國電影科學技術研究所 (中央宣傳部電影技術質量檢測所),北京 100086

1 引言

近年來隨著大數據、機器學習等新一代信息技術在電影行業應用的持續深化,加之高分辨率、高新技術格式影片制作需求激增,電影數字化修復領域在圖像處理和聲音修復技術方面也開始呈現智能化發展趨勢。伴隨新老技術迭代,在質量與效率雙雙提升的同時,相應修復工藝的數據處理量也產生極大增長。面對高分辨率素材數量增多、圖像渲染和人工智能修復對算力的新要求以及高新技術格式、多版本存檔技術指標提升,現有獨立運行的電影修復系統,越來越難以在成本和需求之間找到平衡。而云修復概念的引入,或可突破行業瓶頸,為增強修復算力、提升修復能力、擴展修復模式提供新思路。

云修復可看作影視云制作的一類特殊應用場景,將傳統修復中的數據存儲與計算從本地系統中遷至遠程云端,借助云端基礎設施和通訊網絡,增強數據計算、交換與協作能力,為膠片電影數字化修復提供更加高效和低成本的工作模式,以滿足高新技術格式、智能化修復需求。為摸索這一創新應用的相關基礎技術,本文進行了實際測試研究。

2 測試系統的搭建

云修復的基本流程是從膠片數字化后的文件上傳云端開始至修復完畢。在云上實現損傷修復、編輯、調音調色、聲畫合成、打包輸出和鑒定入庫等工藝環節。按照這一流程,測試分別在公有云和私有云兩種部署模式中進行,并設計了多個系統搭建方案,旨在通過對測試結果的比對分析,探求云修復的可行依據和其中存在的技術問題。

2.1 云修復運行方式設計

2.2.1 云桌面類

測試選擇了兩種不同協議的遠程桌面,以驗證其用于云修復的可行性。一種是微軟的Windows RPD 10遠程桌面;另一種是阿里云最新推出的無影云桌面,采用的是Citrix公司的ICA/HDX協議。

表1 遠程桌面對比

表2 阿里無影云配置詳情

2.1.2 原生C/S(Client/Server)架構

原生C/S(Client/Server)架構是從底層開始將應用程序設計成由服務端 (Server)和客戶端(Client)兩部分組成的分布式系統。原生C/S架構能夠充分發掘云端設備和客戶端設備的潛力,發揮各自優勢,優化任務分工,具有性能優化強、靈活性高和安全性強等優點。由于目前尚無商品化的原生C/S架構修復軟件系統可供測試,本項研究采用自主研發的Lion修復軟件改編了一個測試模型Lion Cloud,并通過兩臺圖形工作站以及數字專線模擬成修復私有云部署,進行了初步測試。Lion Cloud系統框圖如圖1所示。

圖1 Lion Cloud系統框圖

2.2 網絡連接的方式

修復過程的所有數據以及客戶端人員操作的指令均依靠網絡傳輸到云端機。因此,云修復系統的網絡環境是決定該系統能否實際應用的關鍵因素之一。本文選取了不同類型的網絡,模擬云修復系統在實際應用中可能涉及的網絡環境,考察網絡條件對實現云修復系統的影響。包括:

(1)本地局域網,實驗室千兆局域網;

(2)SDH專線,100Mbps帶寬,點對點數字專線;

(3)互聯網,單位局域網,400Mbps;

(4)互聯網,家庭寬帶A,300Mbps;

(5)互聯網,家庭寬帶B,500Mbps;

(6)移動網絡,5G移動網絡。

2.3 8種云修復模擬系統搭建方案

本文從最基本的系統構成要素開始,將不同部署類型、網絡條件和遠程連接方式進行組合,逐步豐富系統搭建元素和復雜性,形成8種云修復模擬系統的搭建方案,見表3。

表3 云修復模擬系統搭建方案

2.4 測試所用軟件及素材

所用軟件為Da Vinci Resolve 16/17、DustBuster+12.5和Lion/Lion Cloud等;所用素材為彩色影片,分辨率2048×1556,dpx序列。

3 云修復系統功能測試

3.1 測試目標

雖然云修復系統本身性能的考察與應用程序基本無關,但由于修復軟件的運行對平臺有一定要求,仍需要進行功能測試。測試目標包含以下三方面:

(1)確定設備是否連通;

(2)確定軟件是否可安裝和能否正常運行;

(3)確定是否能走通完整的修復工藝流程,包括:素材上傳、編輯、畫面及聲音修復、調色、校驗 (質量鑒定)、下載等。

3.2 測試過程及結果分析

經調試,8個模擬系統均通過測試。可實現設備連通、軟件安裝及運行,并走通影片修復的基本工作流程。

3.2.1 軟件方面

三款專業軟件在測試系統中均可正常安裝及運行,能夠實現影片數字化修復的基本功能。測試表明,修復軟件對云端設備的顯卡版本和操作系統有一定要求,決定軟件安裝與運行的影響因素主要集中在軟硬件兼容性上,在配置系統時需格外注意。例如,在阿里云上安裝DustBuster+時,其最新的13.1版僅支持英偉達cuda.11計算架構,而阿里云的計算服務器顯卡驅動版本為cuda.10,導致測試只能安裝使用舊版。同樣問題也出現在Da Vinci Resolve的安裝中。但不同的是,Resolve可通過軟件設置使用OpenCL架構解決該問題。另外,在不同版本的RDP遠程桌面互聯測試中,兩個RDP 10之間的互聯時消耗帶寬明顯比使用RDP 7連接RDP 10要低。

軟件授權方面,修復軟件通常有激活碼和實體密鑰兩類授權形式。在公有云測試中,兩類軟件授權均可在阿里云端使用。Diamant軟件的實體密鑰插在客戶端上,通過無影云遠程桌面可重定向到云端,與調色臺映射辦法相同。但本測試為一對一使用的簡單修復場景,真正云修復模式應能夠實現修復協同制作和資源共享。軟件許可證授權將是云修復系統成熟落地應用所需解決的問題之一。

3.2.2 硬件方面

經調試,模擬系統均可實現設備連通和修復操作,但存在以下問題。

(1)修復制作環境

本地修復的監聽、監看環境尚不能在云修復系統中實現。本地修復系統配置有專門的音視頻接口卡來連接專業監視器,用于畫面修復、調色和校驗過程監看,以及連接專業還音設備用于聲音的準確監聽。而云修復系統中,以上設備與環境不能套用這套搭建辦法,需采取折中方案重新構建監聽與監看條件。

①云修復的監看方案

將客戶端桌面通過HDMI輸出到監視器上。在修復或調色過程中,可在監視器上顯示整個軟件界面。雖不能獨立顯示影片畫面,但作為折中方案可實現畫面內容及色彩的準確監看。

②云修復的監聽辦法

可以從HDMI分離出音頻信號用于監聽。

(2)公有云存儲性能

本測試中租用的阿里無影云GPU實例,包含150GiB系統盤和150GiB數據盤,但具體存儲類型未公布。測其讀寫速度如表4所示。正常播放2K無壓縮修復素材,大約需要306MB/s。實測結果達不到2K修復素材播放與監看要求。當前有些公有云服務 (比如騰訊)可選配不同類型存儲。若選擇固態硬盤或可有效提升讀寫速度,達到更好效果。

表4 無影云存儲測速

4 云修復系統性能測試

4.1 測試目標

通常,云服務商所提供的云端服務器均采取虛擬化技術,用戶租用的主機為虛擬機而非真實物理機。電影修復對系統性能要求苛刻,實時修復即使在獨占物理機上都無法完全避免丟幀情況,在云修復下可能更難保證,這是測試考察的重點之一。另外,影片修復涉及大量GPU運算,對GPU編解碼能力要求高,這些都是可能對云修復操作產生不利影響的因素。因此,需要通過測試驗證搭建的云修復系統是否能滿足要求。

為充分了解云修復可達到的系統性能,本文依據測試結果從網絡傳輸、網絡時延、交互操作流暢度和聲畫質量四方面分析論述。

4.2 測試過程及結果分析

4.2.1 網絡性能

網絡性能主要通過測試傳輸速率、網絡平均時延和路由躍點數來評價,同時進行交互操作流暢度實測。傳輸速率是影響云模式下修復數據顯示、播放以及交互操作效果的關鍵因素,也是保證云修復模式操作可行性的基礎。表5列出了8個模擬系統測得的數據平均上傳和平均下載速度。此外,通過從修復客戶端ping云端地址,記錄兩者之間數據包(32字節)的發送接收狀況及往返平均用時,并通過跟蹤路由探測途徑躍點數,綜合評估網絡時延情況。由于網絡性能的影響因素多且復雜,無法深入每個細節評估,在此只橫向對比其網絡條件。本地局域網數據在此僅做對照。

表5 網絡性能測試數據

從表5中數據可以看到,100Mbps帶寬專線的點對點傳輸最穩定,速率最快,平均時延僅4ms,上傳、下載速率均在85Mbps左右,可流暢進行遠程修復操作。這是當前一些影視云制作項目所采取的網絡連接方式,具有可靠性好、效率高的優勢,缺點是價格非常昂貴。兩次5G移動網絡測試數據反映出其網絡穩定性很差。從客戶端到云端,追蹤躍點數量已超過30,其傳輸速率和平均時延多次測量結果差異很大,測得平均時延最小為37ms,最大為139ms。這直接導致遠程修復難以操作。單位局域網速度最為穩定,平均時延僅7ms,且多次測量結果基本一致。家庭網絡A和B傳輸速率相對穩定但分時段,用戶多的忙時均有所下降。

從實測結果可知,除5G移動網絡外,其余五種網絡的傳輸速率或可滿足遠程修復操作,但在膠片掃描的海量數據上傳方面仍存在很大壓力。在云修復流程中,電影膠片經過數字化掃描后,應上傳至云端以完成修復與存檔。通常,膠片掃描后數據格式為10bit無壓縮序列幀。一部90分鐘、2K影片掃描源文件大約是1.5TB,若使用單位局域網將其上傳至阿里云端,用時約為124小時,相當于5天。這樣的低效率不能滿足大規模修復制作。因此若要實現修復系統及工藝在云端真正應用,提升網絡技術條件是關鍵問題。

4.2.2 交互操作流暢度

傳輸速率和網絡平均時延從客觀角度反映了不同網絡的傳輸性能,以及對云修復系統運行可能產生的影響。交互操作流暢度則是從軟件實際運行和人工操作角度出發,通過在8種模擬系統中進行2K影片修復測試,評估在云端實現修復人機交互操作和各項功能的可行性。

可用,修復各項功能的實際操作基本流暢。模擬 手繪筆刷有明顯拖尾,界面操作可感知明顯延遲。公有云1調色操作流暢。Lion和Resolve播放時有卡頓,Diamant可低速播放,偶有卡頓。模擬 不可用,修復各項功能的實際操作無法實現。公有云2網絡不穩定,從運行軟件開始所有操作 (鼠標滑動、點擊、窗口縮放等)都很困難,無法使用。可用,修復各項功能的實際操作基本流暢。模擬 手繪筆刷有明顯拖尾,界面操作可感知明顯延遲。公有云3調色操作均有微小延遲。Lion和Resolve素材播放有卡頓,Diamant可低速播放。

交互操作流暢度評估,主要考察的是從修復人員發出操作指令到結果反饋在顯示器上所需的時間是否能夠滿足人員的流暢使用。圖2是云修復模式下,從修復人員發出操作指令到結果反饋的過程示意。分析該過程可看到,交互操作流暢度主要受兩方面影響。一方面是網絡帶寬,主要影響操作指令、計算結果的傳輸,決定了客戶端與云端之間數據傳輸能力。因此流暢度的評估與上節中網絡性能測試結果可互為驗證。表5和表6中數據反映出測試結果的一致性。可見提升帶寬能夠緩解網絡本身延遲問題,但需考慮成本。另一方面,操作流暢度還取決于運算設備性能。它主要影響修復結果的計算速度、傳輸到客戶端所需的編解碼速度。性能配置是相對容易控制的。從本次測試結果可以看到,若排除實時播放等高要求,公有云服務器性能基本滿足修復使用,而私有云在性能配置上更加靈活可定制。鑒于此,影響修復流暢度最大因素還是在網絡條件方面。

表6 交互操作流暢度測試結果

圖2 云修復操作與反饋過程的示意圖

4.2.3 畫面質量

(1)靜態顏色編碼準確性

旨在考察遠程桌面方式下,修復畫面經過編碼解碼傳輸后,在客戶端顯示的結果與原畫面在色彩上是否有偏差。從而判斷遠程桌面方式的色彩準確性,衡量其是否可用于畫面調色工作。

①測試工具

柯達2K色彩測試標板。(需注意標板為10bit圖像,但顯示器及遠程桌面僅支持8bit,因此客戶端顯示并截屏后的測試圖均為8bit。)

②測試方法

將測試標板分別顯示在客戶端本機桌面、RPD遠程桌面和阿里無影云桌面上并截圖。提取截圖中測試標板各色塊RGB數值,記錄數據。計算每個色塊在不同顯示條件下的R、G、B數值差,即ΔR、ΔG、ΔB。若所有差值均為0則認為云端機的標板畫面經編碼、解碼后傳輸顯示至客戶端上的結果為準確;若差值非0,則說明傳輸至客戶端顯示的結果不準確,即畫面色彩有偏差。

③結果分析

RDP遠程桌面測得結果中,24個色塊中有5個色塊存在微小數值偏差,偏差值均為1。說明顯示過程中畫面色彩沒有真實還原。但偏差僅1bit,人眼不可察覺,因此并不嚴重。而阿里無影云桌面上24個色塊均未檢出偏差,說明色彩準確性良好。

表7 靜態標板測試數據

12 164 0 121 0 55 0 164 0 121 0 55 0 13 41 0 56 0 140 0 41 0 56 0 140 0 14 65 0 121 0 67 0 65 0 121 0 67 0 15 166 0 50 0 49 0 165-1 49-1 49 0 16 177 0 150 0 56 0 177 0 150 0 56 0 17 161 0 75 0 132 0 161 0 75 0 132 0 18 57 0 108 0 161 0 57 0 108 0 161 0 19 177 0 181 0 215 0 177 0 181 0 215 0 20 149 0 155 0 186 0 149 0 155 0 186 0 21 121 0 126 0 149 0 121 0 126 0 148-1 22 91 0 95 0 111 0 91 0 95 0 111 0 23 64 0 65 0 70 0 64 0 65 0 70 0 24 36 0 37 0 36 0 36 0 37 0 36 0

(2)圖像顯示分辨率

旨在考察遠程桌面方式下,修復畫面經過編解碼傳輸后,在客戶端顯示的質量與原畫面質量在分辨率上是否出現偏差。從而判斷遠程桌面方式圖像顯示的準確性,衡量其是否可用于畫面修復工作。

①測試材料

柯達膠片2K分辨率測試標板 (靜態);自制的動態版測試標板 (長度1秒,偏移量x=400,y=50)。

②測試方法

在RDP遠程桌面和阿里無影云桌面上,分別打開分辨率測試標板 (靜態),觀察標板清晰度并截屏(見表8中RDP欄和阿里無影云桌面欄)。在兩種遠程桌面上分別循環播放動態版測試標板,并截圖(見表8中RDP move欄和阿里無影云桌面move欄),觀察其清晰度變化。

表8 顯示圖像分辨率測試結果

③結果分析

為更清晰地反映測試結果,表8中僅展示了測試標板中1×1分辨率部分的截圖。對比兩個靜態顯示截圖,RDP和阿里云桌面均可正常顯示標版條紋,且肉眼對比與原圖無差異。當動態播放標板時,可看到無論RDP還是阿里云桌面的顯示均出現不同程度模糊。其中,阿里云的顯示略有模糊但條紋仍分明,而RDP顯示的條紋嚴重模糊,甚至豎向條紋已模糊成了色塊。由此可見,在顯示分辨率方面,靜態條件下兩者均效果良好,而動態顯示條件下阿里云優于RDP。

4.2.4 素材播放

此項旨在評估公有云服務上進行修復結果監看與質量鑒定的可行性。通常,修復監看與質量鑒定應播放無壓縮格式影片文件。但由于阿里云所提供的存儲性能及網絡條件均不支持無壓縮格式播放,因此測試素材使用了H.264編碼片段。

(1)測試素材:H.264 quicktime格式,分辨率1920×1080。使用該素材制作了不同碼率的測試片段,碼率由高到低分別為1、2、3號。具體數據見表9。

表9 測試片段碼率

(2)測試方法:使用所內局域網由客戶端登陸阿里無影云桌面系統。在云端使用Media Player依次循環播放三種測試素材,觀察播放效果并記錄。

(3)結果分析

素材播放是否流暢主要取決于云端虛擬機性能及共享存儲性能。從影片播放到顯示的過程分析,當虛擬機播放測試片段時,片段經解碼后呈現在云端桌面上,然后經過壓縮編碼由遠程桌面傳輸到客戶端,再經客戶端解碼后顯示在屏幕上。這一過程中,越高碼率的片段編碼復雜性越高,對虛擬機性能的要求則越高。從測試所用的無影云配置來看,理論上高中低三種碼率的測試片段均應流暢播放。但實際測試發現,高碼率片段播放時花屏、卡頓現象非常嚴重,其中搖移鏡頭更甚。中碼率片段偶爾出現卡頓、丟幀等現象,低碼率片段播放基本流暢。此外,在多次播放過程中,三個片段均出現過播放速度忽快忽慢狀況,碼率越高該現象越頻繁。這主要是由于虛擬機性能的穩定性不夠造成。特別是在上班時間繁忙時段進行播放,很容易出現此現象。推測為云服務共享特性導致的用戶競爭,虛擬機性能下降,影響播放效果。

另外,公有云模擬系統的交互流暢度測試中發現,軟件內播放素材時,三種網絡的傳輸速率均未超過40Mbps,局域網和家庭網絡B基本在25~35Mbps間波動。由此推測,阿里云內部網絡對用戶存在一定限速。

4.2.5 關于C/S架構的測試

除阿里云桌面沒有開通公網IP無法部署外,該軟件在本項目測試的其他模式中均可實現設備連通、軟件安裝和正常運行。

表10 原生C/S架構測試結果

在性能測試方面,由于測試模型均為自行設計,單獨測試某項技術指標意義不大。經測試,在穩定的100Mbps帶寬10ms以內延遲的網絡中,采用原生C/S架構的云修復用戶體驗與本地模式差別不大,優于云桌面模式。

5 結論

5.1 部署模式

經研究驗證,云修復模式已具備一定的技術可行性。

現有條件下,電影數字化修復系統可經過優化后部署在私有云上,實現畫面修復、聲音修復、畫面調色及合成輸出等修復制作功能,聲畫質量能夠滿足修復基本要求,且成本可控,可支持電影修復項目在云端開展內容修復制作。

經測試,公有云服務在硬件算力上已能夠滿足電影修復制作的基本要求,可提供豐富的算力資源,具有系統配置靈活多樣、隨時可更換、免維護與升級的優勢。但從經濟性考慮,租用第三方云服務需支付相應套餐費以及配套網絡和共享存儲費用,長期租用成本高昂,離實際推廣應用還有距離。未來隨著云計算技術的發展,若云端修復制作達到一定規模形成分布式協同制作模式,相信在集群效應下價格成本方面會體現出優勢。此外,公有云部署還面臨修復專業設備的許可證管理、插件應用以及多人協同工作模式等復雜問題,有待進一步研究解決。

5.2 遠程連接方式

采用遠程桌面類連接是當前技術條件下實現云修復系統最適用的遠程方案。由于專業修復軟件種類少、需求小且更新緩慢,短期內主流軟件更新到具備云原生架構可能性很小,而一套完整修復工藝中必定涉及使用多種軟件,因此采取通用性強且穩定性佳的遠程桌面方式是當下最可行方案。目前國內各大云服務商均有推出高性能GPU圖形型云桌面服務,具有部署效率高、擴展能力強、維護方便的優勢。實測這類云桌面服務已在技術層面達到云修復基本要求,可支持大部分修復軟件及外設的安裝和遠程使用。單純從技術角度來看,采用這類云桌面配合共享存儲可迅速構建一套基礎的電影數字化修復云系統。安全性方面也有多種可選策略,比如安全水印功能和加密協議僅傳輸屏幕變量等,可提供較安全可靠的修復工作環境。

這種方式與本地修復相比仍有不足,主要集中在搭建監看、監聽環境方面。云桌面不能將制作內容單獨回傳到監視設備上顯示,并且回傳的是壓縮圖像。阿里云雖有無壓縮回傳功能,但對網絡要求非常高,現階段無法實際使用。聲音修復文件小、對算力要求低但需要一套標準還音設備,因此仍是本地修復更合適。鑒于此,現階段的公有云修復可保留調色調音工作在線下完成,將畫面修復的手工繪制等耗費人工的環節部署到云上分包,從而提升效率、降低成本。

5.3 云端服務器性能要求

電影數字化修復對于云端服務器性能要求主要集中在算力方面,即CPU和GPU性能。根據測試結論,無影云桌面的GPU計算型服務器配置基本滿足電影修復對硬件性能的要求。而這類GPU計算型為通用配置,各大云服務商均有提供,根據實際需求可有多種選擇。另外,選配云端服務器時還應重點關注兼容性。云服務所提供的通常為虛擬機,配置按固定套餐形式出租,硬件性能升級只有通過更換更高配置的套餐實現。用戶無權限更新套餐內硬件。這就需要在搭建云修復系統時充分考慮軟硬件兼容性。由此可見,租用公有云服務雖然可為用戶免去系統維護成本和精力,但同時也在一定程度上損失了系統搭建的靈活性和擴展性。

5.4 云修復的網絡條件

網絡傳輸性能與其使用成本是影響云修復模式能否真正落地的關鍵因素之一。所測的8種模擬云修復系統均可在云端實現基本畫面修復功能和調色操作,但在修復可用性和用戶體驗上有明顯差異。結果表明,100Mbps帶寬、10ms以下時延的網絡條件可基本滿足修復操作需求。但帶寬并非唯一決定性因素,網絡穩定性也是決定用戶體驗的關鍵因素。受限于網絡條件,云修復系統尚不支持修復人員 “隨時隨地”從任意終端、任意網絡登入系統開展工作。另外從成本上,測試中SDH專線的網絡性能最佳,但其價格高昂不適合長期使用。若將修復系統部署在公有云,則需從云服務商租用公網帶寬服務方可實現多用戶共享,若長期使用則是一筆不小的費用。

綜上所述,檔案影片云修復系統已初步具備可行性。雖然當前技術條件離真正在云端實現修復全流程還有差距,但隨著云計算技術的不斷成熟發展和影視云制作產業鏈的日趨成熟,以上問題定然會逐步得到改善和解決。