電影頻道超高清節目視頻質量優化

(中央宣傳部電影衛星頻道節目制作中心技術部,北京 100088)

1 引言

隨著超高清技術的成熟與發展,中央宣傳部電影衛星頻道(以下簡稱:電影頻道)作為國家級播出平臺,同時也作為國內最具權威性的電影專業頻道,響應上級單位發布的 《關于推動廣播電視和網絡視聽產業高質量發展的意見》的指示精神,針對節目的制作特點規劃了超高清節目制作系統的整體架構。力爭在短時間內,實現超高清節目的制作和播出,提高電影頻道的競爭力,為廣大人民群眾提供更好的視聽享受。

2 超高清制作系統架構

電影頻道超高清制作系統計劃是基于現有的制作系統進行改造,使現有的制作系統具備超高清節目制作能力。由于超高清視頻在色彩空間和HDR方面與高清制作系統存在很大的差異,特別是在節目制作時需要配置與HDR 匹配的監視設備,因此除了增加現有制作系統的后臺處理能力以外,應獨立出滿足需要的超高清節目的制作節點。

為了解決超高清節目與傳統高清節目的兼容性問題,以及電影節目源在色彩空間和HDR 的多樣性問題,需要在現有制作系統中增加視頻處理中心和音頻處理中心(如圖1所示)。其中視頻處理中心主要包括超高清節目的幀率轉換、分辨率轉換、色彩空間轉換、HDR 轉換、編碼優化以及圖像增強。音頻處理中心主要解決杜比全景聲、多聲道音頻以及雙聲道立體聲的相互轉換問題,本文主要介紹視頻處理中心部分。

圖1 制作系統流程圖

3 視頻質量優化

如圖2所示,視頻處理中心主要包含幀率轉換、分辨率轉換、色域轉換、HDR 轉換以及編碼優化幾個節點。

圖2 視頻處理中心

3.1 幀率轉換

由于電影頻道播出的節目主要以電影為主,而節目源的幀率主要有以下幾種,一種是傳統的電影,其幀率為24P/48P;一種是高清電視電影 (用電視的手法拍攝電影),其幀率是25P/50i;還有一種是超高清節目,其幀率是50P。前兩種幀率與超高清節目的50P都存在一定的差異,因此在進行超高清節目制作前,需要進行幀率轉換。

圖3 幀率轉換節點

如圖3所示,幀率轉換節點主要包含去隔行子節點和幀率調整子節點。首先要將輸入視頻進行去隔行處理。針對電影頻道的視頻源特點,去隔行子節點只針對幀率為50i的視頻進行去隔行處理,將50i的視頻轉換為50P 的視頻。幀率調整子節點針對24P/48P以及25P的視頻,通過幀率調整功能將24P/48P以及25P的視頻統一調整為50P視頻。要實現上述功能,需要幀率轉換節點能夠自動識別輸入視頻的元數據 (XML),從而對不同的輸入源選擇對應的幀率轉換方式。

3.1.1去隔行

從隔行到逐行的掃描轉換過程稱為去隔行,去隔行技術主要通過內插的方法,將每個場信號轉換為幀信號。幀率轉換節點中的去隔行子節點的去隔行方法主要包含了場間時域去隔行法和運動自適應去隔行法。由于電影頻道節目內容的特點等因素,目前存儲在媒資里的高清素材大部分為50i格式,但是這些視頻單幀中的奇偶場很可能存在相同時序。因此,采用最簡單的場間時域去隔行方法將奇偶場合并為一幀,可以得到最優的單幀圖像質量。

對于視頻單幀中的奇偶場來自于不同時序的視頻,如果單純的采用場間時域去隔行方法,在處理存在快速運動的圖像時,會產生明顯的混疊現象。這時,就需要采用運動自適應去隔行法,簡單來說就是通過前后場的運動軌跡預測需要補充的像素,并通過運動濾波的方式來消除混疊現象,這樣可以得到相對可靠的圖像質量。

圖4 運動自適應去隔行

3.1.2幀率調整

幀率調整的目的是將24P/48P視頻以及25P視頻的幀率調整為50P。目前,針對24P/48P的視頻可采用兩種方式進行幀率調整,一種是24+1插值法,另一種是速率調整法。

采用24+1 的變換方式,就是每24 幀插入1幀,即每秒鐘增加1 幀。使用這種方法的優點是:節目的時長保持不變,聲音會保持正常的播放速度,音質會得到有效的保障。缺點是:每一秒鐘插入一幀,對于靜態鏡頭不會有太大的問題,但是對于動態鏡頭,特別是對于攝像機移動的鏡頭,則會明顯感覺畫面抖動,影響視覺效果。即使插入的幀是采用類似運動補償等方法生成,也會影響攝像機運動的平滑性。

將24P轉成25P 最為普通的方法就是通過將24P的視頻播放速度提高到25P,也就是將播放速度提高4.1%,然后再進行幀到幀的轉換。這樣,整部節目的時長會減少4.1%。帶來的問題是,聲音的播放速度也提高4.1%,這樣做會使音頻的聲調提高大概半個音階。為了更好地還原音頻質量,需要將采用“速率調整法”進行幀率調整的視頻節目所對應的音頻內容提交到“音頻處理中心”進行相應的處理。

接下來就是將25P 的視頻幀率調整為50P。如圖5所示,幀率調整的算法很多,其中比較簡單的算法就是復制每一個幀以達到幀率倍增的目的,這種簡單的復制對于靜態場景的效果很好,對于視頻中的靜態區域有比較好的表現,但是對于視頻中的動態區域的表現則比較糟糕。

圖5 幀率調整

在幀率調整子節點中對視頻進行幀率調整時,首先將視頻幀根據圖像運動向量參數劃分為靜態幀和動態幀,對于靜態幀的展現,采用簡單的幀復制的方式,以求得到更高的清晰度,而對于動態幀的展現,則通過運動補償的方式用MC 內插來合成新的視頻幀。雖然運動估計的準確性能夠引發MC 內插產生誤差,從而造成空域的細節模糊,但是由于幀率調整子節點提供足夠的緩存,且運動估計技術已經比較成熟,能夠確保幀率調整子節點對于運動估計的準確性。

3.2 分辨率轉換

4K 電影和4K 電視的分辨率存在差異,4K 電影的分辨率為4096×2160,而4K 電視的分辨率為3840×2160,而且面對4K 節目資源的匱乏,需要將大量的高清電視節目上變換為4K 的分辨率,以滿足超高清頻道播出的要求。

圖6 分辨率轉換

如圖6所示,雖然4K 電影的分辨率和4K 電視的分辨率存在差異,但是只是在圖像的垂直方向相差200多個像素點,大約是垂直方向總像素點的1/20,占比并不是很大,因此在上變換時,可以采用類似于標清到高清的上變換的切換方式,將200多個像素點切除,這樣既可以保證分辨率變換后的效果,畫面內容損失的部分也不影響觀看效果。

高清上變換4K 的算法中,目前最為熱門的當屬超分辨率(SR)的算法。所謂超分辨率,簡單的講,就是在視頻上變換時,通過將同一場景的多個低分辨率圖像(LR)進行分析,盡可能恢復丟失的細節部分,由于LR 圖像中存在混疊現象,即高頻信號在已經存在的頻率上的折疊,SR 圖像就能夠通過多個存在像素平移的LR 圖像恢復出所需要的高頻信息,從而重建高清晰度的圖像。目前市面上已經有一些成熟的超分辨率轉換軟件產品,轉換效果也已經被證明其明顯優于其他上變換算法,對視頻質量的提升確實起到了很大的作用。因此,電影頻道的分辨率轉換節點將主要采用超分辨率算法對高清到4K 的視頻節目進行上變換。

3.3 色域轉換

目前,在電視行業常用的色域是BT.709 和BT.2020,而電影行業通用的色域則是DCI-P3,IT行業則有Adobe RGB和sRGB,為了超高清視頻能夠在這些色域間進行轉換,電影頻道的色域轉換模塊將采用ACES色域作為制作域的標準色域。如圖7所示,由于ACES色域遠比其他色域寬,而且比人眼的可見光范圍還要大,因此以ACES色域作為制作域的標準色域可以更好地實現各色域間的自由轉換。

圖7 制作傳輸域

一般情況下,在將低色域視頻向高色域視頻進行轉換時,不進行色域的擴展。首先是因為現在電影頻道存儲的高清節目均為8比特存儲,能顯示的色階有限,如果算法使用不當,擴展色域很可能會導致畫面色彩出現割裂。其次,盲目的擴展色域,有可能會改變鏡頭語言,影響影片的創作意圖。

在將高色域視頻向低色域視頻進行轉換時,應特別注意色彩的偏色問題,目前市面上的色域轉換產品在處理這類問題時,或多或少都存在偏色的問題。因此,應使用監視器及調色軟件對轉換后的視頻顏色進行矯正。

3.4 HDR轉換

電影頻道存儲的部分高清影片是通過對膠片進行低反差拷貝并進行數字化得到的。由于高清節目的動態范圍遠低于電影膠片的動態范圍(反差),因此將電影膠片的動態范圍進行壓縮并轉換為高清節目是一個很好的選擇,但是對于高動態范圍的超高清電視而言,低反差拷貝已經不能滿足電影頻道對于超高清節目的高動態范圍 (HDR)的要求。因此,最為有效的方式就是對原始膠片重新進行掃描,轉換為高反差的電影文件,然后根據影片文件的伽馬曲線直接轉換為制作域伽馬。而且,無論是超16毫米膠片還是35毫米膠片,如果膠片的規格和保存得當,完全可以掃描出分辨率更高、更清晰的超高清視頻文件,有效提升節目畫質。由于國家廣播電視總局定義了HLG 為超高清節目制作的HDR,因此暫不考慮PQ 曲線的轉換。

圖8 HDR 轉換

如圖8所示,電影頻道的節目源可能包含多種輸入伽馬,為了能夠更好地完成各種伽馬之間的映射,需要HDR 轉換節點能夠支持多種伽馬。所有輸入伽馬都是OETF曲線,并且大多數都具有較寬的動態范圍,且至少為10 比特量化,因此在高于100%動態范圍的區間,都具有較多的比特分配。轉換為HLG 比較簡單,效果也能夠得到保障。

目前電影頻道存儲的高清影片,絕大部分都是通過非線性編輯系統實時上載得到的。由于非編板卡對于電平的限制,使得高于700mv的電平全部被削波,導致的結果就是,通過非編上載得到的高清影片,沒有任何高動態范圍。在曲線映射時只能以“場景參考映射”的方式進行“直接映射”。對于沒有采用非編上載的高清文件,動態范圍可能達到600%,但是由于采用8比特量化存儲,在高動態范圍部分(拐點部分)可用的比特較少,如果采用上映射方式,高動態范圍部分會擴展數倍,但是灰階數量卻不能增加。擴展后很可能出現亮度失真以及條帶現象。因此也只能以“場景參考映射”的方式進行“直接映射”。

對于膠片重新掃描后的超高清文件,由于膠片伽馬等元數據的缺失,需要對掃描后的視頻文件重新調色以便對伽馬進行矯正。相比于其它伽馬,此種方式效率不高,但是卻能有效提升超高清頻道的節目質量。

3.5 圖像增強

圖像增強指的是對輸入圖像進行處理,通過增強對比度、銳度或者提高信噪比,其目的是使得圖像的視覺效果更好,得到更好看的輸出圖像。對于對比度差的圖像,要求得到具有高對比度和清晰細節的圖像,對于高動態圖像實施動態范圍壓縮,以在標準顯示設備上更好地補償亮度和暗部的細節。圖像增強的工作主要由人工完成,類似于膠片的修復工作,從而避免不要的增強效果破環鏡頭語言。

圖像增強節點首先將RGB 圖像轉換到YCbCr后,僅對亮度分量進行處理,最終再將結果轉換回RGB進行顯示。這是因為,一方面對RGB 分量進行單獨處理,可能會改變色彩的平衡。另一方面,人類視覺系統對于色度分量中的高頻部分并不敏感。

圖9 圖像增強模塊

如圖9所示,圖像增強模塊主要包含三個部分:噪聲處理、對比度增強和圖像銳化。

噪聲除了會讓圖像不好看,遮蔽圖像的細節之外,噪聲還會給圖像處理帶來嚴重的問題。在視頻壓縮中,噪聲增加了熵,從而妨礙了壓縮效率的提升。欠曝或過曝鏡頭的對比度不好,對比度拉伸(又稱直方圖均衡)是比例調整像素亮度值以便更好地利用0～255灰度范圍的一種處理方法。用于圖像銳化的空間濾波能夠突出圖像空域頻率的中頻部分,從而令圖像更為清爽。

3.6 編碼優化

超高清節目具有高分辨率和高比特量化的特點,如果不經過壓縮,一部超高清電影文件所需的存儲空間是一部同時長高清電影文件所需空間的10倍以上,因此需要對超高清文件進行有效的壓縮。為了能夠更好地保留超高清圖像質量,在編碼前對文件進行編碼優化處理。

編碼優化處理主要是基于人眼視覺模型對超高清基帶信號進行一定的濾波處理,使人眼敏感的高頻部分盡可能的保留,濾除低頻帶中人眼不敏感的信息,從而到達節省帶寬的目的。目前在市面上的編碼優化功能能夠將編碼效率提升20%～30%左右,在節省存儲容量的同時確保了壓縮視頻的圖像質量。

4 結束語

電影頻道正在逐步完善和規劃超高清制播系統的建設,而人工智能已經悄悄地走進廣播電視行業,基于人工智能的音視頻內容識別、超分辨率、視覺無損、智能修復等已經逐步成熟。下一步,電影頻道將緊緊抓住人工智能這個機遇,規劃和落實超高清系統的建設及增值業務的擴展,不斷提升超高清視聽質量和市場效益。?