高吞吐量JPEG 2000在電影中的應(yīng)用

(中國(guó)電影科學(xué)技術(shù)研究所,北京 100086)

JPEG 2000標(biāo)準(zhǔn)作為新一代的圖像壓縮標(biāo)準(zhǔn)自2000年正式出臺(tái)以來(lái),憑借其優(yōu)異的壓縮比、新加入的對(duì)于感興趣區(qū)域 (ROI)的支持、以及其支持漸進(jìn)傳輸?shù)葍?yōu)點(diǎn),使得JPEG 2000標(biāo)準(zhǔn)在圖像壓縮領(lǐng)域取得了一定突破,在電影、互聯(lián)網(wǎng)、數(shù)字相機(jī)、醫(yī)療影像、數(shù)字圖書(shū)館等領(lǐng)域得到廣泛應(yīng)用。時(shí)光荏苒、歲月如梭,JPEG 2000標(biāo)準(zhǔn)發(fā)展至今已經(jīng)經(jīng)歷了20個(gè)春秋。隨著用戶(hù)需求的與時(shí)俱進(jìn)和視聽(tīng)產(chǎn)品的規(guī)格標(biāo)準(zhǔn)不斷提升,JPEG 2000標(biāo)準(zhǔn)對(duì)編解碼硬件要求較高,無(wú)法在廣泛的應(yīng)用領(lǐng)域得到推廣,發(fā)展受到限制。2020 年前后,JPEG 委員會(huì)在JPEG 2000國(guó)際標(biāo)準(zhǔn)系列 (ISO/IEC JTC 1/SC 29/WG 1)新增加了一個(gè)標(biāo)準(zhǔn)——“高吞吐量JPEG 2000”。

1 什么是HTJ2K

高吞吐量JPEG 2000 英文全稱(chēng)是 High Throughput JPEG 2000,簡(jiǎn)稱(chēng)HTJ2K。該標(biāo)準(zhǔn)是JPEG 委員會(huì)在JPEG 2000 國(guó)際標(biāo)準(zhǔn)系列 (ISO/IEC JTC 1/SC 29/WG 1)新增加的一個(gè)標(biāo)準(zhǔn)。

HTJ2K 標(biāo)準(zhǔn)能夠?yàn)镴PEG 2000 帶來(lái)巨大的數(shù)據(jù)量吞吐。同JPEG 2000標(biāo)準(zhǔn)相比,在采用中等壓縮比率時(shí),HTJ2K 標(biāo)準(zhǔn)能夠提高大約10倍的數(shù)據(jù)吞吐量;而在采用無(wú)損編碼時(shí),HTJ2K 標(biāo)準(zhǔn)可以提供超過(guò)原來(lái)30倍的數(shù)據(jù)吞吐量。HTJ2K 標(biāo)準(zhǔn)在略微降低編解碼效率的情況下,大大降低了計(jì)算的復(fù)雜程度,因此其能夠采用低成本的硬件實(shí)現(xiàn)。例如:4096×2160 分辨率的4K 4∶4∶4 12 比特/通道(bit/channel)即36 比特/像素 (bits/pixel)的視頻采用3.4GHz 4核Skylake桌面處理器,以2比特/像素 (bits/pixel)進(jìn)行編碼時(shí),編碼速度可超過(guò)90fps,且同一硬件對(duì)該片還可以實(shí)現(xiàn)超過(guò)140fps的解碼。如果相同規(guī)格的視頻內(nèi)容采用目前性能處于中等水平GTX1080芯片的GPU 進(jìn)行解碼,可以達(dá)到500fps。

2 HTJ2K 與JPEG 2000的關(guān)系

HTJ2K 通過(guò)引入一種新的HT 塊編碼器來(lái)實(shí)現(xiàn)數(shù)據(jù)的高吞吐量,對(duì)原始JPEG 2000 第1 部分(以下簡(jiǎn)稱(chēng)為J2K-1)塊編碼器進(jìn)行替換,該模塊能夠轉(zhuǎn)碼到J2K-1格式,也可以從J2K-1格式轉(zhuǎn)碼還原,實(shí)現(xiàn)了真正可逆的轉(zhuǎn)碼。

除質(zhì)量可擴(kuò)展性之外,HTJ2K 保留了JPEG 2000第1部分的所有特性。它與JPEG 2000第2部分定義的擴(kuò)展、JPEG 2000第9部分定義的交互式通信協(xié)議以及JPEG 2000 系列的其他部分兼容。HTJ2K 完全支持分辨率可擴(kuò)展性,有效的空間隨機(jī)訪問(wèn),多光譜和高光譜內(nèi)容(multi-spectral and hyper-spectral content),以及高吞吐量非迭代精確速率控制。與J2K-1編碼器不同,HT 編碼器并未完全嵌入,并且HTJ2K 碼流可以保留質(zhì)量層邊界,從而在HT 和J2K-1之間實(shí)現(xiàn)真正的可逆轉(zhuǎn)碼。

HTJ2K 解決了專(zhuān)業(yè)視頻采集、編輯、流媒體和分發(fā)市場(chǎng)的需求,包括高精度和半浮點(diǎn) (half-float)內(nèi)容的高吞吐量無(wú)損編碼。HTJ2K 同時(shí)能夠廣泛應(yīng)用于各種程序,從點(diǎn)對(duì)點(diǎn)視頻流到圖像捕獲、預(yù)覽和瀏覽等功能。同時(shí),超高的電能利用率使其充分勝任移動(dòng)設(shè)備和衛(wèi)星成像應(yīng)用。

最后,HTJ2K 標(biāo)準(zhǔn)中定義了一種稱(chēng)為JPH 的包裝文件格式,用最新的顏色空間更新了JPEG 2000格式,幾乎支持無(wú)限精度的HDR 內(nèi)容。其擴(kuò)展了JP2文件格式,支持現(xiàn)代可參數(shù)化的顏色空間、沒(méi)有任何顏色空間的圖像以及適合原始傳感器壓縮的自定義顏色映射。

JPEG 2000第16部分規(guī)定了ISO/IEC 23008-12中JPEG 2000 碼流的封裝,通常稱(chēng)為HEIF。JPEG 委員會(huì)正在對(duì)其進(jìn)行修訂,以支持封裝HTJ2K 標(biāo)準(zhǔn)的碼流。目前Kakadu、OpenJPH、ICT-Link都已經(jīng)支持HTJ2K 標(biāo)準(zhǔn)。與J2K-1 標(biāo)準(zhǔn)一樣,HTJ2K 標(biāo)準(zhǔn)也是免費(fèi)的。

3 HTJ2K 整體架構(gòu)

圖1顯示了HTJ2K 壓縮和解壓所涉及的元素。HTJ2K 在很大程度上保留了JPEG 2000 的現(xiàn)有體系結(jié)構(gòu)和代碼流語(yǔ)法。圖像首先完成JPEG 2000第1部分或第2部分定義的多分量變換、非線性點(diǎn)變換,變換后的圖像分量由可逆或不可逆的離散小波變換 (DWT)處理,生成詳細(xì)子帶和一個(gè)基本(LL)子帶的層次結(jié)構(gòu)。

圖1 HTJ2K 整體架構(gòu)

所有子帶被劃分為不超過(guò)4096個(gè)樣本的塊,典型尺寸為64×64或32×32,也可以是非常寬和短的塊,如1024×4,該種塊對(duì)于低延遲應(yīng)用程序也很重要。每個(gè)塊被單獨(dú)量化 (如果是不可逆的)并編碼,產(chǎn)生一個(gè)包含零或更多編碼參數(shù)的比特流。

在編碼器中,可選的壓縮后失真率優(yōu)化(PCRD-opt)階段用于丟棄部分產(chǎn)生的編碼參數(shù)。最后,把來(lái)自每個(gè)代碼塊的比特流組合為JPEG 2000數(shù)據(jù)包,以形成最終的代碼流。

HT 塊編碼器具有并發(fā)處理能力。所有JPEG 2000碼流都由碼塊組成,每個(gè)碼塊最多有4096 個(gè)樣本,所有樣本都可并行處理。使HT 塊編碼器如此之快的原因是每個(gè)HT 塊位流由3到5個(gè)字節(jié)流組成,這些流是松散耦合的,可并發(fā)處理。

4 HTJ2K 的應(yīng)用

圖2 HTJ2K 系統(tǒng)圖

HTJ2K 標(biāo)準(zhǔn)引入了全新的HT 塊編碼器,該編碼器替換了J2K-1 中定義的J2K-1 塊編碼算法,從而相對(duì)于JPEG 2000數(shù)據(jù)吞吐量有著巨大的提升。

4.1 電影和錄像資產(chǎn)的分配、存檔和管理

目前,JPEG 2000在用于數(shù)字電影發(fā)行放映以外,被廣泛用作數(shù)字電影和視頻資產(chǎn)的中間發(fā)行格式,這主要借助于電影電視工程師協(xié)會(huì) (SMPTE)定義的互操作母版格式 (IMF)規(guī)范。在這種應(yīng)用場(chǎng)景也可以采用HTJ2K 標(biāo)準(zhǔn),相對(duì)于JPEG 2000標(biāo)準(zhǔn)會(huì)更加提高效率。

針對(duì)目前已經(jīng)有大量JPEG 2000的視頻內(nèi)容的存檔管理,HTJ2K 標(biāo)準(zhǔn)也提出了相應(yīng)的解決辦法,由于HTJ2K 標(biāo)準(zhǔn)僅僅是替換了JPEG 2000編解碼器,所以可以在不影響原來(lái)工作流程的情形下,在處理流程中直接加入HTJ2K 轉(zhuǎn)碼器來(lái)完成轉(zhuǎn)碼工作,不僅如此HTJ2K 標(biāo)準(zhǔn)還有將HTJ2K 改為J2K-1的可逆轉(zhuǎn)碼器,能夠幫助將已經(jīng)編碼的文件還原回J2K-1狀態(tài)。

按照?qǐng)D2的HTJ2K 系統(tǒng)圖中的路徑C-D-F-I-K,現(xiàn)有的存檔JPEG 2000媒體可以被轉(zhuǎn)換、存儲(chǔ)、分發(fā)和播映,大大降低了計(jì)算復(fù)雜度。

首先,原來(lái)被存儲(chǔ)在J2K 媒體庫(kù)中的J2K 媒體將使用HTJ2K 可逆轉(zhuǎn)碼器將J2K-1格式文件轉(zhuǎn)碼成為HTJ2K 文件格式,該轉(zhuǎn)碼器為可逆轉(zhuǎn)碼器,確保用戶(hù)可以根據(jù)需要能夠還原成J2K-1 格式文件;接下來(lái)被轉(zhuǎn)碼成HTJ2K 格式的文件將被存儲(chǔ)在HTJ2K 儲(chǔ)存庫(kù)中方便進(jìn)行存儲(chǔ)和分發(fā);當(dāng)媒體文件需要呈現(xiàn)時(shí),HTJ2K 文件將通過(guò)HTJ2K 解碼器進(jìn)行解碼,然后顯示給用戶(hù)觀看。

當(dāng)用戶(hù)需要將HTJ2K 格式文件恢復(fù)成JPEG 2000格式時(shí),可以通過(guò)路徑F-H-G (見(jiàn)圖2)完成原始JPEG 2000 無(wú)損恢復(fù)。HTJ2K 格式文件通過(guò)HTJ2K 可逆轉(zhuǎn)碼器,將HTJ2K 格式文件還原成JPEG 2000文件J2K-1格式文件,并將J2K-1格式文件存儲(chǔ)到J2K 儲(chǔ)存庫(kù)中。

SMPTE在最近修訂的SMPTE ST 422標(biāo)準(zhǔn)中增加了對(duì)MXF 文件中HTJ2K 的支持,這使得HTJ2K 更容易使用在數(shù)字電影、IMF 和其他使用以MXF文件為基礎(chǔ)的應(yīng)用中。

4.2 節(jié)約能耗的圖像捕獲和預(yù)覽

HTJ2K 標(biāo)準(zhǔn)及其相關(guān)的JPH 文件格式還可以應(yīng)用在數(shù)碼相機(jī)、手機(jī)和更先進(jìn)的多傳感器成像設(shè)備上,可以幫助這些設(shè)備保存捕獲的圖像更多的細(xì)節(jié)特性。使用軟件和硬件將圖像直接編碼成HTJ2K所需的能耗非常低,這個(gè)特性對(duì)于使用電池供電的設(shè)備大有裨益。HTJ2K 支持非常高的樣本精度,允許用HLG 和PQ 等非線性傳遞函數(shù)編碼高動(dòng)態(tài)范圍內(nèi)容。更重要的是,HTJ2K 具有分辨率可伸縮性和區(qū)域可訪問(wèn)的特性,它允許JPH 文件以極低的能耗預(yù)覽圖片或者是查看圖片某一個(gè)部分。這個(gè)功能所需要的能耗遠(yuǎn)遠(yuǎn)低于使用JPEG 文件格式預(yù)覽所需的能量。

整個(gè)工作流程如圖2的路徑B-E-F-I-K。視頻源或者圖片源首先進(jìn)入HTJ2K 編碼器,編碼成為HTJ2K 格式文件,然后存儲(chǔ)在HTJ2K 儲(chǔ)存庫(kù)中,需要使用的時(shí)候從HTJ2K 儲(chǔ)存庫(kù)中提取出來(lái)由HTJ2K 解碼器解碼,然后展示給用戶(hù)。

此外,HTJ2K 與JPIP 標(biāo)準(zhǔn)無(wú)縫工作,可以用于JPEG 2000圖像的交互式遠(yuǎn)程瀏覽。這提供了一種高效的機(jī)制來(lái)支持從特定網(wǎng)絡(luò)中的設(shè)備遠(yuǎn)程預(yù)覽捕獲的內(nèi)容,行使路徑B-E-F-L (見(jiàn)圖2)。首先視頻源或者圖片源通過(guò)HTJ2K 編碼器編碼后生成HTJ2K 格式文件,然后HTJ2K 格式文件存儲(chǔ)到HTJ2K 儲(chǔ)存庫(kù)中,JPIP服務(wù)器可直接從HTJ2K儲(chǔ)存庫(kù)中提取HTJ2K 格式文件。如果在過(guò)程中需使用J2K-1標(biāo)準(zhǔn),可將HTJ2K 可逆轉(zhuǎn)碼器完全嵌入流程中,在HTJ2K 系統(tǒng)圖中行使路徑B-E-F-H-J(見(jiàn)圖2),即在需使用的時(shí)候?qū)腍TJ2K儲(chǔ)存庫(kù)中提取出來(lái)由HTJ2K 格式文件進(jìn)行HTJ2K到J2K-1的可逆轉(zhuǎn)碼,轉(zhuǎn)成J2K-1格式文件后再交由JPIP服務(wù)器處理,以實(shí)現(xiàn)對(duì)遠(yuǎn)程內(nèi)容的高效瀏覽。

HTJ2K 也可以應(yīng)用在遠(yuǎn)程直播、廣播、視圖查找等方面,工作流程在圖2的HTJ2K 系統(tǒng)圖中執(zhí)行路徑B-E-I-K,利用HTJ2K 極高的編碼和解碼吞吐量,即使在較低的傳輸速率下也具有較高的編碼效率,且視頻流從一端到另外一端具有較低延遲。這些特性允許高質(zhì)量4K 內(nèi)容在傳統(tǒng)IP或本地?zé)o線鏈路上傳輸,節(jié)省了原有傳輸路線的擴(kuò)容問(wèn)題,降低了投資規(guī)模。

4.3 高分辨率視頻采集

以往使用J2K-1塊編碼算法,大多數(shù)移動(dòng)設(shè)備沒(méi)有足夠的CPU 功率來(lái)直接壓縮其圖像傳感器能夠產(chǎn)生的高分辨率視頻流。HTJ2K 使用圖2中的路徑B-E-F,通過(guò)實(shí)時(shí)產(chǎn)生壓縮流來(lái)解決這個(gè)問(wèn)題。如果后期有需要,之前采集的HTJ2K 格式文件可以被轉(zhuǎn)碼為J2K-1格式,執(zhí)行圖2中路徑FH-G 或F-H-J來(lái)完成。

4.4 用于交互渲染的緩存管理

在查看大型圖像時(shí),通常會(huì)按照需要通過(guò)改變分辨率來(lái)縮放圖片進(jìn)行瀏覽,也會(huì)通過(guò)放大某一塊感興趣的區(qū)域進(jìn)行仔細(xì)查看,因此連續(xù)呈現(xiàn)的視圖包含許多共同的代碼塊。每次以某種分辨率呈現(xiàn)感興趣的區(qū)域時(shí),相關(guān)的代碼塊通常都是按需解碼的,可從本地文件或客戶(hù)端緩存中動(dòng)態(tài)訪問(wèn)。

HTJ2K 標(biāo)準(zhǔn)也可以應(yīng)用在大型圖像緩存管理方面。目前有兩種方式,一種是如果源內(nèi)容已經(jīng)使用HTJ2K 編碼器,那么在交互渲染過(guò)程中重復(fù)解碼常見(jiàn)的碼塊將比使用J2K-1 編碼算法速度快得多,將大大降低這些應(yīng)用使用的電量。另外一種,如果原始媒體使用J2K-1塊編碼器,則被重復(fù)訪問(wèn)的代碼塊可以被轉(zhuǎn)換為等效的HT 塊表示并存儲(chǔ)在智能內(nèi)容緩存中,從該緩存中重新呈現(xiàn)將會(huì)變得更加高效。HTJ2K 和J2K-1 都使用了類(lèi)似的緩存內(nèi)存,并且保留了圖片或者視頻的所有信息。這種類(lèi)型的應(yīng)用在圖2的HTJ2K 系統(tǒng)圖中執(zhí)行路徑部分或全部路徑為A-D-F-I-K。首先,JPIP 客戶(hù)端將生成的J2K-1格式文件經(jīng)由HTJ2K 可逆轉(zhuǎn)碼器轉(zhuǎn)換成為HTJ2K 文件格式,并儲(chǔ)存在HTJ2K 儲(chǔ)存庫(kù)中,在使用的過(guò)程中HTJ2K 文件經(jīng)HTJ2K 解碼器解碼后,顯示給用戶(hù)。

4.5 Web服務(wù)器中優(yōu)化的圖像傳遞

如今,通過(guò)各種各樣設(shè)備可實(shí)現(xiàn)Internet瀏覽,這些設(shè)備有多種屏幕尺寸和分辨率。為適應(yīng)不同設(shè)備屏幕,為用戶(hù)提供更優(yōu)體驗(yàn),需要調(diào)整適配不同分辨率圖像,甚至要做一定的裁剪來(lái)更好地匹配不同設(shè)備屏幕,以便減少所需的帶寬和渲染時(shí)間。這是“響應(yīng)圖像 (Responsive Images)”倡議的動(dòng)機(jī)。

響應(yīng)圖像倡議已經(jīng)存在了好多年,目前得到了所有廣泛使用瀏覽器廠商的支持:例如Firefox 和Chrome從第38版開(kāi)始支持該倡議;Edge從第18版也開(kāi)始支持。現(xiàn)有方法是在服務(wù)器端存儲(chǔ)不同分辨率的圖片,當(dāng)設(shè)備用web瀏覽器訪問(wèn)服務(wù)器時(shí),web瀏覽器加載顯示設(shè)備最匹配的圖像。這要求web服務(wù)器存儲(chǔ)非常大量的不同的但相關(guān)的圖片映像。這種方式增加了服務(wù)器的工作負(fù)載,而且需要增加服務(wù)器的硬盤(pán)、內(nèi)存等硬件的投入。

HTJ2K 獨(dú)有的機(jī)制可以更好地實(shí)現(xiàn)響應(yīng)圖像倡議的目標(biāo)。HTJ2K 利用分辨率可伸縮性和隨機(jī)訪問(wèn)能力,單個(gè)JPH 文件就可以有效地提供圖像所有所需的不同分辨率和圖像裁剪組合,從而減少web服務(wù)器的工作量和對(duì)硬件資源的消耗。

5 結(jié)論

2005年7月,數(shù)字影院倡導(dǎo)組織 (Digital Cinema Initiatives,簡(jiǎn)稱(chēng)DCI)發(fā)布了 《數(shù)字影院技術(shù)規(guī)范》(V1.0)將JPEG 2000作為數(shù)字電影的編碼格式。在過(guò)去的這些日子里,JPEG 2000標(biāo)準(zhǔn)憑借其高壓縮率、高圖像質(zhì)量一直在電影行業(yè)中發(fā)揮著巨大作用。隨著高幀率 (HFR)、高動(dòng)態(tài)范圍(HDR)、大色域、8K、VR 等高新技術(shù)格式電影和媒體產(chǎn)品的發(fā)展驅(qū)動(dòng),JPEG 2000標(biāo)準(zhǔn)的一個(gè)重要缺點(diǎn)——“計(jì)算復(fù)雜”越來(lái)越突出,這個(gè)缺點(diǎn)進(jìn)一步限制了其在電影中的應(yīng)用。HTJ2K 標(biāo)準(zhǔn)的出現(xiàn)很大程度上解決了這一問(wèn)題。

HTJ2K 在整個(gè)JPEG 2000 系列標(biāo)準(zhǔn)加入的內(nèi)容相對(duì)較少,但是卻給JPEG 2000系列標(biāo)準(zhǔn)帶來(lái)了全面的改進(jìn)。與原始JPEG 算法相比,HTJ2K 提供了更高的編碼效率、可伸縮性的分辨率、區(qū)域資源的可訪問(wèn)性和更強(qiáng)大的并行計(jì)算能力,同時(shí)與現(xiàn)有的JPEG 2000 算法相比,實(shí)現(xiàn)了更高的數(shù)據(jù)吞吐量。

HTJ2K 保留了JPEG 2000幾乎所有豐富的特征集外,還額外增加了質(zhì)量可伸縮性,在大大降低計(jì)算復(fù)雜度的同時(shí)大幅提高了數(shù)據(jù)吞吐量 (代價(jià)是編碼效率降低5%～10%)。

HTJ2K 和原來(lái)的J2K-1 格式是完全可互換的,允許在捕獲、分發(fā)、存檔、緩存或呈現(xiàn)系統(tǒng)中的任意點(diǎn)合并和可逆轉(zhuǎn)碼,以在不犧牲數(shù)據(jù)完整性的情況下獲得這兩種算法的最佳特性。在轉(zhuǎn)碼過(guò)程中,HTJ2K 甚至可以保留非HTJ2K 碼流的所有質(zhì)量分層、配置文件等信息。?

注釋

①Skylake是英特爾第六代微處理器架構(gòu),采用14 納米制程,是Intel Haswell微架構(gòu)及其制程改進(jìn)版Intel Broadwell微架構(gòu)的繼任者。

②JPEG 2000第9部分,也稱(chēng)為JPIP標(biāo)準(zhǔn),該標(biāo)準(zhǔn)定義了對(duì)圖像 (包括視頻和動(dòng)畫(huà))如何進(jìn)行高效和響應(yīng)的遠(yuǎn)程交互瀏覽。