IMF技術發展及其在跨平臺發行中的應用

方捷新 崔 強

(中國電影科學技術研究所，北京 100086)

近年來，媒體視聽內容的發行和播映已呈現明顯的跨平臺、融媒體發展趨勢，專業場所(專業影院、點播影院)、家庭渠道(流媒體、OTT、有線電視、衛星電視、互聯網電視、高端家庭影院)、公用媒體(廣告媒體、航空/船舶/鐵路媒體)、移動媒體(手機、便攜式平板電腦)等觀影模式融合發展，不同終端和媒體形式有著不同的特點、格式和技術要求，而視聽內容需要面向各類終端和媒體形式開展發行、播映，從而對內容發行、交付和存檔格式的互操作性提出了新要求。近年來，互操作母版格式(Interoperable Master Format，IMF)被業界采用作為解決當下跨平臺和融媒體發行的技術方案，并已形成系列行業標準。

1 IMF的技術發展和應用情況

IMF是目前視聽娛樂行業提倡的一種數字母版制作和存檔技術，包括迪士尼、索尼、20世紀福克斯(已更名為20世紀電影公司)在內的好萊塢制片廠、后期制作公司和英美等國廣播電視公司等均已大范圍應用這一格式，在數字電影內容發行、交換、存檔、后期制作編輯等領域具有廣闊的應用前景。IMF是一種基于文件的框架，可實現高質量版本的視聽內容合成(Composition)的呈現、管理、播放、處理和轉換，使一個合成針對不同平臺的若干個輸出版本的生成過程變得便利，從而滿足不同發行平臺的特殊需要。由于合成的管理和處理過程在不同設備、不同服務提供者之間進行，因此互操作性至關重要。

直到2014年以前，IMF的應用一直都只局限于好萊塢制片廠；2014年秋季，奈飛(Netflix)通知其內容供應商，全部超高清內容(UHD)都需以IMF格式提交；2016年1月，大制片廠開始對視聽內容供應鏈發行IMF包樣本，在2016年全美廣播電視設備展覽會(NAB Show)上，北美廣播聯盟(NABA)宣布IMF作為其標準庫格式，之后大量美國廣播行業公司開始采用IMF格式，英國廣播和在線內容制作聯盟組織數字制作合作組織(Digital Production Partnership，DPP)也積極宣傳應用IMF格式，至此英美等國設備廠商、內容制作機構和基礎設施建設機構都已加入IMF的研究應用。我國電影技術領域對IMF的介紹和研究也早在2013-2014年就已開始，中國電影科學技術研究所、北京電影學院、中國電影資料館等機構都從各自的角度對這一技術進行研究，并在國外硬件商的配合下開展IMF應用試驗。

2017年，好萊塢專業協會(HPA，原好萊塢后期協會)通過組建“IMF用戶組”(IMF UG)的形式，向行業成員進行IMF系列標準和應用(Application)的宣貫。目前參加HPA IMF UG的行業公司已有60余家，其中包括大型制片廠(迪士尼、索尼、華納兄弟、20世紀福克斯)、廣播運營商(康卡斯特、HBO等)、流媒體平臺(奈飛、亞馬遜等)、制作/打包軟件公司(Pixelogic、DVS、Cinecert等)、后期制作公司(Fusion Media、Prime Focus等)、發行服務公司(迪拉克斯、特藝等)，以及其他電影技術機構。HPA IMF UG自成立以來積極在影視相關國際會議和展會上宣傳推進IMF的應用。HPA IMF UG搜集整理了所有支持IMF的產品及服務，促進信息分享，推動IMF相關技術的快速普及。目前好萊塢主要的發行服務公司已支持IMF流程，主流打包軟件也已全部支持IMF內容的創建、打包、播放、驗證、版本管理和質量控制(QC)，并有一些用于IMF內容打包、質量控制和轉換的技術工具和開源資源。另外，不少企業將云技術和IMF技術相結合，推出相應的產品和服務，如Ownzones公司推出基于云的轉碼和分發服務，以及castLabs公司推出基于云的快速轉碼、加密、水印添加、字幕轉換和打包工具。

2 IMF系列標準和應用的制定、推廣和互操作性測試情況

2.1 IMF系列標準

好萊塢制片廠早在2007年就已啟動IMF相關研究，2008年，南加州大學娛樂技術中心(ETC@USC)應幾家大制片廠的要求對發行母版技術開展研究，推出“數字視頻包”(Digital Video Package，DVP)，將其逐漸發展為互操作母版格式(IMF)，于2011年推出IMF規范1.0。隨后美國電影電視工程師協會(SMPTE)著手推動相關標準制定，具體工作由SMPTE技術委員會媒體打包和交換小組(Media Packaging and Interchange，SMPTE TC-35PM)負責。SMPTE自2015年以來積極進行IMF系列技術標準的貫徹，并試圖將其納入到ISO國際標準制定序列，在全球范圍內進一步推廣。

IMF核心標準SMPTE ST 2067-2互操作母版格式-核心約束(Interoperable Master Format — Core Constraints)于2013年推出，并在2016年修訂更新，目前最新版本為SMPTE ST 2067-2:2016，其家族標準還包括ST 2067-3:2016 合成播放列表(Composition Playlist)、ST 2067-5:2013實質組件(Essence Component)、ST 2067-8:2013常用音頻標簽(Common Audio Labels)、ST 2067-100:2014輸出配置文件列表(Output Profile List)、ST 2067-101:2014輸出配置文件列表-常用圖像定義和宏(Output Profile List — Common Image Definitions and Macros)、ST 2067-102:2014輸出配置文件列表-常用圖像像素顏色方案(Output Profile List — Common Image Pixel Color Schemes)、ST 2067-103:2014輸出配置文件列表-通用音頻定義和宏(Output Profile List — Common Audio Definition and Macros)。SMPTE IMF系列標準致力于創建標準化的母版格式和制作流程，以滿足內容在不同領域(包括影院、電視、新媒體等渠道)的發行和應用，從而使內容生成、文件交互、版本控制等便捷可控，便于內容的重復利用，減少不必要的人力物力，支持多語言、多分本、字幕、隱藏字幕，支持視頻插入和利用“補充包”進行內容補充傳輸，并逐步引入高新技術格式，包括高動態范圍(HDR)、寬色域(WCG)、學院顏色編碼規范(ACES)、沉浸式音頻等。

IMF系列標準以SMPTE ST 2067-2標準規范作為核心架構，規定了IMF的基本內容容器、聲音和時控文本內容格式、基本描述性元數據、合成播放列表、傳輸等內容，以增量約束(Incremental Constraints)形式對特殊領域進行規范；通過共享核心架構，IMF能夠滿足行業發展需求，并維持不同實現方式和應用實踐95%以上兼容。

2.2 IMF標準應用

由于IMF框架以增量約束形式對特殊領域進行規范，且IMF制作涉及各媒體平臺內容制作實際操作，故該系列標準還推出了一系列應用(Application)，對各應用領域如何應用IMF框架進行細化。一個典型的應用需要定義視頻編碼方式和圖像特性，同時定義其他描述性元數據。通過共享核心架構，IMF能夠滿足行業發展需求，并維持不同實現方式和應用實踐95%以上兼容。

IMF應用包括如下內容：

ST 2067-20:2016應用#2、ST 2067-21:2016應用#2E(Extended)：應用2和應用2E合稱IMF制片廠配置，已被電影制片廠、后期制作公司、設備商采用，并被奈飛等流媒體服務商作為傳輸格式；其中應用2支持高清(1920×1080)標準動態范圍(SDR)和JPEG2000圖像編碼，應用2E支持4K圖像分辨率和高動態范圍(HDR)圖像。

ST 2067-30:2013應用3：用于制作高級內容，圖像和音頻分別采用MPEG-4 Visual Simple Studio Profile(SStP)和線性PCM進行編碼。

ST 2067-40:2016應用4：用于電影膠片或數字拍攝完成后交付到數字后期制作流程，其規定了圖像采用16bit XYZ顏色空間和線性轉換方式，最大圖像幀為8192像素×6224像素，并采用特殊的合成結構將電影部分以分本(Reel)的形式存放。

ST 2067-50:2018應用5 ACES：用于應用SMPTE ST 2065-1學院顏色編碼規范(ACES)的電視、電影作品的保存。

RDD 45:2017應用ProRes：將蘋果ProRes編碼方式與應用2E結合。

TSP 2121-1Application DPP：用于解決廣播和互聯網在線內容的交換和存檔，由英國數字制作合作伙伴組織(DPP)和北美廣播聯盟(NABA)共同倡導。

2.3互插拔測試(Plugfest)

IMF系列標準的推進涉及行業多領域的互操作問題，為此，在SMPTE、美國電影藝術與科學學院(AMPAS)、英國廣播和在線內容制作聯盟組織數字制作合作組織的推動下，開展了多次互插拔測試，在設備廠商、內容制作機構和基礎設施建設機構等多方努力下，共同測試行業設備、內容的互操作情況。前兩次測試分別于2018年10月和2019年5月舉行，分別有48家和30家公司和機構參與，測試內容涵蓋全球發行字幕/隱藏字幕的互操作性、學院顏色編碼系統(ACES)的互操作性、ProRes圖像支持情況、IMF輸出配置文件列表等內容、廣播和在線內容創建IMF基本要求等，第三次互插拔測試于2020年上半年完成。

3 IMF技術細節及其應用原理

3.1互操作母版包(Interoperable Master Package)

按照IMF技術標準打包的媒體包被稱為互操作母版包(Interoperable Master Package，IMP)。IMP包含了媒體資產和配置文件，主要用于分發和導入到不同設備。每個IMP中包含符合IMF標準的唯一的PKL(Packing List，打包列表)文件；該文件是一個XML文件，列出了IMP中包含的所有資產，每個資產使用唯一的UUID進行標識。和數字電影發行包(DCP)類似，符合IMF標準的互操作母版包(IMP)分為完整的IMP和部分的IMP。完整的IMP是由PKL文件、SMPTE ST 2067-3規定的CPL(Composition Playlist)、軌跡文件、SMPTE ST 2067-100規定的輸出配置列表(Output Profile List)、SMPTE ST 429-9規定的資產地圖(Asset Map)等文件組成。

3.2 IMP發行包的組成

圖1顯示了IMF標準的IMP發行包中各部分之間的關系。

一個用于發行的版本文件包含了一個或者多個IMP。如圖1所示，該發行文件包含了2個IMP：一個完整的IMP#1和一個部分IMP#2。IMP#1中包含了完整的PKL、CPL、軌跡文件、輸出配置列表、資產地圖。IMP#2不包括實體文件，而是通過資產地圖使用ID位置映射的方式來包含所需要的文件。發行介質上的位置映射使用SMPTE ST 429-9中指定的資產映射機制。

圖1 IMP發行包中各部分關系圖

當設備接收到發行版本文件后，首先掃描資產地圖獲取PKL文件，通過資產地圖對PKL里包含的文件進行查找并導入系統。導入系統的文件必須是被PKL和資產地圖同時標注的文件，且該文件需要驗證哈希值；其他的未被標注的文件將被忽略。PKL和資產地圖將不被處理，在版本文件導入成功后將被刪除。如果PKL和資產地圖不被刪除，也可用于后期的跟蹤、記錄和調試。

IMP中的PKL文件和DCP中的PKL文件類似，但IMP標準對SMPTE ST 429-8(數字電影打包-打包列表)標準進行了移植修改。命名空間由http∶//www.smpte-ra.org/schemas/429-8/2007/PKL替換為http∶//www.smpte-ra.org/schemas/2067-2/2016/PKL。用于計算Hash元素值的算法應由HashAlgorithm元素指定，算法屬性為http∶//www.w3.org/2000/09/xmldsig#sha1，定義規范使用W3C XML簽名語法。其中Asset元素的XML模式定義規定如下：

3.3輸出配置列表(Output Profile List)

輸出配置列表是一個由SMPTE ST 2067-3 規定的XML文件。該文件包含多個指令，可將單個IMF發行版轉換為滿足針對一個或多個下游發行渠道需求的媒體格式。

輸出配置文件列表由帶參數的可操作的有序列表(稱為宏)組成，這些操作按順序應用于發行包的虛擬軌道。每個宏都有一個名稱，它在輸出配置文件列表實例中是唯一的。宏采用不同方式來處理發行包中的各類媒體，并支持從圖像像素操作到字幕渲染等低級和高級處理。

SMPTE ST 2067-3 規定了輸出配置文件列表的數據結構和處理模型。處理模型用抽象MacroType結構表示。這允許宏通過用其他規范定義擴展其結構，從而使私有協議得以應用。輸出配置文件列表的最小配置文件稱為簡單輸出配置文件列表。除了標準宏外，還有預設宏。預設宏允許創建一種特殊的輸出配置文件列表，即簡單輸出配置文件列表，其中所有處理都縮減為單個不透明統一資源標識符URI(UniformResourceIdentifier)。

輸出配置文件列表中可用于處理的基本元素或元數據(無論是虛擬軌跡等資源的組合還是宏的輸出)都被賦予一個唯一的名稱，稱為句柄。句柄用于將一個宏的輸出綁定到另一個宏的輸入，綁定由外部進程(例如編碼器)完成。為了方便起見，可將句柄疊加使用，這樣可以使用已知句柄獨立引用相同信息，完成初級圖像輸出等任務。

圖2說明了輸出配置文件列表框架的示例用法。IMP中包含一個圖像虛擬軌道文件(id=98..4F)、兩個聲音虛擬軌道文件(id=21..BD和id=36..AE)和一個輸出配置文件列表。該輸出配置文件列表通過5個宏先后完成了圖像裁剪、像素解碼、圖像縮放、像素編碼、聲音合成等操作。5個宏分別是圖像裁剪宏ImageCropMacro(名字為crop-1)、像素解碼宏PixelDecoderMacro(名字為decode-1)、圖像縮放宏ImageScaleMarco(名字為scale-1)、像素編碼宏PixelEncoderMacro(名字為encode-1)、聲音合成宏AudioRoutingMacro(名字為route-1)。此外輸出配置文件列表還包含8個句柄，分別是：cpl / virtualtracks / 98..4F、macros/crop-1/outputs/images、macros/decode-1/outputs/images、macros/scale-1/outputs/images、cpl / virtualtracks / 21..BD、macros/encode-1/outputs/images、macros/route-1/outputs/L、macros/route-1/outputs/R。

圖2 輸出配置列表

輸出配置文件列表的圖像裁剪宏crop-1使用合成播放列表的圖像虛擬軌道(id=98..4F)作為輸入點，這個圖像虛擬軌道(id=98..4F)被命名為“cpl / virtualtracks / 98..4F”的句柄。該宏完成圖像裁剪后將該宏的輸出“macros/crop-1/outputs/images”輸入到像素解碼宏decode-1中。該像素解碼宏完成圖像變換處理，以便于圖像縮放宏能夠處理，并將輸出“macros/decode-1/outputs/images”輸入到圖像縮放宏scale-1中。圖像縮放宏完成圖像縮放，將輸出“macros/scale-1/outputs/images”輸入到公共像素編碼宏encode-1中。最后，公共像素編碼宏將圖像轉換回公共像素編碼格式，例如8位RGB，最后的輸出別名為“MainImage”，而其內部宏名稱“macros/encode-1/outputs/images”被隱藏。除此之外，音頻虛擬軌道由音頻路由宏(AudioRoutingMacro)route-1處理，該宏有兩個輸出，分別用于合成的左右聲道，別名分別為MainAudio/L(macros/route-1/outputs/L)和MainAudio/R(macros/route-1/outputs/R)。

3.4實質組件(Essence Component)

IMF是一個基于文件的框架，使用該框架可應用一個高質量的發行版本來滿足不同的發行渠道的音視頻特性要求。為了高效工作，IMF體系結構將合成元數據(composition metadata)和實質數據分離為單獨的文件對象；在IMF的ST 2067-5:2013實質組件(Essence Component)標準中，實質數據(以及相關的元數據)將被存儲在MXF文件包含的MXF通用容器中。IMF的實質組件是一種用于交換音頻、圖像和數據本質的OP1a (Operational Pattern 1a)MXF結構。它定義了用于網絡或存儲介質等方式進行交換的數據結構，但沒有為兼容設備定義內部存儲格式。IMF實質組件的設計者認識到MXF格式必須具備靈活性，以便IMF架構可用于不同場合，因此提出了墊片(shim)的概念，使用關鍵字參數(具有約束值)描述IMF 實質組件不同方面的特定格式。工程師可使用IMF 實質組件作為核心組件來開發IMF應用程序；IMF應用程序使用相同的核心規范保持互操作性，并利用IMF實質組件的靈活性滿足使用者各自的需求。IMF 實質組件解決了在未來一段時間內，在兼容多編碼格式的體系結構中保持文件格式一致性的問題。

在理想情況下，所有的音視頻文件都應采用標準化的方式進行存儲。但隨著新技術和高新技術格式在行業中的應用，壓縮編碼格式等音視頻標準不斷演進升級，為了不受當下的MPEG、JPEG2000等級別的音視頻壓縮編碼標準限制，IMF實質組件工作系統構建在MXF級別上。MXF編碼器和MXF解碼器都必須遵循IMF 實質組件提供的規則。這個規則帶來許多好處，例如，它允許設備在不實現解碼的情況下查詢圖像大小(只需讀取媒體文件MXF元數據)。如果需了解底層編解碼器類型的詳細信息，則仍需轉碼器或播放器完成。

墊片(shim)參數不是運行IMF文件系統時的必備元素。相反，它是由應用程序設計者在遵守IMF標準的同時根據自身行業應用需要提出的相應約束變體。每個墊片明確規定了預定值的取值范圍，保證了在應用類別中的合理使用。例如，這些預定值可以限定特定類型的節目或節目類型，也可以限定特定發行商或者平臺等。在基于IMF 實質組件的任何交換規范中，可存在一個或多個嚴格定義的墊片，例如電影數字后期制作的墊片、制片廠后期處理和發行的墊片，以及不同音視頻格式存儲的墊片。墊片信息緊密定義了特定業務應用程序的編解碼器和布局。例如在“ST 2067-40:2016應用4”中定義了電影膠片或數字拍攝完成后交付到數字后期制作流程中所用到的墊片(shim)信息。“ST 2067-40:2016應用4”中與軌道文件相關的墊片(shim)參數值如表1所示。

表1