孔憲飛
(作者單位:中央廣播電視總臺)
“全媒體”是指采用影像、聲音、文字、網頁等不同的傳播媒介,融合互聯網、廣電網絡、電信網絡等多種傳播途徑形成的一種新的傳播形態。用戶可以通過手機、電腦、電視等多種終端進行“全媒體”信息的接收,隨時隨地獲取想要的信息。近些年傳統媒體逐漸衰落,技術壁壘被打破,形成了多種媒體形式共存的局面,媒體融合逐漸發展起來,全媒體正是媒體融合的必然產物[1]。
21世紀以來,各級廣播、電視機構迅速完成“數字化”轉型,通過建設非線性編輯、播出系統和媒資系統等,實現了采編播全流程的數字化。各級廣播、電視機構將原有的歷史視音頻素材進行數字化存儲,通過對素材的編目將視音頻文件進行詳細分類和標簽化,實現了素材的精細化管理。
一般來講,不同活躍程度的數據應通過不同性能的存儲設備來存儲:在線存儲一般都采用高規格的磁盤陣列,讀寫性能最好,存放業務中不斷用到的活躍數據;近線存儲一般采用性能一般的磁盤陣列或者磁帶庫、光盤庫,存放使用相對較少但還需保持在線的數據;離線存儲一般采用磁帶庫或光盤庫,存放備份數據、歸檔數據[2]。面對全媒體時代業務的敏捷性要求,音視頻素材在原有的三級存儲結構中,離線存儲和近線存儲的邊界已逐漸消失,近線存儲成為數據的長期保存的載體。
線性磁帶開放協議(Linear Tape-Open,LTO)由三家技術供應商[國際商用機器公司(IBM)、惠普、昆騰]共同發起。目前LTO磁帶主流產品為LTO-8,無壓縮情況下單盤磁帶可存儲12 TB數據,壓縮情況下單盤磁帶容量可達30 TB,LTO-8與LTO-7相比,不僅容量翻番,數據傳輸速率更是高達750 MB/s,支持LTFS、WORM和AES 256位加密。目前LTO組織的網站已經將路線圖延伸到了LTO-14,即GEN14(見圖1)。GEN6~GEN14是指第6~14代LTO產品。LTO GEN5以及之前的LTO代次,實現的壓縮比為2∶1,LTO GEN6及以后的壓縮比已經達到2.5∶1,本產品路線圖從LTO GEN6開始統計。
圖1 LTO磁帶迭代路線圖
LTO磁帶庫是指使用LTO磁帶作為介質的大型存儲設備(見圖2),它包含一個或多個磁帶驅動器、磁帶槽位、抓取器、條形碼掃描器以及自動機械臂。需要數據讀取或寫入時,機械臂在磁帶庫中自動尋址移動到相應的柜體槽位取出磁帶放入驅動器中進行數據讀寫,用戶可以通過近線軟件智能管理機械臂來實現整個數據的讀寫。驅動器插槽可以放入或者取出磁帶,整個過程無須打開帶庫柜體檢修門。LTO磁帶庫廣泛應用于數據的近線、離線存儲。全球以LTO為標準的磁帶庫廠家非常多,包括IBM、惠普、昆騰、戴爾、Actidata、Spectra logic等[3]。
圖2 磁帶庫
藍光光盤(BD-R/RE)是DVD之后下一代的高品質影音儲存光盤格式之一,采用了青紫色激光技術,具備隨機存取、大容量、高速等優勢,是一種超級光盤,它的容量達到了50 GB,是DVD的11倍、OPTICAL DISK的75倍。藍光光盤是由索尼和松下電器等公司發起的“藍光光盤聯盟”(Blu-ray Disc Association, BDA)策劃的次世代光盤規格,并在2006年由索尼率先推出了相關產品。2022年,美國公司Folio Photonics宣布在多層光存儲技術方面取得了重大突破,開發了第一款經濟可行的企業級光學存儲光盤,其具有動態多層寫入/讀取功能,單盤起始容量就達1 TB。
藍光光盤庫是指使用藍光光盤匣(見圖3)作為介質,存儲數據的存儲設備。目前主流的藍光光盤匣為第三代產品,單匣容量5.5 TB。光盤庫硬件主要有:光驅、光盤匣、彈出屜和機械手。其中,光盤存放于光盤匣,由光驅實現光盤讀寫,由彈出屜實現單張光盤的輸入/輸出,當用戶端訪問光盤庫數據,需要光盤交換時,機械手自動定位,從光盤匣中抓取目標光盤放入光驅,進行數據讀、寫。另外,為了方便下次檢索,將數據同步緩存到磁盤陣列或硬盤上[4]。
圖3 光盤匣
這兩種近線存儲在廣電行業中應用廣泛,目前主流的是基于LTO-8磁帶和第三代藍光光盤匣為介質的磁帶庫與光盤庫。下面就市場上主流的IBM LTO磁帶庫產品和索尼藍光光盤庫產品的特點進行具體分析與比較(見表1)。
表1 LTO-8磁帶庫(IBM)和第三代藍光光盤庫(SONY)對比
通過以上的對比可以比較清晰地看出LTO磁帶和藍光光盤兩種介質近線存儲的不同特點。
(1)LTO磁帶庫。優點:能耗低,容量大,介質成本低,線性化讀寫,適合大文件存儲,單機柜的平均容量可達15.4 PB,性價比高。不足:帶機向下兼容性差,介質壽命短,故障率高,需定期轉換介質,對環境要求高,線性化讀取不適合小文件。
(2)光盤庫。優點:能耗低,介質壽命長故障率低,非線性讀,讀取效率高,光驅向前兼容藍光光盤讀取,數據可持續利用,無須定期倒換介質。不足:單體容量小,介質成本高,單個文件不能超過4.7 TB。
基于LTO磁帶和藍光光盤作為介質的兩種近線存儲,在自身產品特性上具有很強的互補性。媒體機構可結合自身業務數據的特點,充分利用兩種存儲的差異性,將業務產生的大文件、小文件進行分類存儲,可提高近線存儲文件歸檔、回遷的業務敏捷性,降低視音頻文件存儲的全流程成本。
全媒體時代,大型媒資系統在面對PB甚至EB級海量的、單文件大小從KB級到TB級素材的復雜存儲需求時,單獨依靠LTO磁帶庫或者藍光光盤庫來應對,已經遠遠不能滿足業務的需求,充分依托LTO磁帶庫和藍光光盤庫兩種存儲各自的產品特點,構建高效的、敏捷的、成本低廉的近線存儲系統越來越得到大家的認可。
在設計近線存儲系統時,對于近線存儲系統和上層媒資系統可采用松耦合的接口交互式設計方案,近線存儲系統可通過接口服務與媒資系統進行對接,接收來自媒資系統的歸檔和回遷任務信息(見圖4)[5]。
圖4 近線存儲系統拓撲圖
(1)媒資系統首先對入庫的節目和文件進行分類,然后根據文件的大小、類型等屬性信息,按照既定的歸檔策略賦予文件所屬的唯一識別(ID)號。例如,需要歸檔至光盤庫的文件ID為:DIS********,需要歸檔至磁帶庫的文件ID為:TAP********。
(2)媒資系統向近線存儲系統下發歸檔任務信息,信息中至少包含了文件的ID號、文件名稱、文件大小、類型、目前文件所在的在線存儲訪問路徑等多種信息。
(3)近線存儲系統接口服務將收到的歸檔任務信息下發至任務調度服務,任務調度服務會根據任務的先后順序和優先級對任務進行隊列排序。
(4)調度任務根據任務的ID可以準確判斷出文件需要歸檔到磁帶庫中還是光盤庫中,將任務下發給對應磁帶庫遷移服務器或光盤庫遷移器。
(5)遷移器根據收到的任務信息,到文件對應的在線存儲中將文件歸檔到近線光盤庫或磁帶庫中,完成文件的歸檔寫入。
(6)近線接口服務向媒資系統反饋歸檔任務完成信息,歸檔流程完成。
(1)媒資系統的用戶,根據檢索信息,找到自己所需要的文件,如文件未能在在線存儲上被獲取到,則可創建文件回遷任務。
(2)媒資系統向近線接口服務器下發回遷任務信息,信息中至少包含了文件的ID號、文件名稱、文件大小、類型、文件回遷將寫入到在線存儲的哪個路徑下等多種信息。近線存儲系統接口服務將收到的回遷任務信息下發至任務調度服務,任務調度服務會根據任務的既定優先級和先后順序對任務進行隊列排序。
(3)任務調度根據任務的ID可以準確判斷出文件目前已歸檔儲存在磁帶庫中還是光盤庫中,將任務下發給對應磁帶庫遷移服務器或光盤庫遷移器。
(4)遷移器根據收到的任務信息,找到文件所在的光盤或磁帶,將文件讀取出來寫入到任務信息中媒資所指定的在線存儲路徑中,完成文件的回遷寫入。
(5)近線接口服務向媒資系統反饋任務回遷完成信息,回遷流程完成。
近線存儲系統可以將光盤庫、磁帶庫等多種類型、多套的近線存儲設備整合到統一的近線存儲系統中進行使用,通過與上層媒資系統的配合,對歸檔策略的靈活配置,可以對不同類型、大小、熱度的節目和素材文件進行靈活歸檔、回遷操作,實現高效的、敏捷的、成本低廉的近線存儲。
在全媒體時代,傳統數據中心媒資系統已無法應對海量級素材的處理要求,它需要隨著技術的發展和用戶的需求不斷更新迭代。傳媒行業在近線存儲設備的選擇上已趨于“磁帶庫+光盤庫”,配合高效的近線存儲系統可以很好地滿足海量全媒體數據處理的需求。