音視頻檔案存儲技術可靠性改進研究

張楠 姜琳

聲像檔案是檔案的一個重要組成部分，各級檔案部門均存儲著海量的聲像檔案，它們價值巨大、利用率高。然而隨著科技進步，傳統載體聲像檔案所依賴的存儲載體、數據模式、傳遞方式逐漸落后乃至淘汰，檔案管理的數字化程度正在不斷提高。目前，各檔案館正在進行傳統聲像檔案的數字化轉存工作，形成大量音、視頻數字化檔案，與此同時，新媒體時代海量數字化音視頻檔案信息不斷涌入，使得音視頻檔案的存儲量從GB級、TB級到PB級激增。現代化檔案管理中音視頻檔案的收集、壓縮、海量固態存儲技術及備份系統已經逐步開始在我國各級檔案部門著手應用，但音像檔案高質量數字化轉存，以及數字化音視頻安全穩定存儲和傳輸，仍是檔案管理工作中的重點和難點。

國內對音視頻檔案的研究則相對較晚。2010 年國家檔案局頒發了《數字聲像檔案著錄規則（征求意見稿）》，從國家層面開始對音視頻檔案進行規范化管理。2017年國家檔案局出臺了《錄音錄像檔案數字化規范》《錄音錄像類電子檔案元數據方案》，這兩個文件規定了錄音檔案和錄像檔案數字化的技術和管理要求，為全國各級檔案部門開展錄音錄像檔案數字化工作提出了具體的要求。目前我國音視頻檔案的數字化實踐一般均由地方發起和參與，一些代表性的實踐成果與探索也均集中在地方性檔案機構中，例如青島市檔案館制定的《電子檔案管理技術標準（試行）》，明確提出了視頻檔案應采用MPEG-2編碼標準進行壓縮，采集比特率為4Mb/s。

現代數字化檔案管理中音視頻存儲器的形式多樣，不同存儲器可能產生的不同類型和原因的干擾，數字化過程中的熱電現象也可能導致噪聲干擾。本文基于糾錯碼原理，從存儲器底層結構分析引起差錯的根本原因，減少音視頻在轉換和存儲的過程中受到各種類型噪聲的干擾，對海量音視頻檔案數字化存儲技術進行可靠性改進，對音視頻檔案數據提供可靠性編碼保護，改善音視頻檔案的存儲保管現狀。

利用信息編碼技術和檔案數字化技術相結合的方式，將數字化處理后形成的海量音視頻數字化信息進行編碼存儲和可靠性數據還原，對目前檔案館單純地進行音視頻檔案數字化轉換是有效補充和功能完善，實現海量音視頻檔案信息采集、安全存儲、信息還原，使保存的信息更加可靠，極大提高數據還原率，并可在大容量、超大容量檔案數據信息采集、存儲、利用，檔案數據異地備份及因突發故障或極端自然災害等引發的檔案數據損失還原方面發揮重要作用。

通過對音視頻檔案信息實測表明，數據傳輸過程中的突發錯誤以及海量存儲芯片的軟錯誤是對存儲可靠性影響比較嚴重的因素。考慮到音視頻檔案數據對可靠性要求很高，同時檔案數據存儲和傳輸要求一定的保密性，基于此，確定研究的基本方案采用兼顧有效性和可靠性的RS-LT級聯碼作為主要編碼方式，采用RS碼（Reed-solomon Codes）作為外碼，LT碼（Lubu Transform Codes）作為內碼。LT碼是一種實用的數字噴泉碼，也稱為“無率碼”，是一類基于圖的線性糾刪碼。傳統音視頻檔案信息經模數轉化，一般還要進行數據壓縮，轉化為二進制數字信號進入編碼器，我們設定好原始的數據包大小，編碼器產生有效的任意數量編碼包，接收端在足夠時間的條件下收到足夠數量的編碼包用來譯碼，得到原始數據。如果把海量音視頻檔案信息比作一個數據“噴泉”，只要接收到滿足數量的“水滴”，就可以恢復文件，可以應對大容量存儲過程中的信道質量不穩定的問題，既能提高海量數據存儲的可靠性，又充分節省存儲空間。外碼采用RS編碼，可以通過提高系統糾錯能力來進一步提高LT碼的可譯碼概率，并提高系統恢復碼元的實時性。同時LT碼對信號的糾刪處理，又相對提高了RS碼的糾錯能力。

音視頻存儲改進技術實現基于糾錯碼原理，從存儲器底層結構分析引起存儲數據錯誤的根本原因，對海量音視頻檔案數字化存儲技術進行可靠性改進，研究原則是強調技術實用、軟件功能實現，同時兼顧可擴展能力。

（一）工作原理

根據《錄音錄像檔案數字化標準》規定，視頻編碼格式采用H.264、MPEG-2 IBP，音頻文件格式采用WAVE格式。首先選定實驗外碼的編碼設計指標：MPEG-2或H.264壓縮格式的視頻檔案數據，JPEG圖像采用RS（255，223）；無壓縮的音頻檔案數據和高壓縮率的音頻檔案數據分別采用RS（48，32）和RS（32，16）。內碼的編碼較簡單，依據相應的公式生成度分布，將不同的數據包求異或和，生成編碼包。

音視頻檔案信息通過轉換、信息采集、壓縮等處理后進入編碼通道，分別進行兩級級聯編碼，編碼完成后可安全存儲，回放時重新通過接口匹配，然后進行解碼，完成對音視頻檔案數據可靠性改進存儲與還原。音視頻檔案數據還原時通過LT譯碼器和RS譯碼器進行譯碼，實現數據還原和信息回放。

（二）音視頻信息編譯碼單元的設計實現

音視頻檔案存儲改進方案采用RS-LT級聯編碼。首先定義緩存區，讀取數據并按照存儲信息碼字及中間結果所需的緩存大小進行存儲，編碼單元進行LT碼編碼后的編碼包進入RS編碼流程，以信息塊為單位進行數據的編碼，占位標志busy有效，表示正在進行編碼數據處理，發送結束之后撤銷占位標識。這里LT碼是實現難點，編碼過程有三個步驟：首先確定度分布函數；然后采用均勻分布來隨機選取度值d，最后將d個不同的數據包進行異或，得到編碼分組，不斷重復上面的步驟，就可以得到無限多個編碼分組。RS碼是一種非常成熟的糾錯碼，編碼主要的步驟就是求出有限域中的余式，這里不再做具體描述。

LT碼譯碼采用Belief Propagation算法迭代譯碼。度分布函數的選擇對LT譯碼質量至關重要，本文采用Robust Soliton分布。首先根據收集到的編碼符號找到d=1 的輸出，調用BP 算法，不同節點信息進行迭代實現譯碼；循環判斷，將度值為1的編碼包地址送給譯碼模塊進行譯碼，若遍歷完成未找到度值為1的編碼包則中止，重復遍歷迭代。RS譯碼器采用Bjorck-Pereyra算法來實現系數矩陣為范德蒙矩陣的線性方程組的快速算法，運用以范德蒙矩陣為系數陣的線性方程組的快速算法，可以減少求解過程中的運算量，大大提高譯碼效率。數據接收完畢之后，以信息塊為單位，在余數對優選的基礎上進行外部RS譯碼。譯碼結束之后撤銷占位標識，完成數傳終端設備譯碼通道處理。

在全面加快檔案數字化進程的背景下，聲像檔案的數字化最為復雜多樣，難度最大，是檔案管理發展的短板。目前國內檔案管理的軟硬件環境參差不齊，在音視頻檔案數字化過程中受干擾影響、可靠長期保存及應對突發故障干擾方面存在理論和技術難題，通過可靠性改進將信息編碼技術與檔案工作深度融合，在信號采集過程中，大大降低突發干擾對采集效果的影響，采用軟件編譯碼方法，可以有效降低誤碼率，增強數據存儲的抗干擾能力，將海量音視頻檔案信息進行高效編碼存儲和可靠性數據還原，是解決音視頻檔案長期可靠保存的良好途徑。“互聯網+”時代開放共享檔案信息資源成為加強檔案機構自身建設的重要工作內容，檔案機構的服務創新、檔案信息資源的深度開發利用也將產生更廣泛區域間的檔案信息交流。音視頻檔案存儲技術的可靠性改進研究能夠提高信息傳輸的可靠性，并且具備很好的保密性能，在未來智慧檔案管理中有廣泛的應用前景。

作者單位：青島大學檔案館

基金項目：本文系2019年度山東省檔案科技項目“海量音視頻檔案存儲技術可靠性改進研究”（項目編號：2019-17）的研究成果。