人工智能技術在音視頻檔案管理中的應用原則及應用場景分析

摘要：應用人工智能技術提升檔案工作效能是檔案信息化建設的發展方向。論文在簡要論述音視頻檔案管理中應用人工智能技術必要性的基礎上，提出了應用人工智能技術的原則，并基于實際業務分析設計了人工智能技術在音視頻檔案收、管、存、用全業務流程的應用場景方案，以期為檔案部門在音視頻檔案治理工作中全面、高效、精準地應用人工智能技術提供參考。

關鍵詞：人工智能技術 應用原則 音視頻檔案 應用場景

近年來，隨著經濟社會的不斷發展，音視頻檔案資源激增，給檔案管理工作帶來了巨大壓力。如何提高音視頻檔案管理效能，成為檔案部門亟待解決的問題。與此同時，人工智能（Ar？ tificialIntelligence，AI）技術不斷成熟，在海量數據高效、精準處理方面展現出巨大的能力，在數據治理領域得到了深入的應用，可以成為音視頻檔案管理工作提質增效的有力手段。

一、音視頻檔案管理中應用AI技術的必要性

音視頻檔案資源管理專業性強、整編難度大、對于設施設備要求高，在管理工作中往往存在前端質量控制不到位、增量數據質量達不到進館質量要求、大量存量數據尚待規范化整理等問題。

采用傳統手工或非智能信息系統治理音視頻檔案資源往往存在如下問題：一是無法及時掌握音視頻檔案資源的質量；二是對存在質量問題的音視頻檔案資源治理嚴重滯后，治理效能不高；三是未進行數據化，無法提供音視頻內容的精細化、智能化檢索，無法支持對音視頻檔案資源進行智能整理、編目、編研、開放審核等管理業務，致使檔案業務人員很難大幅提高工作效率和質量。故在音視頻檔案管理中有必要應用AI技術，以智能化方式開展音視頻檔案資源收、管、存、用相關業務，大幅提高工作效率和質量。

二、音視頻檔案管理中應用AI技術的原則

AI技術復雜度高、研發投入大、應用針對性強、技術更新快，在應用落地方面較一般信息技術有更大的風險。為充分發揮AI技術的應用效果，降低其應用風險，筆者在充分調研的基礎上，結合AI技術的特點與檔案工作實際情況，提出了AI技術應用原則。

一是安全性原則。AI技術的應用以算法、算力、數據作為基礎，與網絡、系統等密切相關，故應用AI技術時，應嚴格遵守國家、地方、行業有關安全保密的相關規定，在選取算力、模型廠商時應選擇安全可信的廠商，同時應高度重視模型評估環節，確保模型不被惡意訓練或模型不可控。凡是有可能帶來安全保密風險的應用，應一票否決。目前一些大語言模型如Chat？ GPT、文心一言等具備超強的對話生成能力，但這些超大模型多數需要將數據上傳到算力廠商的云服務器上，鑒于檔案的敏感性，因此不能直接使用上述大模型。若將大模型部署到本地，則需要巨大的算力，成本極大，目前也不適合。

二是適用性原則。目前AI技術在檔案業務中的應用總體上仍處于探索、局部和輔助應用階段，其應用場景仍存在一定局限性。如智能OCR應用方面，針對印刷版和表單格式較固定的檔案，文字識別正確率可達到95%以上，已達可用水平，而針對手寫體和表單格式不固定的檔案，還很難達到可用水平。再如，針對專業性強、推理復雜的問題，相應AI模型的訓練需要提前準備大量高質量訓練數據和必備知識庫，前期需要投入較大的學習成本。故應用AI技術時，應充分考慮AI技術能否真正滿足工作需求、解決業務痛點、提高工作效率和質量等，適時適度予以應用。

三是穩步性原則。AI技術學科綜合性強、研發投入大、領域針對性強、技術更新快，故應用AI技術時，應結合檔案資源數據化、檔案管理智能化、檔案利用知識化、檔案展示可視化的智慧檔案館發展目標，對AI技術在檔案業務中的應用進行全面梳理、系統設計，形成AI技術加持下的檔案業務流程、應用場景。另外，還應根據業務需求，通過局部應用試點，分步有序拓展、逐步深化應用。

四是效能性原則。為達到相對理想的應用效果，AI技術的應用往往需要在前期投入大量的研發、訓練成本，而有時采用非AI方式完成同樣的工作往往具有更高的性價比。如存量檔案編目工作，目前在相同投入成本下，采用人工外包服務方式則性價比更高。故應用AI技術時，應對不同處理方式進行科學比對，充分評估不同處理方式的投入產出效益比。

五是可控性原則。雖然AI技術已快速發展，但還不能像人類一樣具有創造力，不能理解人類的情感和感受，且AI處理結果缺乏可解釋性。故應用AI技術時，應在充分發揮其優勢的基礎上，規避其缺陷，特別是在一些關鍵業務如檔案開放審核中，應做好人機結合，由人工進行最終確認和審核，發揮人的知識、經驗作用。

基于以上原則，將AI技術應用于音視頻檔案數字資源管理工作：一是在應用步驟上，應由淺到深，先做檔案資源的數據化、文本化等淺層應用，為后續智能應用提供基礎信息，同時針對相應專題開展智能化檢索，再結合數據質量狀況、算法模型發展等開展智能編目、審核、編研等深度應用；二是在應用方式上，可采用自主選擇開源模型框架、自行購買硬件計算力、自建訓練數據集的方式，定制專用小模型，針對具體應用場景，選擇合適的檔案數據、訓練方法對小模型進行訓練優化。

三、AI技術加持下的場景分析

當前，國內對音視頻檔案資源治理的智能化應用主要集中在智能化著錄、檢索等局部場景。筆者通過分析AI技術在音視頻檔案資源的收、管、存、用各環節的應用，形成了如圖1所示的業務場景圖，下文將展開詳細論述。

（一）接收環節中應用AI技術的業務場景分析

對于接收到的音視頻檔案資源，檔案接收部門可依據相關的音視頻檔案數據質量標準選取合適的AI打分模型，并按照“優”“良”“中”“差”得分等級標準分別選取有代表性的音視頻檔案資源進行模型訓練，多次迭代并優化模型。

使用優化后的模型對剩余未打分的音視頻檔案資源進行檢測打分，對于不同得分等級的檔案數字資源分類處理：得分等級為“優”的音視頻檔案資源直接入庫；得分等級為“良”“中”的音視頻檔案資源不能直接入庫，應存儲在臨時庫（或治理庫）中；得分等級為“差”的音視頻檔案資源，建議不接收，或存儲在殘缺類資源庫中，待后期技術發展后再行治理。

（二）管理環節中應用AI技術的業務場景分析

對館藏音視頻檔案資源，也可同樣參考接收環節的步驟和方法分級分類存儲，模型和接收環節一致，多次迭代訓練并優化模型。

針對分類分級存儲后的音視頻檔案資源，應進行數據化、文本化工作，具體如下所述。

1.對于得分等級為“優”的音視頻檔案資源進行數據化、文本化工作。選取合適的語音識別、人臉識別、聲紋識別、場景識別、動作識別等較為成熟的AI小模型，人工訓練優化模型后，使其對剩余優秀的音視頻檔案資源進行數據化、文本化。此步驟將有大量數據信息生成，如語音識別的文字信息輸出、聲紋識別和人臉識別結合的重要人物信息輸出、場景識別后的場景信息輸出、動作識別后的動作內容輸出，這將為后續管理、存儲、利用環節提供基礎信息。

2.對于得分等級為“良”“中”的音視頻檔案資源，分情況進行治理，治理時應注意版本管理，以區分原版本和治理后的版本。

情形一：針對音質、畫質等音視頻檔案本身內容得分較高但元數據信息得分較低的音視頻檔案資源，需要進行元數據項智能補缺工作。參考上述得分等級為“優”的音視頻檔案資源進行數據化、文本化工作。利用此步驟生成的大量文本信息，選取合適的NLP AI模型，人工訓練優化模型后，使其對剩余同類型的音視頻檔案資源進行元數據項智能補缺、智能編目等，并自動將新增字段標注為智能補缺類，以區分原始與智能補缺版本。

情形二：針對元數據信息得分較高但音質、畫質等音視頻檔案本身內容得分較低的音視頻檔案資源，選取合適的視頻優化、音頻降噪修復、超分辨率等通用AI模型修復并優化音視頻檔案內容后，再參考上述得分等級為“優”的音視頻檔案資源進行數據化、文本化工作，同時將新增字段標注為音視頻優化類，以便區分原始與修正版本。

情形三：針對音質、畫質等音視頻檔案本身內容、元數據信息得分均較低的音視頻檔案資源，先采用情形二的步驟進行音視頻檔案內容優化、數據化、文本化等工作，再采用情形一中的NLP AI模型進行元數據項智能補缺、智能編目等，同時將新增字段標注為音視頻優化類、智能補缺類等，和原始版本區分開來。

基于上述音視頻檔案資源數據化、文本化的大量輸出信息，檔案管理部門可開展音頻檔案資源結構化智能處理、視頻檔案資源結構化智能處理、音視頻檔案資源智能分類、音視頻檔案數據深度挖掘、音視頻檔案智能開放鑒定等場景應用。

其中，音頻檔案資源結構化智能處理場景應用，主要基于語音識別AI模型，對音頻內容進行實時識別與轉譯，形成音頻文件和對應的數字全文內容，對關鍵信息打標簽，并返回相應的音頻時間點信息。

視頻檔案資源結構化智能處理場景應用，主要是聯合使用人臉識別、聲紋識別、場景識別、OCR識別等AI模型對視頻檔案中的關鍵幀、關鍵片段進行自動提取、著錄，并進行結構化處理，對關鍵幀和關鍵片段標注出獨立標簽，如組織機構名、人名、地名、時間等，或場景標簽，如室內環境、展廳、體育場地等。

音視頻檔案資源智能分類場景應用，主要是通過AI模型生成著錄項及標簽等信息，對音視頻檔案資源的內容，根據不同需求按主題（如紅色、奧運、對口支援等）、類別（如會議、比賽、講話等）、關鍵人物、時間等進行智能分類。

音視頻檔案數據深度挖掘場景應用，是通過NLP模型中的知識圖譜技術，構建出音視頻檔案中各種實體之間關系的語義網絡，當檢索查看某一條音視頻檔案資源時，即可直觀查看某一檔案及其相關檔案的關系結構，進一步輔助檔案編研和開放審核工作。

音視頻檔案智能開放鑒定場景應用，是利用NLP模型相關技術建立檔案開放審核AI模型，同時結合語音識別后的文字和知識圖譜相關信息，對開放審核AI模型進行人工訓練以優化模型，給出開放審核建議，輔助檔案開放審核工作。

以上應用場景涉及音視頻檔案技術保護、數字資源管理、整理編目、編研、開放審核等業務。

（三）存儲環節中應用AI技術的業務場景分析

檔案收、管、用各環節均涉及資源的存儲，應選取合適的AI存儲備份管理模型，以大量存儲系統中的管理數據，訓練優化模型，實現智能分析熱數據、冷數據，并依據音視頻檔案收、管、用環節的不同特點，如接收環節要求存儲低時延、高穩定，管理環節要求存儲和備份大容量、高穩定，利用環節要求存儲低時延、高帶寬、高IOPS等，輔助設計優化和動態跟蹤調整音視頻檔案資源的存儲和備份策略，預測存儲容量、磁盤故障等，通過輔助智能優化存儲管理，以適應海量音視頻數據存儲和應用。

檔案數據存儲備份業務可以參考上述場景應用。

（四）利用環節中應用AI技術的業務場景分析

利用場景二中提到的音頻檔案資源結構化智能處理，實現音頻檔案資源的全文檢索和音頻定位（如文字中的某句話直接定位到音頻的某個時間點）、語音檢索（通過語音輸入的方式進行音頻檔案檢索定位），從傳統的基于著錄項的檢索轉變為基于內容的檢索。

利用場景二中提到的視頻檔案資源結構化智能處理，可以開展視頻關鍵幀定位、以圖搜圖、語音檢索、特定人物或言論跟蹤和標記、轉譯文本檢索定位及目錄檢索等“視頻+音頻+文字+人臉+目錄”全方位、多層次、更細粒度的檢索定位模式。

對于展示播放應用需求，可借助之前的人臉識別、語音識別、場景識別等AI模型實現去重、水印去除、剪輯合成與音視頻檔案資源拆分等，還可以通過人物標簽信息智能實現展示播放過程中敏感人物人臉遮擋、換臉、消音等。

對于4K及更高端的展示播放應用需求，可以對環境音和雜音等進行降噪修復、語音增強，借助超分辨率技術實現視頻增強，使原視頻檔案資源（如黑白或不夠清晰的視頻檔案資源）滿足播放需求。

此外，還可以生成虛擬音視頻檔案資源輔助相關的展示應用，比如相關的音視頻檔案資源缺失，可利用檔案知識圖譜查找相關的文書檔案內容，智能生成相應的AI配音、虛擬背景等組成的虛擬音視頻檔案資源，作為缺失音視頻檔案資源的補充等。

以上應用場景涉及檔案利用、展陳、技術保護等業務。

四、結語

未來，檔案部門應積極推進AI+檔案管理工作，著眼數據化、智能化，科學制定策略，全面開展檔案數據化工作；在系統新建和升級改造時，根據需要將AI技術加持下的業務場景應用于實際工作中，逐步實現對音視頻檔案資源的智能化管理、利用，用新技術賦能智慧檔案館建設，推動音視頻檔案工作高質量發展。

*本文系國家檔案局科技項目“人工智能技術在音視頻檔案數據治理工作中的應用研究”（項目編號：2022-X-066）的階段性研究成果。

參考文獻：

[1]林空，李衍.人工智能技術在音視頻檔案整理利用中的應用研究[J].中國檔案，2023（7）：62-63.

[2]數字羅塞塔計劃.AI在檔案管理中的應用場景分析[EB/OL].（2023-04-28）[2023-10-26].https：//mp.weixin. qq.com/s/CyJ5_YhbaVLrIvzjESOM6Q.

[3]劉濤.人工智能技術在錄音錄像檔案管理中的可用性[J].檔案管理，2022（3）：71-72.

[4]許振哲.語音識別技術在錄音錄像檔案管理中的應用探析[J].北京檔案，2023（8）：30-32.

作者單位：1.北京市檔案館

2.應急管理部檔案館