短視頻不良內容智能檢測平臺研究與設計

2020-06-04 09:39:03周利紅張軍軍?？讕?/span>

計算機時代 2020年5期

周利紅張軍軍常孔帥

摘? 要：研究并設計了一個面向短視頻不良內容的實時檢測平臺。該平臺研究的核心在于分層篩選系統，通過基于短視頻外圍核心參數構建的深度學習篩選模型完成海量篩選，再將檢測出的可疑不良短視頻傳遞給基于深度學習的短視頻內容識別引擎進行重點甄別，提出融合自然語言處理、計算機視覺、語音識別、機器學習等的短視頻智能實時檢測平臺框架。

關鍵詞：短視頻; 不良內容; 智能檢測; 分層篩選

Abstract： A platform for real-time short video bad content detecting is designed. The core of the research on the platform is a hierarchical screening system. A large-scale screening is performed through a deep learning screening model constructed based on the peripheral core parameters of short video， and the detected suspicious bad short videos are passed to the deep learning based short video content recognition engine for key screening. Thus a short video intelligent real-time detection platform framework， which incorporates natural language processing， computer vision， speech recognition， and machine learning， is put forward.

0 引言

隨著移動互聯網應用的飛速發展與普及，提供人類學習和娛樂的短視頻應用也應運而生，如抖音等APP已進入到千家萬戶[1]。與此同時，網絡詐騙、庸俗、反動等不良信息也隨之而來毒害廣大網民[2]。由于短視頻用戶網絡素養和科學認知能力受限，尤其是青少年用戶面臨的威脅更加嚴重[3]。因此，從技術上架構短視頻不良內容的智能檢測平臺已迫在眉睫，利用人工智能、云計算、大數據等創新技術，可讓短視頻網絡清朗起來[4，5]。

1 平臺整體框架

本平臺的總體框架如圖1所示，分步驟實現短視頻不良內容的智能檢測。

首先，構建一個統一的短視頻及外圍核心參數信息采集接口，將采集到的短視頻及外圍核心參數處理為統一格式，將海量短視頻相關數據投入到深度短視頻外圍數據智能分析引擎。

然后，通過深度短視頻外圍數據智能分析引擎中的外圍數據文本檢測子系統檢測外圍參數中的文本部分，結合基于短視頻外圍參數構建的深度學習篩選模型進行分類檢測，完成海量篩查。將檢出的可疑不良視頻傳遞給深度智能短視頻檢測分析引擎。

再后，深度智能短視頻檢測分析引擎通過音頻提取識別檢測子系統及關鍵幀圖像檢測子系統分別對可疑不良短視頻提取的音頻數據及關鍵幀圖像檢測，再結合深度學習模型做最終甄別確認。

最后，將檢測所得結果做可視化展示，方便人工交互操作。前期可將判定結果交給人工做輔助判定，通過增強學習，進一步矯正系統，提升正確率。

2 平臺實施方案

如圖2所示，短視頻不良內容智能檢測平臺由數據獲取模塊、短視頻外圍數據檢測模塊、短視頻內容檢測模塊和服務模塊構成。

⑴ 數據獲取模塊

對采集到的各種途徑、各種形式的短視頻及外圍核心參數數據進行統一預處理，格式化數據，方便存儲及后續調用。

⑵ 數據存儲模塊

數據存儲模塊基于開源Hadoop架構，并結合Kafka Streaming實現針對對外服務接口的流式實時數據匹配和數據分析處理，通過針對整個系統的各個子系統之間構建可靠的用于傳輸實時數據的管道，實現對流數據的分析和處理，極大提升系統的利用率，實現對互聯網不良內容的智能識別實時處理。

⑶ 數據可視化模塊

通過將數據與設計藝術進行融合，提供專業、美觀、大氣的大數據可視化展示界面，有利于非技術人員對數據進行理解，幫助專業數據分析人員快速了解數據和數據之間的關系。

⑷ 短視頻外圍數據檢測模塊

構建短視頻外圍參數檢測分析引擎，實現短視頻外圍數據文本檢測子系統及短視頻外圍核心參數檢測子系統，以高效完成海量數據篩選。

⑸ 短視頻內容檢測模塊

構建高內聚、低耦合的深度智能內容檢測分析引擎，實現音頻提取識別檢測子系統及關鍵幀圖像檢測子系統，基于多模態數據融合做最終甄別確認。每個檢測子系統獨立部署，并基于云服務器實現實時的檢測性能擴展，以應對突發的用戶需求提升的情況。

⑹ 服務模塊

服務模塊構建統一的對外服務，以Web Service接口的形式對外提供接口服務，或直接輸出本地檢測客戶端，通過本地檢測客戶端中的數據進行高速匹配形成緩沖，提升服務的實時性。

3 平臺關鍵技術

短視頻不良內容檢測平臺關鍵技術研究路線如圖3所示，具體包括以下內容。

⑴ 短視頻相關數據處理

短視頻相關數據處理包括短視頻外圍核心數據處理，可疑短視頻音頻提取識別和可疑短視頻關鍵幀提取識別，這些原始數據類型難以直接被用于不良內容識別，需要對其進行預處理。主要包括將不同格式的短視頻外圍核心數據處理為統一格式數據;對被短視頻外圍數據檢測分析引擎標記為可疑不良短視頻，需要通過語音識別技術，將短視頻提取的音頻數據轉換為文檔數據，通過關鍵幀抽取技術將短視頻數據轉化為圖像數據。

⑵ 基于深度學習的短視頻數據特征抽取

對短視頻數據進行預處理之后，可得到文檔數據和圖像數據，需要從中計算出對互聯網內容具有較強表征能力的特征，以支持互聯網不良內容識別模型的訓練。

⑶ 基于單模態數據的短視頻不良內容識別

對短視頻外圍核心數據及短視頻數據進行預處理之后，得到的文檔數據和圖像數據中均有可能包含不良內容，分別基于自然語言處理技術和計算機視覺技術對其進行分析。

⑷ 基于多模態數據融合的互聯網不良內容識別

基于短視頻內容分析同時涉及文檔數據和圖像數據（音頻轉換得到的文檔和短視頻轉換得到的圖像）。對這些多源異構數據進行融合，可進一步提高識別模型的準確度。通過特征層融合方法、模型層融合方法和模型訓練方法三個方面加以實現。

⑸ 大數據可視化

可視化技術是通過將數據表示為可視化圖形，并允許用戶以可交互的方式對數據進行瀏覽和操作?；ヂ摼W原始數據（如網頁、視頻）可直接進行可視化，因此主要研究空間數據、文本數據、網絡數據和多維數據的可視化方法。

4 結束語

本文提出了一個面向短視頻不良內容的智能檢測平臺框架設計方案，主要利用視頻播放日志等外圍核心數據的采集與大數據存儲和處理技術，再融合視頻、音頻、文本等智能分析模型，實現面向不良內容監控的高效、快速、可擴展、可視化的智能檢測模塊，為同類項目創新設計及工程實現提供了有價值的參考。

下一步的研究工作可針對不良內容的語義模型，研究構建面向短視頻不良內容的知識圖譜，提高智能檢測模型精度，尤其可為基于社會輿情監控的短視頻處理提供參考。

參考文獻（References）：