廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)設(shè)計與實現(xiàn)

肖建波，唐思騰

（貴州廣播電視臺，貴州 貴陽 550002）

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，媒體內(nèi)容不斷豐富，節(jié)目內(nèi)容涉及政治、經(jīng)濟(jì)、科技及娛樂等各個領(lǐng)域，內(nèi)容安全要求越來越嚴(yán)格。在媒體深度融合的背景下，節(jié)目形式多種多樣，僅僅依靠原有的人工審核方式，容易造成審核不及時、漏審等問題，給媒體內(nèi)容安全帶來極大隱患。以人工智能（Artificial Intelligence，AI）為基礎(chǔ)，對視頻的內(nèi)容進(jìn)行自動化理解、給出內(nèi)容結(jié)果并自動進(jìn)行審核的系統(tǒng)是大勢所趨[1]。通過人工智能對視頻、音頻、圖片及文字進(jìn)行全面合規(guī)性審核，能夠降低90%的人工成本[2]。目前，各大媒體機構(gòu)都在建設(shè)內(nèi)容智能審核系統(tǒng)，比如將人工智能技術(shù)引進(jìn)出版行業(yè)，為數(shù)字出版作品把好質(zhì)量關(guān)，推動數(shù)字出版事業(yè)轉(zhuǎn)型升級，實現(xiàn)高質(zhì)量發(fā)展[3]，如黑龍江省敏感人物監(jiān)測系統(tǒng)的實際應(yīng)用[4]，國家廣播電視總局廣播電視規(guī)劃院研制的內(nèi)容安全云審核系統(tǒng)[5]等。

為提高媒體內(nèi)容安全把控能力，貴州廣播電視臺結(jié)合國家“十四五”規(guī)劃對于智慧廣電、智慧化監(jiān)管的相關(guān)要求，技術(shù)團(tuán)隊充分運用大數(shù)據(jù)、人工智能及云技術(shù)等建設(shè)了智能監(jiān)管體系和制播管理體系，在內(nèi)容安全審核把控上，自主研發(fā)建設(shè)了廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)，已經(jīng)在節(jié)目生產(chǎn)中發(fā)揮了重要作用，更好地輔助了節(jié)目人員把好內(nèi)容關(guān)口、守好輿論陣地，有效地提升了貴州廣播電視臺節(jié)目內(nèi)容生產(chǎn)的安全保障水平，達(dá)到了預(yù)期效果。本文主要介紹基于AI 智能識別技術(shù)的廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)的設(shè)計及實現(xiàn)。

1 系統(tǒng)總體設(shè)計

1.1 設(shè)計目標(biāo)及原則

貴州廣播電視臺的廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)基于以下目標(biāo)及原則進(jìn)行設(shè)計：

（1）建立廣播電視節(jié)目文件自動送審與審核信息反饋機制；

（2）以AI 本地審核引擎為基礎(chǔ)，建立節(jié)目內(nèi)容審核信息管理和全頻道審核監(jiān)控；

（3）節(jié)目內(nèi)容審核全流程自動化；

（4）松耦合設(shè)計，內(nèi)容審核不影響現(xiàn)有廣播電視安全播出系統(tǒng)；

（5）統(tǒng)一規(guī)劃，整體設(shè)計，對外提供審核通道；

（6）具備較高的可靠性和安全性，充分考慮完善的應(yīng)急方案，緊急故障情況下的應(yīng)急手段和快速恢復(fù)能力；

（7）系統(tǒng)功能齊全、結(jié)構(gòu)清晰、擴展靈活，能夠滿足按需增長的要求。

1.2 總體設(shè)計

貴州廣播電視臺廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)總體設(shè)計如圖1 所示，主要由AI 審核系統(tǒng)、AI 引擎部分、審核數(shù)據(jù)以及廣播電視業(yè)務(wù)系統(tǒng)4 個部分構(gòu)成。

圖1 廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)總體設(shè)計圖

AI 審核系統(tǒng)包括任務(wù)調(diào)度、圖片審核、視音頻審核、調(diào)度管理、統(tǒng)計分析及權(quán)限管理等功能，通過統(tǒng)一入口、統(tǒng)一認(rèn)證的方式自動調(diào)用AI 引擎，通過任務(wù)調(diào)度合理分配AI 引擎資源進(jìn)行圖片審核和視音頻審核，針對不同的頻道，在調(diào)度管理中可以設(shè)置不同優(yōu)先級，最后反饋審核結(jié)果并對審核結(jié)果進(jìn)行統(tǒng)計分析。各功能模塊的工作流程如下。

（1）任務(wù)調(diào)度負(fù)責(zé)根據(jù)調(diào)度規(guī)則向AI 引擎發(fā)起審核。調(diào)度規(guī)則為根據(jù)廣播電視的節(jié)目單數(shù)據(jù)，拆分成單條節(jié)目，根據(jù)單條節(jié)目id 查詢視頻數(shù)據(jù)。如果找到視頻則將視頻名字及視頻信息則進(jìn)行拼接，并向AI 引擎發(fā)起Web 請求，然后將審核結(jié)果進(jìn)程存儲；否則，將該條節(jié)目審核標(biāo)注為視頻未上載后存儲在臨時表中，重新開啟任務(wù)定時檢測該臨時表。

（2）圖片審核及視音頻審核負(fù)責(zé)發(fā)起視頻和圖片審核，將視頻審核結(jié)果與節(jié)目單進(jìn)行關(guān)聯(lián)后響應(yīng)用戶請求。

（3）調(diào)度管理負(fù)責(zé)任務(wù)調(diào)度管理，根據(jù)節(jié)目頻道屬性進(jìn)行優(yōu)先級設(shè)置。衛(wèi)視頻道、公共頻道等重要頻道的節(jié)目優(yōu)先級較其他頻道優(yōu)先級高。重點時段、重要節(jié)目的審核任務(wù)優(yōu)先級最高。

（4）統(tǒng)計分析主要負(fù)責(zé)大屏顯示，根據(jù)不同權(quán)限展示該權(quán)限范圍內(nèi)節(jié)目近7 天的審核情況，對審核結(jié)果進(jìn)行分類呈現(xiàn)，包括“AI 審核中”“AI 審核通過”“AI 審核不通過”“AI 審核失敗”“未上載”“人工審核通過”“人工審核不通過”“人工審核失敗”等類別。其中，“AI 審核中”表示該視頻正在審核中，“AI 審核通過”表示AI 引擎未審核出敏感信息，“AI審核不通過”表示AI 引擎審核出了敏感信息，需要人工確認(rèn)；“AI 審核失敗”表示AI 引擎或者AI 審核系統(tǒng)出現(xiàn)故障或者視頻本身出現(xiàn)故障，“未上載”表示AI 審核系統(tǒng)未搜索到該視頻，“人工審核通過”表示人工已經(jīng)審核并確認(rèn)無誤，“人工審核不通過”表示人工已經(jīng)審核并發(fā)現(xiàn)節(jié)目內(nèi)容存在不能播的敏感信息，“人工審核失敗”表示系統(tǒng)人工審核故障。

（5）權(quán)限管理主要負(fù)責(zé)用戶角色配置管理，支持用戶導(dǎo)入導(dǎo)出、創(chuàng)建、修改及刪除，能夠進(jìn)行角色權(quán)限分配。每個電視播出頻道單獨設(shè)置權(quán)限，該頻道節(jié)目人員不能查看其他頻道內(nèi)容信息。

AI 引擎是整個系統(tǒng)的核心部分，通過對視音頻及圖片進(jìn)行抽幀比對，提供基本的審核功能，具體包括以下功能：

（1）具有圖像審核、文本審核、語音審核、短視頻審核及長視頻審核等審核類別；

（2）支持定義敏感信息庫，包括人臉庫和敏感詞庫，將一些落馬官員、劣跡藝人、分裂暴恐人物等各類敏感人物的信息入人臉庫，敏感詞匯收入敏感詞庫，支持定期更新；

（3）具備易用性較高的自定義庫設(shè)置功能，可上傳、編輯自定義人臉；支持自定義人臉的添加、修改及刪除；自定義人臉在審核中實時生效，支持自定義人臉庫的導(dǎo)出、備份及恢復(fù)；

（3）支持智能識別視頻、圖片中的敏感人物，并精確定位到視頻幀，點擊可將視頻定位到該時段播放；

（4）支持應(yīng)用程序編程接口（Application Programming Interface，API）、Web 管理頁控制管理、結(jié)果查詢，支持標(biāo)準(zhǔn)化API 接口；API 接口具備完善功能，可控制審核流程、審核模塊、優(yōu)先級、任務(wù)配置、自定義庫、人臉翻庫以及多維度查詢結(jié)果等。

審核數(shù)據(jù)包括了廣播電視的視頻和節(jié)目單數(shù)據(jù)。視頻數(shù)據(jù)為待播視頻，節(jié)目單數(shù)據(jù)為播出預(yù)播單。

廣播電視業(yè)務(wù)系統(tǒng)負(fù)責(zé)電視全部頻道的電視安全播出，在播前環(huán)節(jié)，將視頻數(shù)據(jù)通過轉(zhuǎn)碼系統(tǒng)進(jìn)行轉(zhuǎn)碼后，通過擺渡系統(tǒng)將轉(zhuǎn)碼后的視頻傳輸?shù)綄徍讼到y(tǒng)中，在廣播電視業(yè)務(wù)設(shè)計中詳細(xì)介紹。

1.3 系統(tǒng)主要特點

廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)具有以下特點。

（1）建立了全臺統(tǒng)一的節(jié)目文件自動傳輸及審核查看機制，實現(xiàn)了全臺全頻道待播節(jié)目內(nèi)容審核的集中管理。

（2）采用自動審核機制，自動同步節(jié)目編排環(huán)節(jié)的節(jié)目單，自動同步視頻文件，自動根據(jù)節(jié)目單發(fā)起審核。系統(tǒng)實時檢測用戶編單保存的文件夾，當(dāng)有新節(jié)目單時同步，系統(tǒng)檢測到新節(jié)目單時，做去重處理后，發(fā)起AI 審核。

（3）采用松耦合設(shè)計，實現(xiàn)了在網(wǎng)絡(luò)隔離下視頻的內(nèi)容審核和查看。根據(jù)相關(guān)要求，傳統(tǒng)電視播出系統(tǒng)需要物理隔離，但傳統(tǒng)的審核流程很難再次開發(fā)。為了滿足時效性及對外開放的要求，AI 審核系統(tǒng)以旁路的方式工作，審核流程及審核結(jié)果不影響傳統(tǒng)電視播出流程。

（4）設(shè)計重播重審機制，廣播電視要求所有節(jié)目重播重審核，為了提高審核效率，設(shè)計了敏感信息庫不更新則重播視頻不重審、人臉庫更新則全部視頻重審的重審機制。

（5）采用不同優(yōu)先級的審核機制，根據(jù)不同頻道、不同時段自動設(shè)置審核優(yōu)先級，保證重點頻道、重要節(jié)目的視頻能夠及時返回審核結(jié)果。

（6）采用轉(zhuǎn)碼后進(jìn)行視頻傳輸?shù)姆绞剑瑥V播電視視頻都是50 Mb·s-1的高碼率視頻文件，通過串口方式在不同網(wǎng)絡(luò)間傳輸速度很慢，系統(tǒng)在兼顧AI審核引擎抽幀下降低視頻碼率，提高了傳輸效率。

（7）采用分頻道設(shè)置不同權(quán)限，各頻道只能查看自己頻道的節(jié)目內(nèi)容，并且對節(jié)目進(jìn)行視頻審核也不會影響其他頻道，保證了安全性和責(zé)任明確。

（8）將AI 審核系統(tǒng)置于互聯(lián)網(wǎng)環(huán)境中，與廣播電視業(yè)務(wù)網(wǎng)絡(luò)隔離。在滿足廣播電視業(yè)務(wù)的同時，能夠?qū)ν馓峁徍朔?wù)。

2 廣播電視業(yè)務(wù)設(shè)計

廣播電視業(yè)務(wù)系統(tǒng)內(nèi)容審核需要考慮以下3 個方面問題。

（1）系統(tǒng)是一個未接入其他網(wǎng)絡(luò)的獨立系統(tǒng)，采用擺渡系統(tǒng)進(jìn)行視頻傳輸，由于廣播電視視頻是50 Mb·s-1高碼素材，傳輸時間長，容易造成擁堵且效率低。

（2）視頻審核沒有規(guī)律，不便于節(jié)目人員審核。生成節(jié)目單后，需要確認(rèn)已經(jīng)提交的節(jié)目單里面的內(nèi)容是否全部通過審核。

（3）每天24 h 播放，有部分重播素材，若全部重播重審，會造成大量資源浪費，因此需要考慮重播重審核機制。

綜合考慮，兼顧效率和安全，設(shè)計的廣播電視業(yè)務(wù)流程如圖2 所示。

圖2 廣播電視業(yè)務(wù)流程

播出系統(tǒng)分為節(jié)目單編排部分和視頻處理部分，頻道節(jié)目人員每天生成節(jié)目單后，需要提交到最終播出。系統(tǒng)會實時監(jiān)聽節(jié)目單文件夾，在提交到播出前，如果有新增節(jié)目，自動同步軟件會將新增節(jié)目單同步到擺渡系統(tǒng)。自動同步軟件只同步lis 格式的節(jié)目單文件。在視頻處理部分，當(dāng)存儲區(qū)域有新增視頻，轉(zhuǎn)碼軟件會對新增視頻進(jìn)行自動轉(zhuǎn)碼。轉(zhuǎn)碼采用集群的方式，管理4 個轉(zhuǎn)碼子節(jié)點。有新任務(wù)時，將轉(zhuǎn)碼任務(wù)分配給空閑轉(zhuǎn)碼節(jié)點，轉(zhuǎn)碼成功后同步到存儲區(qū)。在視頻轉(zhuǎn)碼部分，重播素材不會重新轉(zhuǎn)碼，即只有新增素材才會轉(zhuǎn)碼。

擺渡系統(tǒng)采用PCI-E 串口方式進(jìn)行文件傳輸，具有內(nèi)嵌殺毒引擎、深度文件檢測以及MD5 數(shù)字校驗等安全功能。擺渡系統(tǒng)包括主機和從機，當(dāng)配置目錄有新增文件，會自動同步到另一臺主機上。播控系統(tǒng)和審核系統(tǒng)分別將存儲掛載到擺渡系統(tǒng)上，實現(xiàn)播出系統(tǒng)到審核系統(tǒng)的文件傳輸。

審核系統(tǒng)根據(jù)節(jié)目單和視頻，向AI 引擎發(fā)起審核并處理審核結(jié)果。當(dāng)檢測到新節(jié)目單，會發(fā)起審核流程，為了便于節(jié)目人員查看審核結(jié)果，在反饋結(jié)果上將節(jié)目單、視頻及審核結(jié)果進(jìn)行關(guān)聯(lián)呈現(xiàn)。審核系統(tǒng)處理重播重審核素材時，先查詢AI 引擎人臉庫更新情況，只有在人臉庫更新且重審素材時間在人臉審核時間點之前，審核系統(tǒng)才發(fā)起審核，否則會查詢已有的審核結(jié)果，不會重新發(fā)起審核。

廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)關(guān)鍵設(shè)計在于：根據(jù)節(jié)目單發(fā)起審核并根據(jù)節(jié)目單查看審核結(jié)果；對于重播素材不是簡單的全部審核，而是充分考慮了人臉庫更新時間。

3 結(jié)語

2022 年，廣播電視節(jié)目內(nèi)容智能審核系統(tǒng)已在貴州廣播電視臺正式投入使用，實現(xiàn)了貴州廣播電視臺全部電視頻道節(jié)目內(nèi)容的智能審核，輔助節(jié)目工作人員提高了人工復(fù)審效率。該系統(tǒng)能夠在復(fù)雜網(wǎng)絡(luò)環(huán)境下進(jìn)行內(nèi)容智能審核，為廣電行業(yè)提供了全程自動化、節(jié)目內(nèi)容智能化審核的實際案例，具有十分深遠(yuǎn)的意義。