基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)在網(wǎng)絡(luò)視頻審核中的應(yīng)用

劉琨

摘要：電視臺(tái)標(biāo)檢測(cè)是網(wǎng)絡(luò)視頻審核的常用方法，但傳統(tǒng)臺(tái)標(biāo)檢測(cè)方法檢測(cè)成功率較低，文章將基于深度學(xué)習(xí)的SSD算法應(yīng)用于臺(tái)標(biāo)檢測(cè)。首先選取79類237個(gè)常見臺(tái)標(biāo)視頻作為臺(tái)標(biāo)基準(zhǔn)庫(kù)，以每秒一幀的速率對(duì)臺(tái)標(biāo)基準(zhǔn)庫(kù)進(jìn)行處理，共127 980張圖像頓，其中95 586張用于臺(tái)標(biāo)檢測(cè)模型訓(xùn)練，32 394張用于模型測(cè)試，算法每訓(xùn)練2 000次進(jìn)行模型迭代，共訓(xùn)練90 000次并選取最優(yōu)模型。經(jīng)過(guò)大量的臺(tái)標(biāo)樣本實(shí)驗(yàn)測(cè)試，準(zhǔn)確率可達(dá)98.2%，優(yōu)于權(quán)威文獻(xiàn)中經(jīng)典方法。表明該方法具有較高準(zhǔn)確率和高擴(kuò)充性。

關(guān)鍵詞：網(wǎng)絡(luò)視頻審核；臺(tái)標(biāo)檢測(cè)；深度學(xué)習(xí)；SSD；高擴(kuò)充性

電視臺(tái)的臺(tái)標(biāo)是確定電視臺(tái)的臺(tái)名、節(jié)目取義的重要信息，是區(qū)分不同電視臺(tái)唯一標(biāo)志。為了聲明視頻的所有權(quán)，往往會(huì)在播放的視頻中加入臺(tái)標(biāo)。隨著科技的迅猛發(fā)展，互聯(lián)網(wǎng)每天都會(huì)產(chǎn)生大量視頻，電視臺(tái)標(biāo)是視頻的特有標(biāo)識(shí)，通過(guò)識(shí)別臺(tái)標(biāo)來(lái)進(jìn)行網(wǎng)絡(luò)視頻審核顯得尤其重要。因此視頻臺(tái)標(biāo)識(shí)別一直是學(xué)術(shù)界研究的熱點(diǎn)。

在臺(tái)標(biāo)的研究中，王建等采用圖像分割方法進(jìn)行臺(tái)標(biāo)識(shí)別，通過(guò)時(shí)域抽樣方法選取代表幀序列，計(jì)算梯度圖像序列，并進(jìn)行邊緣匹配；史迎春等利用空間分布直方圖和HSV空間的彩色直方圖相結(jié)合的方法對(duì)臺(tái)標(biāo)特征進(jìn)行描述，并采用知識(shí)庫(kù)輔助直方圖統(tǒng)計(jì)的方法進(jìn)行臺(tái)標(biāo)識(shí)別；金陽(yáng)等提出的極坐標(biāo)角點(diǎn)對(duì)匹配方法，雖然較好地解決了半透明臺(tái)標(biāo)檢測(cè)問(wèn)題并且準(zhǔn)確率有了較大提升，但算法實(shí)時(shí)性較差。

2016年李世石在與基于深度學(xué)習(xí)的AlphaGo圍棋比賽中落敗，2017年，深度學(xué)習(xí)在醫(yī)療影像處理、安防安保、金融領(lǐng)域等的應(yīng)用越來(lái)越廣泛。故本文提出將深度學(xué)習(xí)應(yīng)用到臺(tái)標(biāo)檢測(cè)這一研究熱點(diǎn)。臺(tái)標(biāo)檢測(cè)也屬于目標(biāo)檢測(cè)，當(dāng)前目標(biāo)檢測(cè)領(lǐng)域最先進(jìn)的SSD（Single Shot Detector）算法，已經(jīng)成功應(yīng)用到體育領(lǐng)域關(guān)于網(wǎng)球鷹眼機(jī)器人的改進(jìn)，交通領(lǐng)域?qū)τ诩t綠燈的識(shí)別等。因此，本文提出將SSD應(yīng)用到臺(tái)標(biāo)檢測(cè)。

1 SSD算法

SSD是建立在深度學(xué)習(xí)框架caffe的基礎(chǔ)之上的。現(xiàn)今流行的檢測(cè)方法都是先生成一些假設(shè)的邊界盒子，然后再提取特征，之后經(jīng)過(guò)一個(gè)分類器，判斷里面是什么物體。但這類方法不足以實(shí)時(shí)地進(jìn)行檢測(cè)。而SSD消除了中間的邊界盒子、像素或特征重采樣的過(guò)程，算法的核心就是預(yù)測(cè)物體以及對(duì)其類別進(jìn)行評(píng)分，同時(shí)在特征地圖上使用小的卷積核，去預(yù)測(cè)一系列邊界盒子的盒子偏移。以下為算法的詳細(xì)介紹。

1.1 SSD模型結(jié)構(gòu)

SSD是基于一個(gè)前向傳播CNN網(wǎng)絡(luò)，產(chǎn)生一系列固定大小（fixed-size）的邊界盒子，以及每一個(gè)盒子中包含物體實(shí)例的可能性，即得分。之后，進(jìn)行一個(gè)非極大值抑制（non-maximum suppression）得到最終的預(yù)測(cè)。算法框架的最開始部分，稱作基礎(chǔ)網(wǎng)絡(luò)（base network），是用于圖像分類的標(biāo)準(zhǔn)架構(gòu)。在基礎(chǔ)網(wǎng)絡(luò)后，添加一些卷積層，這些層的大小逐漸減小，可以進(jìn)行多尺度預(yù)測(cè)。

1.2 SSD模型訓(xùn)練

1.2.1 目標(biāo)函數(shù)

1.2.2 為默認(rèn)盒子選擇尺度和縱橫比

一般來(lái)說(shuō)，CNN的不同層有著不同的感受野。然而，在SSD結(jié)構(gòu)中，默認(rèn)盒子不需要和每一層的感受野相對(duì)應(yīng)，特定的特征圖負(fù)責(zé)處理圖像中特定尺度的物體。在每個(gè)特征圖上，默認(rèn)盒子的尺度計(jì)算如下：

1.2.3 負(fù)樣本選取策略

經(jīng)過(guò)匹配后，很多默認(rèn)盒子是負(fù)樣本，這將導(dǎo)致正樣本、負(fù)樣本不均衡，訓(xùn)練難以收斂。因此，將負(fù)樣本根據(jù)置信度進(jìn)行排序，選取最高的幾個(gè)，并且保證負(fù)正樣本的比例為3：1。

2 基于SSD的臺(tái)標(biāo)檢測(cè)

總步驟為數(shù)據(jù)選取，臺(tái)標(biāo)數(shù)據(jù)格式轉(zhuǎn)換，臺(tái)標(biāo)檢測(cè)模型訓(xùn)練，臺(tái)標(biāo)檢測(cè)模型測(cè)試。現(xiàn)選取關(guān)鍵步驟進(jìn)行詳細(xì)介紹。

2.1 數(shù)據(jù)選取

在網(wǎng)上選取相同時(shí)間長(zhǎng)度的79類237個(gè)視頻，抽取視頻圖像幀，對(duì)圖像幀中的臺(tái)標(biāo)進(jìn)行標(biāo)注，若圖右上角及正下方出現(xiàn)cctvl3，則一張圖像幀對(duì)應(yīng)的標(biāo)注格式即為cctv13{106， 20， 178， 20， 178， 67， 106， 67}； cctv13{369，319， 440， 319， 440， 345， 369， 345}。

2.2 臺(tái)標(biāo)格式轉(zhuǎn)換

對(duì)視頻圖像幀進(jìn)行臺(tái)標(biāo)結(jié)果標(biāo)注后，編寫程序?qū)?biāo)注結(jié)果進(jìn)行處理，將txt文本中數(shù)據(jù)按序轉(zhuǎn)換為XML格式。并編寫程序，將127 980個(gè)XML格式的文件打亂分成兩部分，其中95 586張用于模型訓(xùn)練，32 394張用于模型測(cè)試。

2.3 模型訓(xùn)練

編寫程序，將95 586個(gè)XML格式數(shù)據(jù)文檔及對(duì)應(yīng)的視頻圖像幀進(jìn)行編碼轉(zhuǎn)換為1 mdb格式，以便SSD進(jìn)行模型訓(xùn)練。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)所用平臺(tái)設(shè)備為：操作系統(tǒng)：Ubuntix 14.04；GPU：NVIDIA GTX1080Ti；驅(qū)動(dòng)：CUDA 8.0，軟件為caffe（SSD）+ Pycharm Community。

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)選取圖像幀進(jìn)行模型測(cè)試，采用的是迭代80 000次模型進(jìn)行測(cè)試。

圖1是東方衛(wèi)視（dfws）新聞的截圖，算法對(duì)所有臺(tái)標(biāo)進(jìn)行了檢測(cè)并評(píng)分。

3.3 實(shí)驗(yàn)對(duì)比

鑒于模型訓(xùn)練所需時(shí)間較長(zhǎng)，故本文要求每訓(xùn)練2 000次，模型便進(jìn)行一次輸出，輸出到94 000代截止。對(duì)模型準(zhǔn)確率的統(tǒng)計(jì)如圖2所示。

我們發(fā)現(xiàn)，模型大概迭代到80 000代基本達(dá)到收斂，準(zhǔn)確率達(dá)98.2%。

3.4 實(shí)驗(yàn)總結(jié)

本文將當(dāng)下最前沿的深度學(xué)習(xí)技術(shù)與臺(tái)標(biāo)檢測(cè)這一工程實(shí)際問(wèn)題相結(jié)合，經(jīng)過(guò)實(shí)驗(yàn)，明顯提高了臺(tái)標(biāo)檢測(cè)的準(zhǔn)確率。

4 結(jié)語(yǔ)

臺(tái)標(biāo)檢測(cè)是網(wǎng)絡(luò)視頻審核的常用方法，但一直以來(lái)，很多算法在臺(tái)標(biāo)檢測(cè)的成功率上一直表現(xiàn)不佳。本文率先提出將基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法應(yīng)用于臺(tái)標(biāo)檢測(cè)，在進(jìn)行大量實(shí)驗(yàn)后，臺(tái)標(biāo)檢測(cè)成功率有了明顯提升。此外，為了進(jìn)一步提高臺(tái)標(biāo)檢測(cè)的速度，以后會(huì)選取性能更好的GHJ進(jìn)行模型訓(xùn)練，以及擴(kuò)充樣本類別，使得可檢測(cè)的臺(tái)標(biāo)種類得到提升。

[參考文獻(xiàn)]

[1]吳月鳳，何小海，張峰.SURF算法和RANSAC算法相結(jié)合的臺(tái)標(biāo)檢測(cè)與識(shí)別[J].電視技術(shù)，2014（13）：191-195.

[2]王建，賀翼虎，周源華.新聞視頻靜態(tài)圖形標(biāo)識(shí)分割[J].上海交通大學(xué)學(xué)報(bào)，2006（5）：758-761.

[3]史迎春，周獻(xiàn)中，方鵬飛.綜合利用形狀和顏色特征的臺(tái)標(biāo)識(shí)別[J].模式識(shí)別與人工智能，2005（2）：216-222.

[4]鄧曄.深度學(xué)習(xí)技術(shù)與安防行業(yè)的超融合[J].中國(guó)安防，2017（5）：26-30.

[5]LIU W， ANGUELOV D， ERHAN D， et al.SSD：single shot multibox detector[C].Amsterdam：European Conference on ComputerVision， 2016：21-37.