基于音視頻特征的新聞拆條算法

李晨杰, 朱允斌

1(復旦大學 計算機科學技術學院,上海 201203) 2(上海視頻技術與系統工程研究中心,上海 201203)

0 引言

隨著大數據和網絡信息傳輸技術的發展，用戶可接觸到的視頻信息越來越多，新聞視頻作為其中一類，充斥著用戶的日常生活。用戶對于新聞類視頻的需求更多的是根據喜好與需要選擇單個新聞條目，與實際生活中電視臺播送的時間較長的整檔節目并不吻合。新聞拆條算法可以自動地將較長的新聞視頻節目按其內容拆分成多個新聞條目，改變目前新聞視頻拆條以人工剪輯為主的狀況，使新聞視頻服務供應商能更快速有效地對新聞進行細分，從而進行更為精準的內容推送，在視頻數據存儲等方面也擁有更大的靈活性。

本文的研究內容為基于音視頻特征的新聞視頻拆條算法，旨在將時間較長的新聞視頻按其內容進行劃分，找出不同新聞條目之間的分界點。主要內容圍繞著新聞視頻主持人特征和音頻靜音段特征展開，包括特征提取及如何基于這些特征進行拆條。主要工作包含視頻鏡頭分割、人臉識別、靜音段提取和條目分界點的確定等。本文對算法進行大量實驗，找到針對特定的新聞視頻拆條最有效的實驗參數，總結分析優劣。

1 相關工作

Anuj[1]基于主持人特征進行新聞拆條，且找出同一個主持人鏡頭中不同新聞播報的分界點。Misra[2]用狄利克雷分布獲取主題字幕特征，并結合主持人特征來判斷新聞條目的分界點。Tarek[3]以新聞節目的語境和結構特征為先驗規則，找出各種場景中的主持人特征作為新聞分界點。Ma[4]從多媒體信號源中檢測出關鍵項，并與音頻特征相結合來判定新聞邊界。Wei[5]將靜音段在視頻中所處的位置、主持人特征和鏡頭邊界結合來判斷邊界。Emilie[6]結合了多種新聞視頻的視覺和音頻特征模型來判斷新聞條目邊界，通過實驗得出各個特征對結果的影響，總結了各特征對新聞拆條工作而言的重要性，然而其所找出的新聞分界點允許存在前后10秒的誤差。劉嘉琦[7]基于主題字幕、靜音段和主持人特征來劃分新聞故事邊界。馮柏嵐[8]采用啟發式規則獲取條目邊界的視覺和語音候選點，用音視頻融合策略對邊界進行定位計算，從而確定邊界。

大多算法使用了新聞視頻的多種特征，以求能適用普遍情況，但提取的特征越多意味著時間復雜度越大，不利于實際運用。以秒作為視頻拆分的最小單位則影響了整體算法的精確度。本文提出的新聞拆條算法僅采用關鍵性的主持人和靜音段特征，在通過人臉識別得到主持人鏡頭關鍵幀之后，結合靜音段找出新聞條目分界點。本文算法將視頻拆分的最小單位精確到幀，相較于以秒為單位的算法有了較大的提升。

2 新聞拆條算法的主要內容

2.1 新聞拆條算法概述

本章將介紹新聞拆條算法的主要內容。在本小節中將介紹新聞條目的模式，闡述本文的新聞拆條算法所選取的新聞視頻特征，并概述算法的思路與流程。其余小節將詳細地描述算法各個步驟的具體內容。

2.1.1 新聞條目的模式

新聞視頻可以分為節目片頭、開場問候、主持人播報、新聞詳細視頻內容和結束語五個部分。除特別指明外，本文所指的新聞視頻是指由若干個主持人播報和新聞詳細視頻內容組成的新聞視頻片段，不涉及其他三個部分。新聞拆條算法需要找出正確的新聞條目分界點，根據新聞視頻的內容將其拆分成多個新聞條目。結合圖1可知新聞條目大致分為以下3種模式：

(1)主持人播報+詳細視頻內容，新聞條目1、條目2和條目4,如圖1所示。

圖1 中央電視臺新聞聯播節目的新聞條目示例

(2)主持人播報詳細內容，如圖1所示的新聞條目3；

(3)詳細視頻內容，如圖1的新聞條目5。

2.1.2 新聞視頻特征的選取

新聞拆條算法常用的特征包含視覺和音頻兩個方面。視覺特征如主持人、演播室場景、電視臺標識和主題字幕等。音頻特征如靜音段、播報員聲音和語音內容關鍵詞等。本文僅選取主持人特征和音頻靜音段特征來確定新聞條目的分界點，原因如下：

(1)特征選取應首先考慮普遍性，即在大多數新聞視頻中都具備的要素(如主持人和靜音段)，這樣才能使得新聞拆條算法更具通用性。僅適用于特定新聞視頻的特征(如臺標和演播室場景等)不滿足普遍性要求；

(2)和新聞節目內容相關的特征(如語音內容等)屬于較高層的特征，其提取和分析過程較復雜，通常涉及到關鍵字提取或主題聚類等更復雜的問題。因此這類特征不適用于新聞拆條算法；

(3)在新聞視頻中，主持人畫面的出現往往意味著一段新聞條目的開始，因此該特征對新聞拆條算法而言必不可少。另一個廣泛存在且不依賴特定新聞或播報員的特征是音頻靜音段，新聞條目的分界點通常都位于音頻靜音段內，因此靜默段特征對于新聞拆條算法也具有很大的意義。

2.1.3 新聞拆條算法的思路與流程

新聞條目的邊界往往是視頻鏡頭的邊界[9]，因此本文僅以鏡頭關鍵幀作為切入點，整體思路圍繞著新聞視頻的主持人和音頻靜音段特征展開，通過處理新聞視頻的鏡頭關鍵幀來獲取主持人鏡頭序列和靜音鏡頭序列，結合分析兩個序列完成拆條工作，在節約計算時間的同時，能以幀作為新聞條目邊界的精確度。

算法1 基于音視頻特征的新聞拆條算法

輸入：離線新聞視頻

輸出：新聞條目分界點(視頻中的幀號)

主要步驟(a和b并列進行)：

1a.對輸入視頻進行鏡頭分割得到鏡頭關鍵幀集合；

1b.運用短時能量及短時過零率特征提取音頻段；

2a.鏡頭關鍵幀集合經由主持人分析階段得到該新聞視頻的主持人鏡頭序列；

2b.靜音段中音頻幀號定位轉換為鏡頭圖像幀號，篩選靜音段，生成靜音鏡頭序列；

3.結合主持人鏡頭序列和靜音鏡頭序列進行新聞拆條分析，得到該新聞視頻條目的分界點。

2.2 鏡頭分割階段

鏡頭分割旨在尋找鏡頭之間的分界點。鏡頭由若干個圖像幀構成，鏡頭分割階段需要找出每一個鏡頭的起始幀作為關鍵幀，并將起始幀號集合輸出,如圖2所示。

在新聞視頻中，絕大多數的鏡頭轉換為切變，尤其在不同新聞條目之間，這意味著前一個鏡頭的末尾幀和下一個鏡頭的第一幀之間存在巨大的差異。因此本文選取傳統的基于顏色直方圖的鏡頭分割方法。進行鏡頭分割之后得到一個集合，其保存了新聞視頻中每一個鏡頭的起始幀號。

圖2 某新聞視頻的部分鏡頭分割結果

2.3 主持人分析階段

主持人分析階段根據鏡頭起始幀號從視頻中獲取鏡頭起始幀圖像集合，并對該集合中的圖像進行人臉識別，判斷其是否為主持人，并生成主持人鏡頭序列。

2.3.1 人臉識別

算法對鏡頭起始幀圖像集合中的每一幅圖像進行人臉識別，人臉識別具體分為人臉檢測、面部特征點定位和人臉特征提取等三個步驟進行。

人臉檢測的方法基于多層神經網絡實現，其采用漏斗型級聯結構[10]，專門針對多姿態人臉檢測而設計，可以實現準正面人臉的準確檢測。面部特征點定位采用了一種由粗到精的自編碼網絡[11]來解決從人臉表觀到人臉形狀的復雜非線性映射問題，實現人臉對齊，從而解決由人的不同姿態、表情及環境光照或人臉遮擋等因素產生的影響。判斷每一張圖像中是否包含人臉，若有，則記錄該人臉所屬的鏡頭號，并進行人臉特征的提取。特征提取基于深度卷積神經網絡VIPLFaceNet[12]實現，得到人臉的2048維特征向量。

2.3.2 序列生成

比較人臉特征向量的歐幾里得距離，即可得到相似的人臉特征，基于這些相似結果以及人臉所屬的鏡頭幀號，若滿足以下3個條件則認為該人臉為主持人：

(1)該人臉出現在畫面中央；

(2)該人臉在鏡頭關鍵幀序列中多次出現；

(3)出現的位置分散在整個視頻節目之中。

具體判斷步驟為：給定閾值τ，找出出現在畫面中央且次數大于τ的全部人臉，針對不同的人臉分別計算其最后一次出現的畫面幀號與第一次出現的幀號的差值，差值越大則人臉分布越廣。

經上述步驟后，針對每一個鏡頭起始幀可以判定其是否含有主持人，從而生成主持人鏡頭序列。假設某新聞視頻共被分割成N個鏡頭，則生成一個長度為N的數值序列，每一位數字代表對應圖像幀是否含有主持人。針對圖1所示的新聞視頻構造的主持人鏡頭序列，結果為10…010…0110…00…0，共N位。其中1表示該鏡頭關鍵幀含有主持人，省略號省去的皆為0。

2.4 靜音段分析階段

2.4.1 靜音段的圖像幀定位

對視頻采取基于短時能量和過零率的端點檢測方法[13]來獲取語音段落，并根據結果獲取靜音段集合。隨后需要將靜音段集合中的音頻幀號定位轉換為新聞視頻中的圖像幀號，才能與鏡頭關鍵幀位置相對應，生成靜音鏡頭序列。已知靜音段集合為M，則有式(1)。

M={si,ei|1≤i≤K,i∈Z}

(1)

其中K表示靜音段落總數，si和ei分別表示第段靜音段的起始音頻幀號和結束音頻幀號。對于si，其所在的位置對應視頻中的圖像幀號pi為式(2)。

(2)

其中fs表示音頻采樣頻率，Lf表示音頻幀長，fv表示視頻幀率。用同樣的方法求得ei所在的位置對應的視頻圖像幀號qi，便最終得到基于視頻圖像幀號的靜音段集合M′為式(3)。

M′={pi,qi|1≤i≤K,i∈Z}

(3)

其中K表示靜音段落總數，pi和qi分別表示第段靜音段落的起始圖像幀號和結束圖像幀號。

2.4.2 生成靜音鏡頭序列

設鏡頭關鍵幀集合和結果靜音鏡頭序列分別為式(4)、(5)。

F={fj|1≤j≤N,j∈Z}

(4)

S={sj|1≤j≤N,j∈Z}

(5)

其中N為視頻被分割成的鏡頭數目，fj表示第j個鏡頭的起始幀號，sj為需要生成的整型數值。為了生成S中的每一項sj，需要遍歷集合F，對于其中每一項fj，判斷是否存在正整數i，使得式(6)。

pi≤fj≤qi,1≤i≤K,1≤j≤N,i、j∈Z

(6)

其中K表示靜音段落總數。若滿足該條件表示鏡頭起始幀fj處在一個靜音段中，但是并不意味著該靜音段一定是新聞條目鏡頭轉換之間的停頓，需進一步判斷是否滿足以下條件為式(7)。

qi-pi≥τ且fj-pi>qi-fj

(7)

其中τ為事先設置好的靜音段長度的閾值，單位為幀。通過判斷是否滿足條件qi-pi≥τ即對靜音段落的長度提出要求，以舍棄說話語句之間的短暫停頓。此外，大部分新聞節目有如下特征：新聞條目開始時的靜音段時長較短，且新聞稿會在視頻內容播完前結束。基于這樣的觀察，對靜音段提出如下條件限制：鏡頭起始幀fj將靜音段落分割成了前后兩個部分，要求fj-pi>qi-fj，即前一部分的長度要大于后一部分。

若上述條件均被滿足，則sj=1；否則sj=0。從而最終得到靜音鏡頭序列S。

2.5 新聞拆條分析階段

該階段根據已得到的主持人鏡頭序列和靜音鏡頭序列確定新聞條目的分界點，從而完成新聞拆條的工作。以圖1所示的新聞結構為例，在2.3.2節中已知其主持人鏡頭序列H為10…010…0110…00…0，將該新聞視頻通過語音段檢測階段和靜音段分析階段，得到其靜音鏡頭序列S為11…011…0110…01…0。這兩個序列均為N位，省略號都省去了0。每一位數字代表其對應的鏡頭起始幀是否含有主持人或者是否處在滿足本文算法要求的靜音段中。結合分析這兩個序列，在其中標定若干值，這些值所代表的鏡頭起始幀就是這段新聞視頻中的新聞條目分界點。具體方法為：

遍歷hi∈H,si∈S,1≤i≤N，若：

(1)hi=1，則新聞視頻的第i個鏡頭的起始幀為新聞條目分界點；

(2)si=1且hi-1=0,i≥2，則新聞視頻的第i個鏡頭的起始幀為新聞條目分界點。

條件(1)表示只要是主持人在新聞節目中出現，算法就認為其是新聞條目的分界點。條件(2)根據靜音段來確定新聞條目分界點，hi-1=0的限定是為了解決毛刺問題，在本例中當i=2時就會出現毛刺問題：對于“主持人播報+詳細視頻內容”模式，往往在主持人播報完畢后出現一段靜音，使得下一個鏡頭起始幀就處在了滿足算法要求的靜音段中，靜音鏡頭序列中被標記為1，而上一個主持人鏡頭起始幀才應該是這段新聞條目的起點，于是出現了毛刺現象。

至此，本文算法找出了新聞視頻中不同新聞條目的分界點，完成了新聞拆條的工作。

3 算法實驗與結果

3.1 實驗數據與評價標準

本文所使用的測試數據為時長3 000分鐘的中央電視臺新聞聯播節目，其格式為MPEG-4影片，畫面幀大小為640*480像素，視頻幀率為25f/s。針對這些新聞視頻進行人工的新聞條目分界點標注，總計得到1 309個新聞條目分界點。算法得到的新聞條目正確分界點必須精確到新聞條目的起始幀。本文通過以下三種數值來評估新聞拆條算法：

(1)新聞邊界點召回率recall=算法得到的正確分界點個數/應得到的正確分界點個數；

(2)新聞邊界點準確率precision=算法得到的正確分界點個數/算法得到的所有分界點個數；

(3)新聞邊界點值F1=2×召回率×準確率/(召回率+準確率)。

3.2 實驗結果與分析

3.2.1 總體實驗結果與分析

本文算法測試上述數據集得到分界點個數為1 202個，其中正確的分界點1 121個，實驗結果為：召回率0.856 3；準確率0.932 6；F1值0.892 8。

算法在實驗中存在漏檢情況有以下原因：

(1)由于沒有絕對的標準閾值界定新聞條目間的靜音段時長，新聞條目分界點所處的靜音段存在長度小于閾值的情況，且占據了算法漏檢的較大比重。

(2)新聞視頻中存在“主持人播報詳細內容”模式與其他新聞的“詳細視頻內容”相連的情況。在2.5節中提到了主持人播報的語音毛刺問題，其解決方式為忽略主持人播報后的靜音毛刺，而詳細視頻內容主要依靠靜音段檢測，因此當這兩種模式相連時，算法會出現漏檢“詳細視頻內容”模式新聞條目的情況。

算法在實驗中存在錯檢情況的主要原因是新聞內容中存在長度大于閾值的靜音段落。這類情況主要發生在新聞播報內容為人物演講時，此時視頻鮮有背景雜音，只有人說話的聲音，而演講往往抑揚頓挫，語句之間也會存在有較長停頓的情況。

3.2.2 靜音段長度閾值對實驗結果的影響

從上述分析中可知，算法所設的靜音段閾值對新聞拆條的結果有著十分重要的影響。當閾值較高時，得到的新聞條目分界點個數會較少，即漏檢情況發生較多，從而召回率較低，但準確率較高；當閾值較低時，得到的分界點個數會增多，即錯檢情況發生較多，從而準確率較低，但召回率較高。本算法采用不同的靜音段閾值進行實驗所得到的結果，如圖2所示。

圖2 靜音段長度閾值對實驗結果的影響

當閾值取值在50左右時，F1值處在總體較高水平。

3.2.3 靜音段限制條件對實驗結果的影響

在2.4.2小節中介紹了算法在靜音序列生成階段，通過條件限制篩選得到符合要求的靜音段落。本節通過對比實驗佐證了靜音段限制條件對實驗結果的影響，結果如圖3所示。

圖3 靜音段限制條件對實驗結果的影響

當有限制條件時，算法得到的召回率、準確率和F1值均高于無限制條件時的結果。

3.2.4 處理音頻毛刺對實驗結果的影響

3.2.1節提到了新聞視頻中有主持人播報后直接連接其他新聞詳細視頻內容的情況，這種情況與算法所設置的處理音頻毛刺現象的方法相沖突，從而導致算法產生漏檢情況，影響了算法的召回率。本節通過對比實驗得出處理音頻毛刺現象對實驗結果產生的影響，如圖4所示。

在不處理毛刺現象時算法得到的召回率更高，但準確率遠低于處理毛刺現象時的結果，從而在值方面要差很多。這

圖4 處理音頻毛刺現象對實驗結果的影響

說明在新聞視頻中主持人播報后緊跟其他新聞的詳細視頻內容情況的出現頻率要比“主持人播報+詳細視頻內容”的常規模式低很多。盡管不處理毛刺現象可以檢測出一些被漏檢的新聞條目分界點，但也造成了更多的錯檢情況的發生。

3.3 其他算法結果對比分析

本文算法與其他算法的對比結果。所選取的數據集均為新聞聯播節目,如表1所示。

表1 對比實驗分析結果

[5]采用四集約128分鐘的新聞聯播作為實驗數據集，其算法同樣是基于主持人和音頻靜音段特征，默認主持人播報始終是單獨的新聞條目，即使主持人播報后有相關新聞的詳細視頻報道，也認為是兩個不同的新聞條目，在此前提下得到較高的召回率，但準確率較低。參考文獻[7]同樣對四集新聞聯播進行實驗，使用了主持人特征、主題字幕特征和音頻靜音段特征，對新聞視頻中的故事單元進行切割，獲得了不錯的實驗結果，但其新聞分界點的邊界精確度為秒。

4 總結

本文提出了一種新聞視頻拆條算法，主要工作體現在以下幾個方面：

(1)僅采用最普遍且最關鍵的主持人特征和音頻靜音段特征來設計新聞拆條算法；

(2)以鏡頭關鍵幀作為切入點進行處理，相比于以固定時長的一小段視頻為切入點進行處理，且邊界精確度為秒的新聞拆條算法，本文的算法在節約計算時間的同時，提高了條目邊界的準確率；

(3)針對從新聞視頻中提取的音頻靜音段落進行篩選，對靜音段落有長度和其他條件限制，同時針對靜音的毛刺現象進行處理，使算法的值大有提高。

(4)針對同一類型的新聞視頻，本文相比于其他算法使用了大量的實驗數據，以驗證算法的各項性能。

參考文獻

[1] Goyal A, Punitha P, Hopfgartner F, et al. Split and Merge Based Story Segmentation in News Videos[C]//31st European Conference on IR Research. Toulouse, the 2009, 766-770.

[2] Misra H, Hopfgartner F, Goyal A. TV news story segmentation based on semantic coherence and content similarity[C]//Proceedings of the 16th international conference on Advances in Multimedia Modeling. Chongqing 2010, 347-357.

[3] Zlitni T, Bouaziz B, Mahdi W. Automatic topics segmentation for TV news video using prior knowledge[J]. Multimedia Tools and Applications，2016,75(10): 5645-5672.

[4] Ma C, Byun B, Kim I, et al. A detection-based approach to broadcast news video story segmentation[C]//Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing. Taipei, 2009, 1957-1960.

[5] Wei W, Gao W. Automatic segmentation of news items based on video and audio features[J]. Compute Science and Technology,2002, 17(2):189-195.

[6] Dumout E., Quenot G. Automatic Story Segmentation for TV News Video Using Multiple Modalities [J]. International Journal of Digital Multimedia Broadcasting, 2012.

[7] 劉嘉琦. 基于多模態特征的新聞視頻結構分析[D]. 西安：西安電子科技大學. 2011.

[8] 馮柏嵐，鄭榮，陳智能，等. 一種面向海量廣播電視監管的自動新聞拆條. 中國專利：CN 103546667A[P]，2014-01-29.

[9] Smeaton] A F, Over P, Kraaij W. TRECVID—an over-view[C]//Proceedings of TRECVID. 2003.

[10] Wu Shuzhe, Kan Meina, He Zhenliang, et al. Funnel-Structured Cascade for Multi-View Face Detection with Alignment-Awareness. Neurocomputing (under review), 2016.

[11] Zhang Jie, Shan Shiguang, Kan Meina, et al. Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time Face Alignment[C]//ECCV 2014.

[12] Liu Xin, Kan Meina, Wu Wanglong, et al. VIPL FaceNet: An Open Source Deep Face Recognition SDK[J]. Frontier of Computer Science.

[13] 劉波．基于短時能量和過零率分析的語音端點檢測方法研究[D]．武漢：武漢理工大學，2007.