基于TS流的音視頻監測報警系統原理

馮莉

【摘要】 隨著數字化廣播電視技術的發展，衛星數字電視技術日益普及，因此播出質量至關重要，對于大量的數字電視信號的播出質量的自我監測或統一的有效監管，必須引入自動監測技術。本文介紹了當前一種基于TS流的音視頻監測報警系統的原理，包括廣播電視中對音視頻監測的報警判斷和一種基于MMX技術的圖像內容檢測快速算法。

【關鍵詞】數字電視音視頻監測 監測報警系統 MMX技術

一. 前言

隨著廣播電視技術的發展，衛星數字電視日益普及，節目數量日益增長，目前國內衛星電視節目已將近270路，在快速、準確、及時、高效的監測方針下，必須使用成熟、完善的自動監測技術。目前監測臺的衛星接收天線接收到衛星信號后輸出射頻信號到衛星接收機，衛星接收機對射頻信號進行解調輸出ASI形式的TS流，TS流中包含多路復用的TS流或單路TS清流，該TS流的采集可以直接用ASI采集卡采集，也可以輸出到解復用設備解成TS清流后組播輸出[1]。目前在監測臺內使用的是第二種方法。音視頻監測報警系統就是針對解復用組播輸出的TS清流進行解碼、分析、判斷和報警。

二. 音視頻監測原理分析

如圖1所示，音視頻監測報警主機接收監測前端通過IP網絡發送的TS流數據，根據音視頻的PID信息進行解調，分別對音視頻內容進行解碼的同時，完成內容層的故障監測，音視頻信息的展示，同時還進行實時轉碼存儲的功能。

1. 音頻報警

報警系統通過分析TS流中的PID信息捕獲音頻碼流，對音頻碼流進行解碼就可以得到原始采樣的音頻數據。音頻數據按不同聲道依次排列。

靜音：按聲道取出的音頻數據就是該聲道的音量值，如果音量值一直保持在我們預先設定的閾值以下并持續一個設定的時間段，那么該時間段的音頻就處于靜音狀態。

因為可以對不同聲道進行取值，所以靜音報警可以針對每個聲道進行單獨報警。目前，衛星信號中傳輸的音頻數據往往是用同一個PID傳輸兩路音頻信號，左聲道可能是電視伴音，右聲道可能是一路廣播節目。對于這種情況，由于監測對象的不同就要區分不同聲道進行報警。

2. 視頻報警

報警系統接收到的視頻數據經解碼后，得到的是一幀幀YUV格式的圖像，其中Y是圖像中像素點的亮度信號，UV是像素點的色差信號。將每幀圖像需要判斷的范圍（除去各種疊加圖像的干擾）分成若干個大小相同的子區域，取每個區域的亮度值Y的總合建成一個m*n的亮度矩陣，通過對亮度矩陣的分析來判斷以下報警：

黑場：亮度矩陣的所有亮度值均小于一個設定的閾值，并持續一個設定的時間段，則該時間段圖像為黑場。

靜幀：如果本幀的亮度矩陣與緩存的前一幀的亮度矩陣相似（每個對應位置的亮度值都基本相同），那么這兩幀圖像相似。如果一個時間頻段內的視頻信號所有連續的兩幀圖像均相似，那么該時間段內圖像靜幀。

無數據：在一定時間內，無視頻信號輸入，那么將判斷無數據。同時會輸出標準黑場圖像。

由于疊加的內容（包括臺標、時鐘等）會影響亮度矩陣的特征，因此判斷區域須除去有疊加內容的區域才能保證系統做出正確的判斷。

除無數據外，視頻報警的判斷均只針對圖形的亮度值，而忽略色差信息。圖像變化時亮度值的變化更為敏感，如果對UV分量也進行判斷，數據存儲量大，且運算量大，而效果提高卻不明顯。

當收到一幀視頻數據后，首先進行黑場判斷，再進行靜幀判斷。如果長時間收不到數據則認為是無數據。音頻數據則要進行靜音的判斷。其判斷流程入圖2所示。

三. 監測系統中使用的報警組合

當音頻信號出現靜音或者視頻信號出現靜幀或黑場等異常情況時，系統會自動判斷并計時，當異常信號持續一定時長（預先設定的閾值），系統產生報警并發送到控制臺讓值班人員進行處理。當信號恢復正常后，停止報警并通知控制臺報警結束。

監測系統在報警的時候，分以下幾種情況：

只有音頻靜音而同時刻沒有視頻報警時產生報警，如：無伴音。

視頻信號異常，同時對音頻信號進行測量產生組合的報警，如：黑場無伴音、黑場有伴音、靜幀無伴音、靜幀有伴音。

異常信號結束后系統向控制臺發送報警結束：如無伴音結束、黑場無伴音結束、黑場有伴音結束、靜幀無伴音結束、靜幀有伴音結束。同一時刻只有一種報警存在，例如，如果先報的是靜幀無伴音，如果靜幀結束但無伴音仍然存在，系統將先報靜幀無伴音結束，然后接著報無伴音開始，直到有伴音后再報無伴音結束。

在實際應用中，很多正常節目會出現長時間靜幀或無聲情況（如財經類節目就經常會出現長時間靜止解說畫面）。為了避免經常性誤報警，此類節目的報警閾值可以適當的加大，如果普通節目的靜幀閾值設的是10秒，此類節目的閾值可以設為20秒。系統為每個節目的不同報警（靜音、黑場、靜幀）都可以設定閾值，用戶可以調節閾值以達到減少誤報警的幾率。

四. 基于MMX的快速圖像監測算法

MMX技術[2]是Intel公司為增強處理器的多媒體功能和通信能力而提出的一項新技術。它的重要特點是單指令多數據，即在一個指令周期內可以對多個數據進行并行處理。這種平行操作，使得性能得到大幅提高。

由于MMX的運算指令必須在數據配對整齊的時候才能使用，所以使用MMX指令要比普通的匯編指令多余許多分組配對的指令，如果運算不是特別的整齊的話，就要浪費大量的時間在數據的配對上，所以說MMX指令也不是萬能的，也有其很大的缺陷。同時MMX指令在處理16位數據的時候才能發揮最大的作用，處理8位數據要有一點技巧。

對于連續存儲一幀圖像的YUV數據，每個像素的灰度或色差數據均為8位整形數據，處理器可在一個頻率周期內，同時執行16個8位整形數據的乘法、加法、減法、數據加載數據回存等計算，明顯的提高運算速度。據研究表明，可以提高40%至50%的效率。

通過采用基于MMX的圖像監測算法，能夠滿足實時監測的需求，降低圖像監測的CPU占用，提高效率。

五. 總結

基于TS流的音視頻監測報警系統，通過對TS流進行分析，提取出音視頻碼流并解碼。根據經驗制定監測策略，采用先進、快速算法進行音視頻數據監測，形成監測結果，幫助值班員自動、實時反映出異態等情況，并可對歷史監測結果進行查詢和回看。該監測機制不僅適用于監測臺完成數字廣播電視的質量實時監測，同樣使用于上行地球站對于接收到的衛星廣播電視節目進行自臺監測。B&P

參考文檔：

[1] 總局數字有線電視前端監測系統 王慶偉 國家廣播電影電視總局節目傳輸中心 數字電視 2010年第12期 總第252期

[2] MMX 技術在視頻編碼的實時軟件實現中的應用 石 峻，余松煜 上海交通大學圖像通信與信息處理研究所 多媒體世界 1999年第10期