數字電視圖像層靜幀和黑場報警的判斷算法

李瑞民，董 亮

(1.上海風格信息技術股份有限公司，上海201804;2.上海市文化廣播影視監測中心，上海200002)

數字電視圖像層靜幀和黑場報警的判斷算法

李瑞民1，董 亮2

(1.上海風格信息技術股份有限公司，上海201804;2.上海市文化廣播影視監測中心，上海200002)

在數字電視的安全播出中，圖像層的監測是關鍵，也是最直觀的一步，所以圖像層監控算法就顯得尤為重要。針對這一問題，從當前數字電視中的黑場、靜幀這兩個最常見報警方式入手，通過對當前主流算法及這兩種報警本身的特點進行分析，找出一組高效可行的算法，并通過程序進行驗證。

圖像層;黑場;靜幀;無聲;碼流;報警

1 圖像層靜幀和黑場報警

當前的數字電視中，對節目信號的監控是整個播出鏈路中最重要的一個環節。如果僅從概念上來看，與數字信號相關的報警可以分為物理層報警、碼流層報警和圖像層報警，其中的物理層報警主要是物理鏈路(有線網絡的網線，無線網絡的射頻、微波)是否正常;碼流層報警則是節目流是否存在無法同步、碼流不能滿足正常播出要求等問題;而圖像層則是當前所播的圖像是不是電視臺計劃要播放的圖像內容。對前兩層的故障監控都可以通過巡檢制度等制度和協議分析等技術手段進行排查，而對于圖像層的故障，其原因多樣，有些帶有明顯的主觀性，因而判斷相對復雜，然而圖像層又是與電視觀眾距離最近，觀眾有最直接切身感受，因而圖像層的故障監控自然是重中之重。

首先，這里的“圖像”是廣義的圖像，既包括有視頻畫面，也包括有電視伴音、字幕、臺標、時鐘等畫面輔助內容。通常情況下，電視臺對“圖像層”的監控主要分為三大報警，分別是:黑場(Black Screen)、靜幀(Frame Freeze)、無聲(Sound Loss)。黑場就是屏幕上主要畫面區域呈現黑色，這意味著信號斷了;靜幀，即畫面靜止不動，這意味著信號斷了或編碼器壞了;無聲即聲音信號沒有電平值或聲音低于正常收聽的閾值，這意味著編碼器壞了。

理想環境下的報警分析并不難。如黑場就是判斷整個屏幕所有像素的RGB信息全為0;而靜幀就是判斷相鄰兩幀的同一位置像素值是否完全相等;無聲就是讀到的聲音值為最小值。但結合數字電視現實的使用環境，不難發現這些判斷并沒有想象中那么簡單，需要同時考慮的因素有:

1)編解碼器的影響。大部分視頻的壓縮算法都是失真壓縮算法，這會導致對于某一顏色的解碼再解碼，在色差或亮度上做一些小的調整。例如黑場不再是RGB上的全0，而是所有像素都非常接近于黑色;靜幀也不是相鄰兩幀或多幀之間的完全相等，而是所有幀都近似相等。

2)正中電視節目區之外的元素的影響。如頻道的臺標、當前時間、當前節目名稱、滾動新聞和廣告提示，有時節目黑場了，但這些周邊元素仍然存在。

3)節目場景的影響。如電視節目在在播出“通知”的時候，整個屏幕內容會暫停幾秒不做任何改變。人們的說話本身就有停頓，有時會導致數秒的無聲效果。

2 算法設計

分析“黑場、靜幀、無聲”這三個報警，無聲的判斷相對簡單，只需要判斷聲音電平值小于某個閾值即可，所以無聲的判斷不再詳述，下面著重介紹對黑場、靜幀的算法判斷。

目前，對于數字電視中圖像層報警的分析還不多，所以還沒有成熟的、公認的算法，對一些已具備該功能的設備來說，其算法也尚屬未公開階段。所以對算法的分析以及算法間的對比，主要還是集中在與模式識別算法的對比上。

2.1 常規算法的不足

模式識別本身的研究已有很多，但分析這些通用算法也能發現其中的一些不足，這些不足不一定是算法本身的問題，更多的是這些算法沒有考慮數字電影、數字電視圖像本身的特殊性。而這些正是本報警算法的關鍵，所以值得詳細討論。

要保證數字電視節目的流暢播放，1 s要播放25 f畫面，這意味著每一幀畫面數據的接收、解碼、播放、報警判斷的總時間必須在40 ms以內完成。其中的接收、解碼、播放時間相對固定，因而報警算法的效率尤為重要。體現在算法上，很多模式識別算法需要對全屏所有數據進行分析后才能得出結論。如果能在算法處理中，只對部分數據進行分析就能判斷出結果，無疑會提高效率，增加時效性。

從時間上進行分析，在廣電行業的節目播出中，節目異常通常是較小概率事件，更多的狀況是節目播出正常。根據哈夫曼(David Huffman)編碼的理論，如果算法能快速地識別出當前節目是正常播出，則可以迅速退出報警判斷，并給出正確的結論，從而提高整體效率。很多模式識別算法，為了考慮圖像的通用性，容易把一個圖像各像素視作等概率隨機分布，因而大多是按行優先或按列優先，圖像從左上角坐標向右下角坐標依次線性處理。然而視頻節目本身，除非導演的特殊需要，否則常常會把最想展示，最需要引起觀眾注意的細節放在屏幕的正中間或四周。比如新聞播報類的節目，有時除了播音員的嘴部在動，其余位置都沒有動，而這時播音員的嘴部又處于屏幕正中間，因此如果每次算法都從左上角向右下角依次掃描，則每幀畫面需要查找全屏的一半，才發現屏幕變化的位置。如果能結合節目特點，無疑也能提高算法效率。

從技術上進行分析，當前數字電視碼流中，最常用的是MPEG-2格式［1］，該格式對圖像處理的算法是DCT算法(Discrete Cosine Transform)［2］，該算法結合圖像的相關性而把圖像分成若干矩形塊，并對每一塊進行統一分析以進一步提高圖像的相關性。而在圖像監控中，圖像層報警算法所要查找的正是圖像中的“不相關性”，所以這種分塊算法反而會降低識別效果，因此良好的報警查找算法應避免使用DCT算法中既定的分塊結果，而是盡量尋找相關性越弱的塊，這樣算法就越能盡快判斷出結果。

2.2 算法設計

綜合以上各點，需要按如下原則進行算法設計。

首先，由用戶定制一個黑場和靜幀的判斷區域，這樣可以避開臺標、時鐘等元素。該區域的設定，一種辦法是采用掩碼矩陣算法，即事先制作一個與當前分辨率一樣的矩陣，矩陣中每個變量的值都是布爾型(BOOL)，在實施判斷的時候，如果該值為TRUE，則參與判斷，否則不參與判斷。另一種辦法是整個屏幕的范圍內，定制多個互不重疊的矩陣區域，所有判斷則都在這些矩陣中間。當然，最簡單、最實用的辦法是只在屏幕中心區域向四周擴展，最終定制一個盡可能大的一個區域。

其次，為了使算法簡單，可以將所選的判斷區域再等分成若干小的區域塊，將每個區域塊看作為一個大的“像素”進行整體判斷。根據圖像中兩個像素離得越近，則兩個像素相似的概率越大的圖像像素相關性原理分析，DCT算法中的每個區域塊像素分辨率為16×16［3］，而報警的判斷正是要打破這種相關性，因而可以有意避開該劃分方式，改為其他的方式，如24×24。

第三，在各判斷算法中，都由判斷區域的中心，分別向上、下、左、右4個方向擴展開的順序進行判斷，而不是由左上角，向右下角的順序進行判斷。如前所述，這是基于電視節目中最關鍵的節目內容通常在屏幕正中心，這也正是減少整體判斷時間的關鍵。

第四，增加特定區域的優先判斷。即使上述算法已由中心區域向四周進行擴展，仍然是連續進行判斷的。同樣，根據上述圖像像素相關性原理，如果能大跨度地跳躍像素間的距離，則可以更大程度上避免圖像像素的相關性。因此，一個可行的辦法是在進行上述算法之前，可以先在判斷區域的4個角和正中心區域先采集若干個區域塊，首先進行判斷。如果區域塊中數據不是黑場或靜幀，則整屏也不是黑場或靜幀。

根據以上各點，本文算法流程圖如圖1所示。

圖1 算法流程圖

3 算法測試和驗證

為了驗證上面算法的可行性和效率，通過Microsoft Visual C++2005 SP2編寫一個監測算法，該算法使用FFmpeg做基本流的解碼工作，然后在每一幀中分別做3種報警的監測。

FFmpeg是一組跨平臺的視頻和音頻流SDK，提供了錄制、轉換以及流化音視頻的完整解決方案，該SDK開源免費的，但使用其源代碼的人或組織必須將使用該SDK的系統同樣開源和免費。利用這套SDK可以接通過網絡傳來的TS(Transport Stream)流，并通過合適的解碼器進行解碼，并生成屏幕像素數據矩陣，利用數據矩陣就可以對屏幕數據進行算法分析。

3.1 理論分析

假設當前的電視節目是一個分辨率為800×592的標清節目［4］，為了說明方便，將其轉換為16×16區域塊組成，則“分辨率”變成了50×37。在模式識別的方式下，由于要判斷所有的數據塊，所以每幀要判斷50×37=1 850個數據塊。而在上述算法的情況下，如果當前沒有黑場、靜幀報警，假設80%的畫面變化區域在屏幕正中心和4個角的區域(共5個塊)，20%的畫面位于其余區域，則每幀要判斷0.8×5+0.2×(5+50×37)=375個數據塊。在區域塊比較的數量上，其效率提高了(1 850-375)/375≈393%。

假設當前的電視節目是一個分辨率為1 920×1 072的高清節目，利用同樣的方式可以將整個圖像區域分為120×67的區域塊矩陣，則每幀要判斷120×67=8 040個數據塊。同樣假設，則該算法要比較的區域塊數為1 613個數據塊，最終區域塊比較的效率提高為398%。

3.2 測試效果

根據上述算法使用FFmpeg讀取TS流，通過avcodec_open函數打開解碼器，并進行解碼。之后每調用一次av_read_frame函數，都可以收到一個完整的音頻幀或視頻幀像素矩陣，設定屏幕正中4/5的區域為報警判斷區域。無論是黑場，還是靜幀，像素的偏差為5%以內的視為“近似相等”。全屏所有區域塊的數據必須全部“近似相等”，并持續500 ms，才認為報警的發生。所不同的是黑場的比較值是0，而靜幀的比較是相鄰的兩幀圖像。

值得一提的是，在圖1所示的流程圖中，結合上文分析，算法采用了5個特定區域優先比的機制，電視節目大概率下都是正常的節目，而每個節目場景中，正中間及4個角的變化概率大于其他位置，所以算法可以快速地判斷出正常播出時不是黑場，也不是靜幀，從而大幅度減少了比較量，減少了CPU和內存資源，提高了效率。

當發生靜幀時，程序判斷正中間和4個角區域塊是相等的，進而判斷其他位置的數據塊也是相等的，并且這種狀態持續了半秒鐘以上，所以發出靜幀報警，并且隨著報警時間的增長，靜幀時長也在累計。圖2是當靜幀報警累計到3分38秒時的故障實例圖。

圖2 軟件實測實例圖(截圖)

4 小結

通過對電視臺信號監控中的5大類主要報警的介紹，在分析了各類報警的特征及應用限制之后，結合現有各算法中的一些不足，針對各個報警的各種具體應用，用，制作了針對性很強的算法，并通過程序驗證了該算法的正確性和可靠性。通過測試證明，算法是可行的，效率可以滿足正常播出中監控系統的需要。相信通過對算法的研究，為電視信號監控“消滅漏報，減少誤報”做出貢獻。

［1］王子微，楊盈昀.淺析超高清數字電視視頻壓縮編碼技術［J］.電視技術，2013，37(13):1-3.

［2］惠新標，鄭志航.數字電視技術基礎［M］.北京:電子工業出版社，2009.

［3］侯宏花.數字圖像處理與分析［M］.北京:北京理工大學出版社，2011.

［4］蔡曉霞，崔巖松，鄧中亮，等.下一代視頻編碼標準關鍵技術［J］.電視技術，2012，36(2):80-84.

Black Screen and Freeze Alarm Algorithm in Digital Television Image-layer

LIRuimin1，DONG Liang2
(1.Shanghai Figure Information Technology Co.Ltd.，Shanghai201804，China; 2.Shanghai Culture Broadcasting Inspection Center，Shanghai200002，China)

In secure broadcasting digital TV，monitor of image-layer is the key，and it is also themost intuitive one step，so the image layermonitoring algorithm is particularly important.From the current common black screen，freeze frame of these two kinds of common alarm method，his paper，based on the currentmainstream algorithm and the two alarm the characteristics of analysis，so as to find out a set of feasible and efficient algorithm，and was verified by program.

image-layer;black screen;freeze;sound lose;code stream;alarm.

TN919.83

A

?? 雯

2013-05-02

【本文獻信息】李瑞民，董亮.數字電視圖像層靜幀和黑場報警的判斷算法［J］.電視技術，2014，38(23).

上海市廣播電視技術監測中心項目

李瑞民(1973— )，博士，高級工程師，主要從事廣電領域內的計算機安全技術、網絡設備與信號監控等領域的研究與應用;

董 亮(1980— )，本科，工程師，主要從事廣播電視、網絡視聽、網絡文化等領域的監測研究與應用。