侯慶云
(天津廣播電視臺,天津 300221)
隨著數字電視技術的不斷發展,數字電視播出系統正朝著自動化和智能化的方向發展。為切實提高播出系統業務能力,快速發現問題,準確定位故障點,提高事件響應及處理能力,一致性比對等智能化信號故障判斷方法正成為信息化時代安全播出的重要手段。
一致性比對是播出系統智能化故障判斷的核心技術。該技術通過計算播出系統各鏈路畫面的特征值和技術指標,基于邏輯進行故障判斷,快速做出應急處理[1]。這種應急處理大幅度降低故障判斷時間,增強了播出安全,同時降低了值機人員的工作量。在典型的播出系統中,可以選擇多處監測點,并將多路信號分別送至一致性比對主機和4×1應急切換設備,由一致性比對主機控制4×1應急切換設備做應急處理,也可在一致性比對發現信號不一致或當前輸出鏈路有劣播情況時,通知應急切換面板蜂鳴以示異態報警,由系統自動或值班人員手動切換到正常鏈路。
一致性比對通常選擇監測末級主、備及三備PGM輸出,在播出系統中的監測點如圖1所示。鏈路間不一致的情況主要有播出異常和停播等情況。播出異常的原因有節目單不一致和節目文件內部錯誤等,在這種情況下,3路都有播出但存在不一致的情況,本文主要探討為這類情況提供解決方案。停播是播出系統沒有及時對播出服務器或渲染服務器發出指令,或出現軟硬件故障等,導致畫面出現無信號、黑場或靜幀的情況,這種情況可以通過技審優先判斷出非正常鏈路并及時解決問題。

圖1 一致性比對在播出系統中的監測點
除進行圖像是否一致的判斷外,設計算法時需要考慮一些前提條件。這些條件包括空間因素、時間因素及算法適應性3方面。
空間因素主要包括3種情況。
(1)不同鏈路的畫面包裝元素區存在不同,如三備沒有疊加臺標等情況。
(2)畫面平移。出于建設周期和安全性考慮,播出系統可能采用不同廠家的視頻服務器。這些設備的輸出并不能完全一致,如相同幀間有畫面平移現象。
(3)對于高標清同播的系統,上下變換將改變分辨率、像素亮度值及像素色度值。
有多種因素可能造成不同鏈路之間存在時間差。例如,播出系統受控于不同的自動控制系統,控制命令的發出存在時間差;鏈路之間串聯的設備有區別;服務器硬件可能對輸出響應快慢存在差異等。
設計算法時,要先設定最大時間差范圍,在此范圍內搜索同步點,確定各路間時間差。另外,在節目播出期間,需要對時間差進行跟蹤檢測。
一致性比對基于技審系統,這兩種產品在有些功能上存在互補,在技術上存在共同之處。如果僅僅整合獨立功能,則系統中可能存在多種算法,導致對圖像進行多次特征提取,增加計算量,這樣會降低系統工作效率,限制產品檢測容量。
本文分析了電視臺播出系統中鏈路間信號差異的原因,并分析幾種判斷圖像相似性的方法。在保證正確率的前提下,以算法的復雜性和運算量最低為原則,算法需要基于圖像特征值,實現3路信號快速循環比對。通過原理分析和實踐測試,最終選擇塊均值哈希比對算法作為一致性比對的主要算法。
峰值信噪比(Peak Signal-to-Noise Ratio,PSNR) 是信號最大可能功率和破壞性噪聲功率的比值。該指標廣泛應用于圖像質量評估,特別是對壓縮算法質量的評估。PSNR的值可以理解為原始圖像和壓縮后圖像間數值變化占原始圖像最大值的比例,即通過計算兩幅圖像間功率差異占原始圖像功率的比例,反映兩幅圖像之間的一致性。計算方法采用原始圖像和對比圖像的均方誤差作為噪聲功率,原始圖像的峰值功率為信號最大可能功率[2]。
若給定對比原始圖像I和對比圖像K,均方誤差定義為:

式中:I(i,j)和K(i,j)是圖像I和K在i行j列的像素數值,取原始圖像為真實值;MSE是對比圖像與真實值間的均方誤差。
PSNR定義為:

式中:MAXI是圖像為原始圖像可能的最大值,如果數值由8位二進制來表示,MAXI為255。為閱讀方便,PSNR取MAXI2和MSE比值的對數。
PSNR簡單地利用圖像間的差值作為判斷的依據,在驗證編碼造成的損耗方面有非常重要的參考價值。然而,將PSNR應用到一致性比對有兩個明顯的缺陷。第一,對圖像之間的像素進行直接比較,即遍歷比對圖像所有像素,其計算過程不能利用以往的知識,對算法優化不利。如果把該指標應用到一致性比對,在進行多路信號比較和時差信號比較時,將使計算量快速增長,其中,多路間比較時間復雜度為O(Cn2),時差信號間比較時間復雜度為O(W2)。第二,比較效果并不理想,數值偏差與人的主觀感覺有時會存在不一致。例如,局部內容有差別的圖像的PSNR可能大于有平移的圖像的PSNR,這與觀眾的認知完全相反。其原因在于PSNR并未考慮到圖像的結構信息。為此,人們提出了更接近于主觀評價的結構相似性(Structural SIMilarity,SSIM)指標。
SSIM模型研究可視化場景中物體結構的重要信息,而不是基于數值偏差[3]。相對于PSNR,SSIM是更接近主觀評測圖像質量的方法。SSIM的原理是從人類視覺感知角度提取圖像結構信息,用來判斷圖像的相似性和質量。SSIM的重要改進是對比圖像塊的3種統計特征,即亮度(均值)、對比度(方差)及結構(協方差)信息,其計算方法如下。
(1)亮度測量。使用平均亮度來評估,設單一像素亮度為xi,則圖像x的平均亮度為:

可定義圖像x,y的亮度對比函數l(x,y)=,式中C1為常量,避免除零。
(2)對比度測量。設圖像x的亮度標準差為:

可定義圖像x,y對比度對比函數c(x,y)=,式中C2為常量,避免除零。。
在此步計算過程中,去除了平均亮度值。可見,SSIM認為圖像整體亮度改變不影響圖像的相似性。
(3)結構測量。設兩個圖像x,y的亮度協方差為:

最終,3個對比模塊組合成一個完整的相似測量函數:

α、β、γ為各因子的權重系數,針對不同應用可適度調整。為方便討論,取α、β、γ為1,且 ,兩幅圖像間結構相似性可簡化為:


由于圖像的統計特征在空間上很不穩定,因此該算法在實際應用中通常采用索引圖,用不同圖組的加權平均值計算最終值MSSIM。進一步地,可以對圖像中不同的分割區域賦予不同的權重。

由以上計算過程可知,在結構測量階段,SSIM仍然是基于不同圖像間像素對比,因此和PSNR一樣,存在多路間比較和時差信號間比較時的復雜度快速上升問題,不利于算法優化。SSIM由3個因素決定,最終結果變化范圍大,會影響到判定閾值的選定。另外,SSIM在處理平移圖像時會得到較小值,易判定為圖像不一致,尤其是對比度比較大的圖像。
一致性比對的本質是查詢全局視覺相似。圖片像素值數據的差異不應該影響判斷結果。此類圖片相似性可以使用圖片的全局特征或圖片哈希算法來解決。
圖像哈希算法的相關算法眾多,它們在功能、復雜度及應用場景等方面等具有較大差異,但是這些算法均圍繞著魯棒性和區分性這兩個核心特性進行調整和改進。具有高魯棒性的算法會將具有較大差異的圖片判斷為一致。在圖像識別領域,希望圖像特征能夠對縮放、平移、有損壓縮、全局色調變換甚至輕度旋轉都具有較強的魯棒性,即這些操作都對圖片特征值基本沒有影響。區分性是對圖片分辨能力的要求,例如,對兩張圖片中文字內容的差異和色彩不一致等的分辨能力。
圖像哈希算法應用于靈活多變的場景,當前并沒有最好的算法,只有在特定應用場景最合適的算法。從前提條件分析可知,面向電視臺自動播出的一致性比對需要算法具有縮放和平移等魯棒性,并且在其他方面的魯棒性和區分性可以有靈活的要求。塊均值算法滿足以上兩項基本要求。
塊均值算法有多種不同實現方法,其中基礎的算法步驟如下。
(1)選擇特征值長度N,如N=256,即特征值為256位,將圖像劃分成l1,l2,…,lN共N個塊。特征值越長,圖像劃分的粒度越細,對區部的變化也越敏感。
(2)計算每個塊中所有像素亮度均值,記為{M1,M2,…,MN},并取Md為此均值隊列的中值。
(3)歸一化上述均值隊列為二進制形式,其中各位值由此公式計算:

該算法從整體圖像提取特征,符合人類對圖像的感知,同時也能夠捕獲局部的顯著差異。將該算法應用于播出系統一致性比對取得了良好的效果。另外,此算法的特征值簡單,適合多路、時間差序列比對的場景,計算復雜度較低,在目前主流的計算平臺上可以實時處理。
本文分析了播控系統出現故障的原因,介紹了內容一致性檢測的關鍵算法,從理論上分析PSNR和SSIM等算法的不足,得出以像素比較為基礎的算法不適合電視臺播出系統比對的結論。塊均值算法計算量較低,可適應縮放和一定范圍的平移,以此為基礎建立的一致性比對不僅能夠滿足電視臺播出系統需求,而且算法簡潔、運行高效。本產品已經用于播出信號監測系統,可以利用比對結果進行自動化倒換工作,提高了播出安全的保障能力。