基于視頻幀加權的臺標自動檢測方法

金 陽，程江華，任 通，庫錫樹

(國防科學技術大學電子科學與工程學院，湖南 長沙 410073)

電視視頻中的臺標是對電視節目來源、類型等屬性的描述。通過臺標自動提取的方法，在數據量龐大的視頻文件庫或者實時視頻流中快速、準確地實現臺標的自動定位和提取，能夠為相關的視頻自動搜索、收錄、分析和檢索提供有效的技術支持。因此，能否有效檢測出視頻中的臺標，對后續視頻臺標識別和視頻分析具有前瞻性的意義。

當前電視視頻中的臺標檢測存在的難點主要有兩個:一是電視視頻背景復雜，如光強變化大、內容切換快等，使得電視臺標在檢測過程中受背景的影響很大;二是電視視頻臺標趨向半透明化，使用傳統的閾值分割、邊緣檢測技術很難提取出效果理想的臺標圖像。一般臺標檢測算法基于視頻幀灰度差，對不透明臺標而言，檢測效果較好，但對于半透明臺標，臺標的檢測效果極易受到背景的干擾。Ozay等[1]提出一種基于平均時間邊界的臺標檢測方法，能夠有效提取不透明和半透明臺標，但對單獨臺標圖形的獲取未作具體算法描述。Meisinger等[2]采用臺標區域限定統計模型和場景替換的方法，得到較好的臺標檢測結果，但是人為設置的參數偏多導致自動化和通用性較差。Xiao等[3]提出了基于支持矢量機(SVM)的臺標識別方法，能夠有效檢測并識別臺標圖像，但其計算復雜，算法實時性較差。

筆者之前發表的一種基于二值圖角點匹配的臺標識別方法[4]在臺標的檢測這一步驟中存在不足，利用圖像幀間差分累加求平均的方法同樣也特別容易受到復雜背景變換等情況的干擾。本文針對當前電視臺標檢測過程中存在的問題，提出一種視頻幀加權的自動臺標檢測方法，該方法可有效解決復雜背景變化下和半透明臺標檢測問題。

1 系統總體設計

本文系統流程圖如圖1所示。

圖1 系統流程圖

臺標檢測分為3步驟:1)確定臺標區域并利用視頻流背景加權更新方法，得到較好的含有臺標的背景灰度圖像;2)利用Canny邊緣檢測算法，在穩定的臺標灰度圖像區域的基礎上，得到二值化臺標輪廓;3)運用簡化的分水嶺填充方法，對二值化臺標輪廓進行有效填充，得到單個純凈的臺標圖像。

本文摒棄以往先提取視頻關鍵幀，然后處理關鍵幀的思路，提出直接對視頻流進行處理的方法，利用視頻流不斷有視頻幀進行實時數據更新的特點，采用基于視頻流背景加權更新方法，得到的臺標區域圖像其背景具有較強的穩定性，為后續臺標圖像正確提取提供了保證。

系統設計的思想基礎基于以下兩點考慮:

1)復雜背景情況:為了使臺標所在區域的圖像背景更加穩定，必須要求盡量去除臺標所在區域背景的更新或者瞬間強光照等對臺標圖像的影響。采用視頻流加權處理方法能夠有效避免這些不利因素對臺標圖像的干擾。

2)臺標半透明情況:半透明臺標圖像隨著視頻背景的更新，其像素點值不斷發生變化，即使背景變化不太明顯，也能導致臺標圖像受到干擾。利用邊緣提取方法，直接提取臺標圖像輪廓，能夠有效避免像素值隨背景變換發生改變。

2 臺標檢測

2.1 視頻流加權背景更新分割

2.1.1 臺標區域確定

根據先驗常識，臺標一般位于視頻圖像幀4個角落位置之一，如果直接對電視視頻圖像全圖進行臺標搜索，則計算量較大。本文采用通用的最優區域規則(GSR)[5]進行視頻圖像區域分塊。

依據GSR圖像分塊規則，將圖像按照水平和垂直方向3∶5∶3的比例進行劃分，分塊結果如圖2a所示。

圖2 GSR圖像分塊模型

為便于處理，先將彩色視頻幀轉換為灰度圖，利用GSR圖像分塊規則，按照一定比例得到含有臺標區域的灰度圖像如圖2b所示，從圖中可以看到，臺標所在的位置為圖像的左上角區域，這樣直接利用先驗知識結合一定的圖像分塊規則，得到包含臺標圖像較精確的區域位置，為臺標檢測和定位減少了計算量。

2.1.2 視頻流背景加權更新

傳統臺標提取方法先根據一定的準則確定視頻關鍵幀，然后對視頻關鍵幀進行處理，這樣的處理方法對關鍵幀具有很強的依賴性，如果某一關鍵幀圖像質量較差，或受背景干擾較大，勢必造成臺標檢測困難。Ozay等[1]提出一種基于平均時間邊界的臺標檢測方法，其實質是對二值化臺標輪廓進行時間平均處理，故對每一幀的圖像所提取的輪廓質量要求較高，換言之，如果有一幅圖像因為強光或者強背景干擾導致提取出的臺標輪廓質量很差，那么將影響到最后臺標輪廓的確定。

本文在背景更新部分的思想是:先進行時間背景更新，再進行臺標輪廓提取。取n幀視頻幀作為一次處理單元(根據視頻流幀率，選擇人眼能夠觀測出變化的演示過程，大約2 s)，定義此處理單元的初始幀為f1，第i幀為fi，第一幀加權幀定義為F1，則第i幀加權幀可以定義為

式中:α取值為1/n，具體幀數選擇的原則是臺標所在區域的背景一直更新到一次性處理單元所取得最后一幀視頻圖像為止，這樣就可以很好地避免因為瞬時強光以及復雜背景的變換對臺標圖像造成的干擾，背景更新效果如圖3所示，圖3a～3f分別為初始背景圖像以及不斷進行背景加權更新后的圖像背景，可以看出，該方法能夠有效消除視頻中復雜背景的干擾以及瞬時強光照射等問題。

圖3 視頻流加權背景更新

2.2 臺標的邊緣檢測和輪廓提取

2.2.1 臺標邊緣檢測

邊緣檢測普遍采用的方法有:Prewitt，LoG，Canny和Sobel等算子。2.1節視頻幀加權背景處理后的臺標區域圖像，受復雜背景影響小，利用Canny邊緣檢測算法[6]，能夠得到比較好的邊緣效果。其一般步驟為:

1)圖像使用高斯平滑濾波器，減少噪聲的干擾;

3)對檢測到的各個像素點進行梯度幅值非極大值抑制;

4)利用兩個閾值T1和T2進行閾值處理實現線檢測以及邊緣連接。

2.2.2 輪廓提取

Canny算法最重要的特點是其試圖將獨立邊緣的候選像素點并入邊緣，進行拼接形成輪廓。輪廓的形成需要用到上限和下限兩個閾值，上限決定強邊緣像素點，即直接歸類為邊緣像素點，下限決定弱邊緣像素點，即直接歸類為非邊緣像素點，如果像素點梯度幅值介于上下限之間，則稱其為亞像素邊緣點，當其所在的像素點位置處于強像素點定義的連接區域內，即符合人為程序設定的“連接點”要求時，此像素點被歸類為邊緣點，并與強邊緣像素點進行連接。

影響Canny算法亞像素邊緣點連接的因素有兩個:一是上下限的比值，Canny所建議運用的上下限有一定的比值關系，上下限的閾值比最好介于2∶1和3∶1之間;二是上下限的具體取值問題。

針對這兩個問題，在程序設計中，為盡量減少人為因素對實驗結果產生的影響，只設置唯一一個人為控制變量，即確定Canny上下限具體數值的手動滑條，可以更加直觀地看到在不同取值時獲得的臺標輪廓效果，同時可以調節上下限取值，使輪廓效果達到最好。不同的上下限取值所獲得的臺標輪廓圖像如圖4所示，實驗設定的參數如表1所示。

實驗所用的圖像幀均為視頻圖像初始幀。由實驗結果可以清楚地看到，只要在2∶1和3∶1之間，上下限取值比相差不太懸殊，其輪廓的效果相差不多，而對于上下限的具體取值則可以清楚地反映出具體邊緣提取的好壞程度。

2.3 簡化的分水嶺臺標填充方法

圖4 臺標邊緣檢測及輪廓提取

表1 實驗參數取值表

基于形態學分水嶺分割算法[6]的主要思想是水壩的構造，水壩的構造是由所設置好的在這條路徑上的點的值為比圖像中灰度級的最大值還要大的值來完成，所有水壩的高度通常設定為1加上圖像中灰度級最大允許值。主要方法是將灰度圖像看成地形圖，每一個像素點的灰度值看成所在點地形的高度，通過不斷地在局部極小值點(低洼地)處加水，并且讓水以均勻的速率上升，從低到高淹沒整個地形，直到達到水位的最大值，最后剩下的部分對應于分水線，此分水線即為分割結果，水壩的構造就是建立在此分水線基礎上的。

這種形態學的分水嶺分割算法是已知圖像的某些極小值點，然后通過程序設定的連通規則，將屬于某一極小值所在的“盆地”進行“注水”填充處理，最后得到分水線，在分水線的基礎上構造水壩，其過程如圖5a所示。

實現簡化的分水嶺臺標區域填充方法，其過程剛好和分水嶺分割算法相反，如圖5b所示，通過2.2節臺標圖像輪廓的提取，得到了已知的水壩，現在的任務是要在被水壩包圍的一個連通域內進行“注水”處理，而被水壩孤立和水壩以外的區域不進行“注水”處理，使得被水壩包圍的區域的水面上升至和水壩一樣的高度，那么這個被水壩包圍區域的上升后的水面，再加上水壩，就共同構成了所需的臺標圖像區域。水壩所形成的各個區域劃分的二維視圖如圖6a所示，A，B，C三處分別表示水壩以外的區域，被水壩孤立的區域以及水壩包圍的區域;其三維視圖如圖6b所示。

3 實驗結果及分析

實驗的條件為Visual C++6.0版本仿真軟件，MATLAB 7.0軟件版本，所用到的視頻文件為湖南衛視某一期跨年演唱會節目視頻。

臺標檢測的各個過程主要演示過程如圖7所示，本文的目的就是要得到只包含有單一純凈的灰度臺標圖像，通過簡化的分水嶺臺標填充方法可以獲得如圖7d所示填充后的臺標圖像，通過圖7d中填充的相應區域，在原始的視頻流灰度圖像中，通過對應的像素點值，就能夠直接提取出純凈的灰度臺標圖像，如圖7e所示。

圖7 臺標檢測各個過程的主要演示圖片

實驗過程中，直接對視頻文件進行處理，能夠完全實現臺標的自動檢測，唯一人工控制進行干預的變量就是在臺標邊緣檢測時，設置Canny算子上下限取值。由實驗結果可知:在背景更新部分，能夠較好地得到加權背景圖像，去除復雜背景以及瞬時強光的干擾等因素的影響;在臺標邊緣檢測部分，充分利用Canny算子利用上下限雙閾值的方法，加入人工控制等因素，能夠有效地提取出連續的臺標邊緣;在簡化分水嶺臺標圖像填充部分，利用臺標本身的連通性結合水壩分割等原理，得到較好的臺標填充圖像;最后從原始視頻幀中提取出純凈的灰度臺標圖像。

4 小結

復雜的背景變化及半透明化趨勢，使得電視臺標的的檢測變得困難。本文提出基于視頻幀加權背景處理的臺標檢測方法，能夠實現臺標圖像在抗復雜背景干擾及半透明情況下，均具有較強的穩定性，同時結合有效邊緣檢測算法，得到臺標輪廓，在簡化分水嶺填充方法基礎上實現了臺標圖像的填充。實驗結果表明，提出的算法能夠有效提取出復雜背景下半透明的電視臺標，為后續臺標匹配和識別奠定了技術基礎。

[1]OZAY N，SANKUR B.Automatic TV logo detection and classification in broadcast videos[C]//Proc.17th European Signal Processing Conference.Glasgow Scotland:EURASIP，2009:839－843.

[2]MEISINGER K，TROEGER T，ZELLER M，et al.Automatic TV logo removal using statistical basedlogo detection and frequency selective inpainting[C]//Proc.European Signal Processing Conference，2005.[S.l.]:EURASIP，2005.

[3]XIAO G，DONG Y，LIU Z，et al.Supervised TV logo detection based on SVMS[C]//Proc.2nd IEEE International Conference on Network Infra-structure and Digital Content.[S.l.]:IEEE Press，2010:174－178.

[4]金陽，程江華，任通，等.一種基于二值圖角點匹配的臺標識別方法[J].電視技術，2012，36(17):15－19.

[5]EKIN A，BRASPENNING R.Spatial detection of TV channel logos as outliers from the content[C]//Proc.Visual Communication and Image Processing，2006.[S.l.]:SPIE，2006.

[6]岡薩雷斯.數字圖像處理:MATLAB版[M].阮秋琦，阮宇智，譯.2版.北京:電子工業出版社，2005:293.