基于自適應雙閾值的足球視頻分割算法研究＊

賈玉福，伍丁紅，胡勝紅

(湖北經濟學院 計算機應用技術中心，湖北 武漢 430205)

鏡頭邊界檢測與分割是進行基于內容的足球視頻查詢、檢索與精彩度分析的重要環節，其目的是將輸入的視頻流分割成基本視頻單元的集合，最終提取出關鍵幀和運動信息。相比于模板匹配、邊緣輪廓特征和聚類算法[1-2]，基于直方圖比較的算法[3]效率較高，應用普遍。但利用直方圖進行視頻分割的效果與直方圖相似度算法的選取、門限值的設置有很大關系。

1 閾值對足球視頻分割的影響

圖1 門限、直方圖距離與鏡頭檢測的關系

2 基于雙閾值的視頻分割算法

2.1 基于直方圖鏡頭檢測與分割的足球視頻的特點

利用直方圖進行足球視頻鏡頭檢測與分割，可能造成過高的誤檢率，這主要有以下幾方面原因：(1)足球視頻近景鏡頭中人物離鏡頭過近，人物的運動造成視頻幀直方圖突變而形成誤檢；(2)中遠景中，為了跟蹤比賽節奏，鏡頭運動速度過快，造成視頻幀直方圖突變而形成誤檢；(3)視頻中大量回放鏡頭的開始與結束是以漸變而不是切變發生的，在漸變的過程中如果檢測閾值較低，就會造成單幀鏡頭分割的現象。另外，由于足球視頻一般是在某一個時間段內(比如下午)連續錄制的，亮度和飽和度的影響可以忽略，直方圖距離的計算應以色度直方圖為主，但在球場局部區域形成大面積陰影時，要適當提高亮度直方圖相似度的影響因子。

2.2 基于雙閾值的分割算法

基于雙閾值的分割算法的基本思想是：設置一個較大的閾值Tb和一個較小的閾值Ts，當直方圖的相似度小于Ts時，分割鏡頭出現；當相似度大于 Tb時，沒有分割鏡頭出現；當相似度介于Tb與Ts之間時，表明閾值設置不合理，若是漏檢，則應降低Tb，若是誤檢，則應加大Ts。算法的關鍵是判斷漏檢還是誤檢以及動態調整閾值的策略。為了消除上述原因形成的誤檢鏡頭，分割算法引入了鏡頭長度(shotlength，即鏡頭內幀數)sl，當檢測到鏡頭變換時，首先判斷sl是否小于某一臨界值，如果小于則認為是誤檢，不進行鏡頭分割。具體的算法步驟如圖2所示。

圖2 自適應雙閾值算法N-S圖

閾值常量TU與TD的設置應滿足如下條件：當stt＞TU時，不應發生誤檢；當stt＜TD時，不應發生漏檢。因此，應設置極大的TU與極小的 TD。當 stt＞(Tb+Ts)/2時，說明 Ts不合理，應提高 Ts，從圖 2可以看出，stt越大，Ts提高得越快；當 stt＜(Tb+Ts)/2時，說明 Tb不合理，應降低 Tb，從圖 2可以看出，stt越小，Tb下降得越快。當 stt在[TU，Tb]、[Tb，Ts]和[Ts，TD]各區間時，算法通過前后兩個相似度差值的絕對值來判斷是否發生漏檢或誤檢，當漏檢發生時，適當提高Tb，當誤檢發生時，適當降低 Ts；sl的最小值選取 50，即當幀頻為 25幀/s時，忽略時長小于2 s的鏡頭。

3 實驗結果與分析

本文在Visual C++開發平臺上利用OpenCV視覺庫實現了上述算法。選取2010南非世界杯足球比賽的兩個視頻片斷進行分析，實驗視頻中包括近景、中景、遠景以及切變與漸變等鏡頭變換。鏡頭中，人、球和攝像機自身運動較大。首先將視頻從RGB空間轉換到HSV空間，再對H通道的直方圖單獨進行分析，直方圖相似度采用相交算法和B算法。閾值常量TU、TD分別取1和0。實驗結果如表1、表2所示。

表1 視頻片段1各檢測算法漏檢誤檢分布

表2 視頻片段2各檢測算法漏檢誤檢分布

從表1和表2的檢測結果可以看出，采用雙閾值的檢測方法對B算法和相交算法均適用，檢測的誤檢數與漏檢數之和均小于(視頻片段 1)或逼近(視頻片段 2)采用固定閾值的檢測方案得出的最佳結果。比較可知，采用雙閾值檢測能夠得到較少的漏檢數。由于視頻2片段在開始時并沒有太大的相似度波動，閾值收斂速度降低，在開始時易造成誤檢和漏檢，因此采用雙閾值B算法得到的誤檢數與漏檢數之和略高于固定閾值方案。采用固定閾值B檢測算法在閾值為0.9時檢測的漏檢偏高，主要是因為鏡頭長度略大于50的誤檢太多，導致后續視頻漏檢的產生。該雙閾值檢測算法可用于在檢測算法的最佳閾值未知的情況下，要求盡量降低漏檢時的情況。各種算法所需的時間如表3所示。

表3 各種算法所需時間比較

表3的數據是在各算法運行在相同的系統環境下得到的，計算所需時間時不考慮分割后的單鏡頭視頻的存儲時間，只考慮分割算法的計算時間。從表3可看出，各個算法所需的計算時間大體相當。這主要是由于雙閾值算法只是引入了一些簡單的比較和算術運算，并沒有增加算法的復雜度，算法計算簡單。

本文提出了利用雙閾值自適應變化動態跟蹤視頻分割中最佳閾值的方法。從實驗結果可以看出，本算法能夠得到較低的檢測誤差，同固定閾值相比，算法的漏檢數少。但算法在判斷漏檢和誤檢時，根據相似度差值分別采用了固定的參數0.08、0.12和0.2，針對足球視頻的特點自適應改變上述參數，對于算法結果有很大改善。因此，下一步的工作是對上述參數的設置展開研究。

[1]Zhu Ce， LinXiao， ChauL P.Hexagon-basedsearch pattern for fast block motion estimation [J]. IEEE Transactions on Circuits and Systems for Video Technology，2002， 12(5)： 349-355.

[2]CHENG W G， XU D， JIANG Y W， et al.Information theoreticmetrics in shot boundary detection[C].Proeedings of IIH-MSP， LNCS 3683， Melbourne， Australia， Sept.2005.388-394.

[3]RINSKA I K， CARRATO S.Temporal video segmentation：a survey[J].Signal Processing： Image Communication， 2001，16(5)：477-500.

[4]Jiang Xinghao， Sun Tanfeng， Fang Zhixin， et al.A video shotboundary detection method based on variable-size window [J].Journal of Shanghai Jiaotong University， 2009，43(11)：1681-1684.

[5]QI Y，HAUPTMANN A，LIU T.Supervised classification for video shot segmentation[C].Proceedings of the International Conference on Multimedia and EXPO， Washington： IEEE Computer Society，2003.

[6]MATSUMOTO K， NAITO M， HOASHI K， et al.SVM-based boundary detection with a novel feature[C].Proceedings of the International Conference on Multimedia and EXPO.Washington： IEEE Computer Society，2006.

[7]Cao Jiaorong， CaiAnni.Algorithm for shotboundary detection based on support vector machine in compressed domain[J].Acta Electronica Sinica， 2008， 36(1)：203-208.