弱運(yùn)動(dòng)場(chǎng)景下的鏡頭分割方法

袁靜 殷亞萍

（1 防災(zāi)科技學(xué)院災(zāi)害信息工程系河北廊坊065201）

（2 河北省胸科醫(yī)院信息處河北石家莊050041）

1 引言

視頻分析是計(jì)算機(jī)視覺(jué)的熱點(diǎn)研究領(lǐng)域之一，其任務(wù)是協(xié)助人們分析視頻場(chǎng)景中發(fā)生了哪些事情以及事情的發(fā)生程度。視頻分析技術(shù)的應(yīng)用領(lǐng)域非常廣泛，目前主要涉及的應(yīng)用領(lǐng)域包括智能交通、智能安防、視頻檢索等等。在視頻分析中通常情況下都會(huì)存在鏡頭的切換，切換鏡頭會(huì)帶來(lái)運(yùn)動(dòng)場(chǎng)和顏色信息的變化，這對(duì)視頻分析造成了很大的影響，所以在視頻分析之前往往需要將視頻的鏡頭切換，進(jìn)行檢測(cè)并進(jìn)行分類，所涉及的數(shù)據(jù)是采集的鋼結(jié)構(gòu)在燃燒實(shí)驗(yàn)下變形運(yùn)動(dòng)的視頻數(shù)據(jù)。在對(duì)該數(shù)據(jù)進(jìn)行分析的時(shí)候，由于存在了鏡頭方向的變化，則需要首先提取不同鏡頭方向的視頻內(nèi)容，然后再做視頻分析。

2 鏡頭分類的主要方法

目前鏡頭分類的方法主要有以下幾類：①基于灰度的鏡頭分割方法：直接灰度差方法[1]，通過(guò)計(jì)算總的幀差，當(dāng)幀差大于某一設(shè)定閾值，則存在鏡頭突變；判定存在鏡頭突變，對(duì)之前的方法進(jìn)行了改進(jìn)，該方法只計(jì)算幀灰度差大于某一閾值；提出先用3X 3 平滑濾波，然后再計(jì)算幀差；②基于邊緣的鏡頭分割方法[2]：通過(guò)計(jì)算每幀圖像的邊緣的數(shù)量進(jìn)行幀差比較，該方法適用于穩(wěn)健運(yùn)動(dòng)的視頻，但是計(jì)算復(fù)雜；③基于彩色直方圖的分割方法[3]：X 檢驗(yàn)直方圖差法; 直方圖最小幀差法；平均彩色法；④MPEG 視頻的鏡頭分割方法：利用DCT 系數(shù)的相關(guān)性和預(yù)測(cè)矢量的統(tǒng)計(jì)特性進(jìn)行鏡頭分類；利用方差和預(yù)測(cè)的統(tǒng)計(jì)特性進(jìn)行鏡頭分割；利用運(yùn)動(dòng)預(yù)測(cè)的統(tǒng)計(jì)特性進(jìn)行鏡頭分類；利用了DC 幀差進(jìn)行鏡頭分割；利用了DC 系數(shù)的統(tǒng)計(jì)檢測(cè)進(jìn)行鏡頭分類[4]；⑤基于統(tǒng)計(jì)的鏡頭分割：用k- means 算法進(jìn)行鏡頭分割；用C- 聚類進(jìn)行鏡頭分割；樹(shù)形分類器的自適應(yīng)鏡頭分割等[5]。

3 鏡頭分割框架

鏡頭分割方法：首先將圖像進(jìn)行去噪處理，以減少噪聲的干擾，傳統(tǒng)的方法是高斯平滑處理算法；再次計(jì)算幀間差值，并進(jìn)行歸一化處理得Fv；若Fv 高于某個(gè)閾值Tm，則繼續(xù)其光流信息，當(dāng)該值高于某個(gè)閾值Th 時(shí)，則判定該幀為鏡頭邊界。鏡頭分割框架如圖1 所示。

圖1 鏡頭分割框架

4 算法原理以及實(shí)現(xiàn)

4.1 直方圖幀差法

直方圖幀差法原理如下：設(shè)h1，h2分別為相鄰兩幀圖像的灰度直方圖；計(jì)算h1與h2之間的差值，并進(jìn)行歸一化處理。其數(shù)學(xué)模型描述如下,其中2N 為圖像中像素的數(shù)量。

4.2 光流法

光流是圖像運(yùn)動(dòng)的一種表達(dá)方式，可以看作是空間物體表面的亮度隨著運(yùn)動(dòng)變化在視覺(jué)傳感器的成像平面上的表達(dá)。光流的研究是利用圖像序列中的像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來(lái)確定各自像素位置的“運(yùn)動(dòng)”[6]，即研究圖像灰度在時(shí)間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系，如圖2 所示，其基本假設(shè)是體素和圖像像素守恒，即假設(shè)一個(gè)物體的顏色在前后兩幀沒(méi)有巨大而明顯的變化。基于這個(gè)思路，可以得到圖像約束方程。

圖2 光流的幾何模型

假設(shè)物體在時(shí)刻t 時(shí)位于（x,y）點(diǎn)，在t+△t 時(shí)刻位于點(diǎn)，則可以得到下式：

可得：

進(jìn)一步得出結(jié)論：

假定u，v 在局部鄰域內(nèi)是不變的，則其計(jì)算模型如圖3 所示[8]。

圖3 光流的計(jì)算模型

圖3 中的方程可以描述為

此時(shí)，在求式（7）中的解，轉(zhuǎn)化為下列優(yōu)化問(wèn)題：

由于其為超定方程，所以采用的最小二乘的方法求其優(yōu)化解。

進(jìn)一步求得最優(yōu)解為：

其中：

其中從公式4.10 中可以看出當(dāng)像素點(diǎn)在邊緣點(diǎn)和相同物體內(nèi)的時(shí)候，由于該式存在值0 特征值，所以其光流信息丟失。而當(dāng)像素點(diǎn)是屬于較強(qiáng)的紋理區(qū)時(shí)，其變化顯示物體或人在向某一方向運(yùn)動(dòng)。

5 實(shí)驗(yàn)分析

實(shí)驗(yàn)數(shù)據(jù)來(lái)自項(xiàng)目的采集數(shù)據(jù)，時(shí)間：2 h，幀率：12 幀/s，鏡頭切換6 次，準(zhǔn)確鏡頭分割為6 次。實(shí)驗(yàn)過(guò)程由3 步組成：首先將視頻進(jìn)行高斯去噪，然后計(jì)算其直方圖幀間差，當(dāng)幀間差高于某個(gè)閾值時(shí)，計(jì)算其光流信息，統(tǒng)計(jì)每幀圖像中歸一化的光流運(yùn)動(dòng)信息。

6 結(jié)束語(yǔ)

提出的基于光流計(jì)算和直方圖幀間方差的鏡頭分割方法，借助了鏡頭變化中的運(yùn)動(dòng)信息和灰度信息的劇烈變化，實(shí)驗(yàn)結(jié)果證明，該方法能夠有效的濾除直接由光流法或幀間方差法進(jìn)行鏡頭分割而產(chǎn)生的虛假分割邊界，適用于弱運(yùn)動(dòng)的視頻場(chǎng)景，但閾值的選擇和圖像特性有關(guān)，自適應(yīng)的閾值選擇和降低時(shí)間復(fù)雜度是下一步工作的重點(diǎn)。

[1]M JSwain，D H Ballard．Color indexing[J]．Int J Comput Vis，1993,26(4)：461- 470.

[2]MRNaphade．R Mehrotra．A M Ferm an et a1．A High- performance Shot boundary Detection Algorithm Using Multiple Cues[C]．In：Proc of Int Conf on Image Processing，1998(1)：884- 887.

[3]Zhang H，Kankanhalli A，Smoliar S W．Automatic partitioning of fullmotion video[J]．Multimedia System，1999(1)：10- 28.

[4]BL Yeo，B Liu．A unified approach to tempo ral segmentation of motion JPEG and MPEG compressed video[C]．In：Proc 2 Int ConfMultimedia Computing and Systems，1995：81- 83.

[5]B Gunsel，A M ferm an，A M Tekalp．Video Indexing Through Integration of Syntactic and Semantic Features[C]．In：Proc of W orkshop on Applications of Computer Vision，Sarasota，F(xiàn)L，1996：90- 95.

[6]F Arm an．A Hsu．M Y Chiu．Feature management for large video databases[C]．In：Proc IS&T／SPIE Cont Storage and Retrieval for Image and Video Databases I，1993；SPIE 1908：2- 12.

[7]H J Zhang．Video parsing using compressed data[C]．In：Proc SPIE Symp Electronic Imaging Science and technology：Image and Video Proc essing II，1994：142- 149.

[8]陳震.圖像序列光流計(jì)算技術(shù)及應(yīng)用[M].電子工業(yè)出版社，2012.