視頻鏡頭顯著性提取技術

墨 潔, 魏 維

(成都信息工程學院計算機系,四川成都610225)

1 引言

隨著互聯網上多媒體信息的迅速膨脹,媒體數據的信息需求量迅速增長,視頻中關于動態和靜態的信息量也迅速增長。人們對于較復雜的場景鏡頭的提取技術一直都在探索中,在視頻技術中,靜態模型的提取技術已經發展到成熟的地步,在20世紀初,由ITTI等人提出的基于顯著度(saliency-based)的注意計算模型,首先融合圖像的一些低層視覺特征生成顯著圖(saliency map),然后使用一個動態的神經網絡按照顯著度遞減的順序依次發現圖像中的注意點。此方法比較適用于靜態的顯著計算,而20世紀中期,Stentiford等人[1-2]也在研究如何將由生物啟發的視覺注意力模型應用到圖像檢索中,其圖像的顯著性用視覺注意力圖(visual attention map)表示。隨著復雜場景下圖像分析的進展,在動態圖像顯著性提取中的發展中以基于運動優先的注意力模型為主線進行了探討,但是以上研究只是針對與鏡頭靜態模型和動態模型分開來進行研究,忽視了提取技術的整體性。研究目的就是針對這些復雜鏡頭下的圖像進行動態和靜態模型相融合的方式,采用動靜結合的提取技術來實現以上目的。

2 提取靜態圖像顯著性的視覺注意力模型

檢測技術發展到近階段,根據生物機制對視覺場景的特點提出了基于視覺注意機制提取的方法,方法[3]主要是以ITTI算法最具代表性,其框架圖如圖1所示。

ITTI框架模型描述[4]將在圖像中初始圖像通過高斯線性濾波提取出最底層特征：顏色特征、方向特征、亮度特征。通過高斯金子塔中央周圍操作算子[5](center-surround)形成了12張顏色特征圖,6張亮度特征圖,24張方向特征圖,將這些特征圖進行標準化操作N(),得到各特征值組成的關注圖,分別是顏色、亮度、方向關注圖。這3個特征圖經過 S函數。S()=1/3*[(N(I)+N(O)+N(C)]合成顯著圖,通過兩層贏者取全神經網絡[6](winner-take-all,WTA)得到顯著區域,最后通過返回抑制機制(inhabitation of return),抑制當前的顯著區域,轉而尋找下一個顯著區域,得到相應的顯著區域。選擇注意的注視點就是顯著圖中的極大值點,選擇注意區域就是以注視點為中心的固定半徑的圓形區域,顯著度值越大越先被注意。

圖1 模型ITTI的流程框架

3 基于運動特征的動態顯著圖提取

視覺機制是在對整個場景初步感知[7]的基礎上形成的,人們對視頻鏡頭的感知也分為空間上和時間上兩部分,有效地將時間和空間進行動態融合對于視頻注意區域的生成有著重要的影響。在已有的動態特征圖提取技術[8]方法中加入一個新的元素將方向上的反差也考慮其中,4個方向上視覺上的反差,更有益于動態特征圖的提取,采用加權思想在運動場景角度發生劇烈變化時,提高運動方向特征上的權重,縮小在運動速度上的權重,分別提取出運動方向上的4張特征圖和1張速度特征圖,通過小波融合技術,將運動速度和運動方向進行融合形成動態特征圖。

根據對視頻鏡頭中動態特征的分析,動態特征流程框架如圖2所示,首先根據塊匹配算法[9],在相鄰幀中一定范圍的搜索區域內,按照匹配準則,尋找最為相似的塊作為預測塊。前后幀之間匹配塊位移的大小即可說明宏塊運動的劇烈程度。搜索范圍就可根據運動的劇烈程度進行調整以獲得精確的匹配,根據復雜度較小的絕對差和準則(SAD)作為匹配準則,其數學表達式定義為

同時將各像素的運動矢量在 0°,45°,90°,135°這 4個方向上投影 ,生成 4 個運動方向圖(x=0°,45°,90°,135°)來反映各個像素在運動方向上的位移。位移的變化越大,說明宏塊前后的差別越大,相鄰兩幀的宏塊的水平和垂直位移運動矢量變化越大。根據運動矢量的計算結果,可以得到相鄰兩幀圖像中每個像素點運動距離,生成一個運動速度圖來反映圖像中各像素的運動速度。對于提取出來的運動速度與運動方向特征圖,分別構造高斯金字塔,得到不同分辨率下的特征圖,金字塔底部的圖像分辨率較高,而金字塔頂部的圖像分辨率較低,其中每個像素均可看作是與原圖位置相對應的區域,中心點與其周圍區域的反差通過處于金字塔不同層的圖像差減來計算。

通過匹配算法[6],可以得到一個水平和垂直位移的運動矢量,根據運動矢量的運算結果,得到相鄰兩幀之間宏塊或每個像素點的運動位移,并得到各像素的運動速度,表達式為：

其中,MS是相鄰兩幀之間像素點的運動長度,u是指水平方向上即在0°方向上投影的位移,v是指垂直方向上即在90°方向上投影的位移。將各像素點在0°,45°,90°、135°這4個方向的投影,生成4個運動方向上的位移M00(i,j)、M045(i,j)、M090(i,j)、M0135(i,j),根據這4個方向上位移,通過高斯金字塔的低通濾波,然后進行中央-周圍算法操作,

其中c表示中央尺度,s表示邊緣尺度,c∈{2,3,4),其中運算符Θ表示金子塔不同層之間即尺度不一樣的圖像之間進行差值操作。

將上述操作得到的5張特征圖進行標準化處理 N()進行融合,最后得到運動速度顯著圖和運動方向顯著圖,最后通過小波融合計算得到運動圖像的總體顯著圖。

圖2 動態特征提取的框架流程說明

引入運動方向這個元素,使得動態特征圖的提取效果更接近于對人眼反應最刺激的區域的提取,可以采用如圖3所示的提取技術和流程,視頻鏡頭是在水面上勻速行駛的3艘船,提取出包含鏡頭信息量最多的關鍵幀,將此幀根據中央周圍算法提取在0°特征點上的圖像,可以明顯看出白色亮光所在是吸引人注意的區域,同樣,在其余3個方向分別按照相同的方法提取出來,因船行駛方向是水平的,因此在0°上的運動反差是最大的,垂直方向上沒有任何變化,因此圖像沒有亮光點所在,均為黑色背景。

4 動靜結合顯著性區域

利用人的視覺對場景感知的特點,在提取了以上動態顯著圖和靜態顯著圖后,提取出一種基于運動優先時空混合思想并給出一種自適應時空動態混合方法[10],這種方法的策略是：依靠運動反差來控制運動顯著圖和空間顯著圖的權重,當檢測到運動方向上的反差加強并占據優勢時,把運動顯著圖上的權重迅速加強,空間顯著圖上的權重迅速減小,當運動反差達到一個平穩的狀態時,提高空間上的權重時,它的混合表達式

其中,Wt、Ws分別為空間和時間顯著度權重,采用固定權重值無法自適應根據視頻內容變化調整運動和空間顯著度比例,其中F定義為關鍵幀的區域,Ii,j表示空間域上的亮度值,公式中重要的兩個參數Ws,Wt分別為動態特征顯著圖和靜態特征顯著圖的權重值。

圖3 引入運動方向元素的提取實驗效果

其中 w 取值 0.3,如圖 4曲線所示,Mt在取到 0.3時,Wt、Ws交匯到一個點上,兩個顯著圖上權重值是相同的,該方法的優點是相比以前的技術,較靈活的運用權重值的增減來控制動態和靜態特征圖在融合時占的比重范圍,在提取運動特征時不會受到低紋理、光流等因素影響,計算量比較小,速度較快,而且一般情況下,在光流場和像素域上直接分析運動特征時,會包含較多的隨機噪聲,這種提取方法可有效抑制噪聲,這是突出顯著的地方。

5 實驗驗證對比結果

圖4 基于運動優先的動態顯著圖和靜態顯著圖的融合

根據運動特征中的運動速度和運動方向這兩個特點,結合中央周圍算法,將視頻鏡頭依據內容分析方法提取出能代表圖像信息量最多的關鍵幀,將此關鍵幀通過線性濾波高斯金字塔提取出在0°,45°,90°,135°這4個方向上的關注圖,將這4個關注圖進行標準化融合生成圖像在運動方向上的特征圖并結合提取出的運動速度特征圖,最后生成動態情況下圖像的顯著區域,根據運動方向的特征圖并結合運動速度特征圖得到的實驗驗證對比圖如圖5所示。

截取第2節中海面上行駛的3條小船水平勻速向右行駛,可以發現在圖片最左邊的船速明顯高于中間船的速度,視頻鏡頭壓縮的第2幀中就超過了中間行駛的小船,根據前面探討的動態特征提取方法：以運動速度和運動方向作為兩條線索得到各自的顯著圖,通過小波融合分析算法最后得到動態上的顯著圖,通過贏者取全和返回抑制算法得到動態圖像中的FOA(Focus Of Attention),依次用圈標注先后注意的次序,通過本文得到的FOA區域與通過ITTI模型得到的FOA相比較,可以發現最刺激人類注意的區域1是不相同的,而文中提出的模型方法更接近于人類視覺機制的選擇。

5個小球勻速向右運動,中間部位的小球相較周圍4個小球速度最快,通過視頻壓縮得到的一些關鍵幀去比較,實驗驗證對比結果如圖6所示。

圖5 實驗驗證對比圖一

圖6 實驗驗證結果對比圖二

實驗中處于中間位置的小球以較快的速度水平向右滾動,則根據文中提取的技術得到了運動方向顯著圖、運動速度顯著圖,最后通過返回抑制和贏著取全得到了圖像中的FOA區域,很明顯此區域最接近人類視覺上的刺激選擇。

6 結束語

借鑒了生物視覺機制的研究成果,引入了一種根據運動速度和運動方向融合提取的動態特征顯著圖,并結合現有的空間顯著圖提取技術IT TI模型中的算法,通過運動優先時空混合思想的結合方法,將兩者緊密融合成視頻鏡頭的顯著性提取。

在視覺注意計算模型中,如何更好的去利用人類視覺生物機制去提取顯著區域,快速從海量的信息中得到用戶感興趣的信息,以及在各種不同的場景下都能穩定提取出動態的顯著區域都是有待進一步研究的問題。

[1]Stentiford F W M.An Attention Based Similarity Measure with Application to Content Based Information Retrieval[C].In Proceedings of the Storage and Retrieval for Media Databases conference,SPIE Electronic Imaging,Santa Clara,CA,2003.

[2]Bamidele A,Stentiford F W M.An Attention Based Similarity Measure Used to Identify Image Clusters[C].In Proceedings of 2nd European Workshop on the Integration of Knowledge,Semantics&Digital Media Technology,London,2005.

[3]Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid sceneanalysis[J].IEEE Trans on PAMI.1998,20(11)：1254-1259.

[4]Itti L,Koch C.Computational Modeling of Visual Attention[J].Nature Reviews Neuroscience,2001,2(3)：194-203.

[5]蔣鵬,秦小麟.基于視覺注意模型的自適應視頻關鍵幀提取[J].中國圖像圖形學報,2009,14(8)：1650-1655.

[6]高靜靜,張菁.應用于圖像檢索的視覺注意力模型的研究[J].測控技術,2008,(2)：19-21.

[7]張菁,沈蘭蓀,高靜靜.基于視覺注意模型和進化規劃的感興趣區域檢測方法[J].電子與信息學報,2009,31(7)：1646-1652.

[8]Zhiwen Yu,Hausan Wong.A Rule Based Technique for Extraction of Visual Attention Regions Based on Real-Time Clustering[J].IEEE TRANSACTIONS ON MULTIMEDIA,2007,9(4)：766-784.

[9]L G Ungerleider,J V Haxby.What and where in the human brain[J].Current Opinion in Neurobiology,1994,4：157-165.

[10]Milancese R,G il S,et al.Attentive mechanisms for dynamic and static scene analysis[J].Op t Eng,1995,34(8)：2428-2434.

[11]Bulthoff H H,Lee S W,Poggio T,et al.Biologically Motivated Computer Vision[M].New York：Springer Publishing Company,2003：150-159.

[12]Huang L,Pashler H.Working memory and the guidance of visual attention：Consonance-driven orienting[J].Psychonomic Bulletin&Review,2007,14(1)：148-153.

[13]蔣鵬,秦小麟.一種動態場景中的視覺注意區域檢測方法[J].小型微型計算機系統,2009,36(3)：494-499.

[14]F Liu,M Gleicher.Region enhanced scale-invariant saliency detection[J].In Proceedings of IEEE ICME,2006.

[15]Tie Liu,Jian Sun.Learning to detect a salient object[J].IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR2007),2007：1-8.

[16]Liansheng ZHUANG,Ketan TANG,Nenghai YU.Fast Salient Object Detection Based on Segments[J].International Conference on Measuring Technology and Mechatronics Automation of IEEE,2009：469-472.

[17]K RDobkins,T D Albright.What happens if changes color when it moves：The nature of chromatic import to visual Area MT[J].Journal of Neuroscience,1994,14(8)：4854-4870.

[18]Jiawei Chen,Kunhui Lin,Changle Zhou.A Visual Attention Model for Dynamic Scenes Based on Two-Pathway Processing in Brain[A].Fourth International Conference on Natural Computation[C],2008：128-132.

[19]M Kim,JG Chou,D Kim,et al.A VOP generation tool：automatic segmentation of moving objectsin image sequences based on spatial temporal information[J].IEEE Trans Circuits Syst.Video Technol,1999,9(8)：1216-1226.

[20]Y Tsaig,A Averbuch.Automatic segmentation of moving objects in video sequences：a region labeling approach[J].IEEE Trans.Circuits Syst.Video Technol.,2002,12(7)：597-612.

[21]V Mezaris,I Kompatsiaris,M G Strintzis.Video object segmentation using Bayes-based temporal tracking and Trajectory-based region merging[J].IEEE Trans.Circuits Syst.Video Technol,2004,14(6)：782-795.

[22]Junwei Han.Object Segmentation from Consumer Videos：A Unified Framework Based on Visual Attention[J].IEEE Transactions on Consumer Electronics,2009,55(3)：1597-1605.

[23]Ma YF,Hua X S1 A generic framework of user attention model and its application in video summarization[J].IEEE Transactions on Multimedia,2005,10(7)：907-919.

[24]Yun Zhai,Mubarak Shah Visual attention detection in video sequences using spatiotemporal cues[A].In Proceedings of 14th Annual ACM International Conference on Multimedia[C],Santa Barbara,CA,USA,2006：815-824.

[25]桑農,李正龍.人類視覺注意機制在目標檢測中的應用[J].紅外與激光工程,2004,33(1)：38-41.

[26]葉聰穎,李翠華.基于HIS的視覺注意力模型及其在船只檢測中的應用[J].廈門大學學報：自然科學版,2005,44(4)：484-488.