基于空時域特征的視覺顯著圖生成算法

魯 雯，崔子冠，干宗良，劉 峰，朱秀昌

(南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

基于空時域特征的視覺顯著圖生成算法

魯 雯，崔子冠，干宗良，劉 峰，朱秀昌

(南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

提出了一種新的計算圖像空時域顯著圖的方法，該算法首先用lucas-kanade金字塔算法求絕對運動矢量，用8參數透視模型計算背景運動矢量，再用二者的差值求時域顯著圖；然后利用顏色對比度和紋理信息計算空域顯著圖；最后，融合空時域并設置閾值得到總的圖像顯著圖。實驗結果表明，新算法能比已有算法更有效地提取視頻圖像的顯著性區域。

顯著圖；運動矢量；顏色對比度；紋理

人類視覺系統(Human Visual System)能感知圖像的變化，是處理后視頻和圖像的最終接收器。在一個場景中，人們只對其中一部分視覺場景感興趣，利用HVS可求出人眼對圖像關注度高的區域。基于HVS的顯著圖可以用在很多領域，例如感興趣區域視頻編碼、高性能的視頻壓縮[1]和目標檢測[2]等。

視頻序列與靜止圖像的顯著區域不同，人們往往對視頻圖像中的運動物體更感興趣，文獻[3]把由運動引起的關注定義為時域顯著性，大部分對時域顯著性的估計通過計算運動對比度[4-6]得到。但這些模型只考慮視頻圖像中的局部運動信息，沒有考慮相機運動。當相機運動，相機引起的背景運動會影響前景物體的運動，導致計算出的顯著圖不準確。為了解決這個問題，已有一些模型在用運動信息估計時域顯著圖前，先減去相機的運動矢量[7-11]，使得計算出的時域顯著圖更準確。

除了時域特征外，利用視頻圖像中的顏色對比度、亮度對比度、紋理掩蔽和方向等低級視覺特征也可求顯著圖。在所有現存利用低級特征求顯著圖的方法中，IKN模型[12]最著名并被廣泛使用。由于IKN模型提出的用低級視覺特征求圖像顯著圖的思想值得學習，現在有很多模型是在IKN模型上的改進[13-15]。

本文提出了一種新的計算空時域顯著圖的方法。對比前人的方法，本文方法主要的工作有：1)用lucas-kanade金字塔光流[16]法計算絕對運動矢量替代由H.264解碼預測出的運動矢量，用8參數透視模型計算背景運動矢量，并從絕對運動矢量中減去背景運動矢量得到相對運動矢量，從而求得時域顯著圖。2)定義顏色對比度值，求顏色對比顯著圖；用prewitt濾波器求圖像梯度值，從而求得紋理顯著圖。3)融合空時域顯著圖，通過閾值后處理得到最終圖像的顯著圖。

1 總體框架

首先，在一個給定的視頻序列中，引進3種類型的運動場，它們分別叫做絕對運動、背景運動和相對運動[10]。絕對運動代表一個視頻序列中，前一幀中的像素點與當前幀中對應的像素點之間的絕對空間位移；背景運動和全局運動相似，通常由相機運動產生；而相對運動則是絕對運動和背景運動之間的矢量差，三者的關系如圖1所示。

圖1 絕對運動、背景運動和相對運動之間的關系

本文算法的流程圖如圖2所示。首先，輸入一個視頻序列中的相鄰兩幀圖像，用金字塔光流法求出的這兩幀圖像的運動矢量，定義為絕對運動矢量；用全局運動估計求相機運動矢量，定義為背景運動矢量；定義絕對運動和背景運動的矢量差為相對運動矢量，并用相對運動矢量求時域顯著圖。其次，分別求當前幀的顏色對比度顯著圖和紋理顯著圖。最后，融合空時域顯著圖，并對該圖做閾值處理，得到最終的顯著圖。

圖2 算法整體框架

2 本文算法

2.1 計算時域顯著圖

文獻[9]通過H.264解碼，得到預測的運動矢量值，并將該運動矢量作為初始值帶入全局運動估計算法計算背景運動矢量。由于通過H.264解碼得到的運動矢量預測值并不準確，導致用該值估計出的背景運動矢量有偏差。為了避免文獻[9]算法(該算法后面簡稱SAVC算法)造成的誤差，本文使用金字塔光流法計算絕對運動矢量，求時域顯著圖的過程如下：

第一階段，計算相鄰兩幀的絕對運動矢量前，先把輸入的CIF格式圖像下采樣成1/4 CIF大小的圖像以減少計算量。再用lucas-kanade金字塔光流法求出兩個相鄰幀之間的絕對運動矢量。整個金字塔算法的流程是：首先，計算出金字塔最高級L級圖像的光流。然后，計算結果將作為初始像素位移值帶入L-1層圖像進行計算。通過計算把修正過后的L-1層光流值再帶入L-2層中進行計算，這樣迭代直至到0層(原始圖像)，本文定義L=2。

第二階段，計算背景運動矢量。本文同SAVC算法一樣，使用8參數透視模型做全局運動估計。把求出的絕對運動矢量帶入8參數透視模型中去，計算出的MVX和MVY為背景運動矢量。從第一階段求出的絕對運動矢量中減去背景運動矢量MVX,MVY，獲得相對運動矢量值，如圖3所示。

第三階段，計算相對運動矢量的大小，并求得時域顯著圖。將X、Y方向上運動矢量的大小量化成圖像的顯著值，式(1)為量化公式

(1)

式中：MX，MY分別代表X，Y方向上的相對運動矢量；M0為圖像最終顯著值。對得到的圖像顯著值M0矩陣進行均值濾波以減少孤立的噪點。為了方便后續研究，對濾波后的M0矩陣進行張量積運算。求得的強度圖矩陣值的范圍為0.0(黑)到1.0(白)，該強度圖即最終的顯著圖，如圖4所示。

圖4 視頻soccer中第79幀的處理結果

觀察圖4，其中圖4a中運動物體包括圖像左邊正在走動中的藍衣運動員以及圖像右邊正在踢球的紅衣運動員。圖4b是本文算法時域顯著圖，圖中有兩塊灰色/白色的顯著區域，實驗結果顯示該算法已經能很好地提取出左邊的藍衣運動員，但是僅能提取一部分右邊的紅衣運動員。分析實驗結果，在圖4b中，不僅希望提取圖像左邊的藍衣運動員也希望能完整提取圖像右邊的紅衣運動員。下面，將通過分析其他的特征獲得更準確的實驗結果。通過分析，發現圖4b中踢足球的運動員穿著紅色的衣服，與周圍環境的顏色形成了鮮明的對比，因此可以考慮使用顏色對比度求顯著圖。另外，也可以通過提取邊緣信息，求邊緣特征圖，下一節將利用顏色對比度和邊緣信息求空域顯著圖。

2.2 計算空域顯著圖

本節計算空域顯著圖的過程分兩步：

第一步：利用顏色對比度求顯著圖。首先，定義RG和BY這兩個顏色對比度值，如式(3)和式(4)所示，式(2)中y為黃色分量。這樣定義的原因是：1)根據Dirk Walther[17]等人的研究，黃色被感知為紅色和綠色等份量的重疊，所以在一個RGB像素中所包含的黃色分量的大小應由min(r，g)得出。2)對比Dirk Walther定義的顏色對比度值，本文引入平方運算，拉伸每點顏色對比度值的范圍，突出與周圍背景顏色形成鮮明對比度的像素點，使顏色特征圖的分層更加突出，減少視覺關注區域的冗余。然后，和IKN算法一樣對顏色分量進行跨尺度相減和標準化處理，得到顏色顯著圖。

y=min(r,g)

(2)

(3)

(4)

第二步：求紋理顯著圖。本文使用梯度的方法[18]來計算圖像的邊緣。這里使用Prewitt濾波器來計算梯度，Prewitt濾波器垂直和水平方向的模版定義為

(5)

將圖像的亮度值與Hx，Hy做卷積得到點(X，Y)的梯度值，如式(6)所示

(6)

式中：I(x，y)代表圖像中點(X，Y)的亮度值；符號?代表卷積操作。把式(6)中G(x，y)定義為圖像中點(X，Y)的邊緣顯著值，最終得到圖像紋理顯著圖。

2.3 空時域顯著圖融合

目前，已經有線性和非線性等多種融合多特征顯著圖的方法，本節使用了一種簡單的線性融合方法。融合方法如式(7)所示

γ×Texture_map)

(7)

式中：S_Map為融合后的顯著圖；Motion_map、Color_map和Texture_map分別代表前面求出的基于運動特征、顏色對比度和紋理特征的顯著圖；α，β和γ分別代表分配給這3類顯著圖的權重，一般設置α>1，β>1和γ≤1(α>β>γ)。

圖5為空時域顯著圖融合后的結果。

圖5 各個特征顯著圖及融合后顯著圖

圖5的實驗中，分別令α=4，β=3和γ=1。其中圖5a為soccer第79幀圖像。圖5b～5d分別是該幀圖像基于運動矢量、顏色對比度和紋理特征的顯著圖，圖5e為融合后的實驗結果。從圖5e中可以看出本文模型能計算出視覺關注度高的區域，但由于顏色對比度和紋理顯著圖中提取了一些非關注度高的區域，造成了一些模糊現象。下面通過設置閾值對圖5e中的結果做一些后處理，改進結果。如式(8)當像素點的灰度值大于閾值T時，將該點標記為顯著點，灰度值小于T時，標記為非顯著點

(8)

式中：T代表閾值；S_Map(x， y)表示顯著圖中點(x， y)的強度值；S(x， y)表示設定閾值后，點(x，y)的顯著值。圖5f代表閾值處理后的結果，這里T=0.3。對比圖5e和圖5f可以發現，閾值可以有效減少那些顯著值不高的噪點，即關注度不高的陰影部分。由此得出，設定一個合適的閾值，能提高提取顯著區域的準確性。

3 實驗結果

圖6～圖9給出本文算法和SAVC算法求顯著圖的實驗結果，其中4個實驗視頻圖像分別為視頻akiyo第22幀、paris第39幀、football第79幀和silent第20幀。每個視頻圖像實驗結果中a～e分別代表原始圖像、SAVC模型求出的顯著圖、二值化SAVC顯著圖、本文算法求出的顯著圖和二值化本文算法顯著圖的結果。將顯著圖二值化的目的是為了視覺上對比方便。其中本文選取的閾值為T=0.3。

圖6 akiyo第22幀實驗算法對比

圖7 paris第39幀實驗算法對比

圖8 football第79幀實驗算法對比

圖9 silent第20幀實驗算法對比

圖6～圖9表明SAVC算法在有些視頻場景中比較有效，如對視頻paris和football求得的結果相對準確，圖7b中，該模型求出吸引人注意力的兩個人；又如圖8b中，該模型求出傳球的運動員們。但它并不是對所有視頻圖像都有效，比如對視頻akiyo和silent，SAVC算法并不能很好地提取顯著性區域，只能提取顯著圖的一小塊，而不是完整的顯著區域。經過分析，筆者發現這是由于SAVC算法對視頻圖像的運動信息提取較好，能夠準確計算出視頻圖像中的運動顯著圖。而SAVC算法用近似IKN算法求得的圖像空域顯著圖，效果十分不好，導致該算法對運動劇烈的部分提取較好，而運動較小但同樣是視覺關注度高的區域則幾乎提取不出來。視頻akiyo中運動較劇烈的主要是人臉部分，人的身體部分雖然同屬于視覺關注度高的區域但是運動不劇烈；slient中運動較劇烈的主要是人的手臂部分。因此SAVC模型只能提取akiyo的頭部運動區域和silent的手部運動區域，而不能計算出完整的顯著區域。

本文算法相對于SAVC算法，在效果上有了較大的提高。在時域顯著圖這塊，本文算法在SAVC模型上做了改進，使用金字塔光流法求視頻每幀圖像的絕對運動矢量信息，計算出的時域顯著圖很準確。在空域這塊，本文利用顏色對比度和紋理信息求出了空域顯著圖，比SAVC算法中使用近似IKN算法的效果好很多。因此，本文不僅和SAVC算法一樣，能準確提取出運動較劇烈的區域，如圖7d和圖8d所示；也能準確提取出“靜止的”顯著區域，使得計算出的顯著區域更加完整，如圖6d和圖9d所示。

4 總結

本文提出了一種新的基于空時域的計算視頻圖像顯著圖的方法。算法分為3步，首先，利用金字塔光流算法計算絕對運動矢量，估計相機運動產生的背景運動矢量，將背景運動從絕對運動中移除得到相對運動矢量，利用相對運動矢量計算時域顯著圖。然后，利用顏色對比度和紋理信息求空域顯著圖。最后，通過將3個特征圖像線性融合，得到總的顯著圖。實驗結果顯示，無論是視頻圖像中的運動較劇烈物體，還是有高視覺關注度的非運動物體，算法都能有效地提取圖像的顯著區域。由于提取準確的視覺顯著圖對視頻編碼很有用，算法具有一定的實用價值和應用前景。

[1] LI Zhicheng，QIN Shiyin，ITTI L. Visual attention guided bit allocation in video compression[J]. Image and Vision Computing，2011，29(1)：1-14.

[2] ZHANG W. An adaptive computational model for salient object detection[J]. Multimedia， 2010，12(4)：300-316.

[3] MAHAPATRA D， WINKLER S， YEN S C. Motion saliency outweighs other low-level features while watching videos[C]//Proc. Electronic Imaging 2008. [S.l.]：International Society for Optics and Photonics，2008：680-689.

[4] LIU D，SHYU M L. Semantic retrieval for videos in non-static background using motion saliency and global features[C]//Proc. 2013 IEEE Seventh International Conference on Semantic Computing(ICSC).[S.l.]：IEEE Press，2013：294-301.

[5] ZHU Y，JACOBSON N，PAN H， et al. Motion-decision based spatiotemporal saliency for video sequences[C]//Proc. 2011 IEEE International Conference on Acoustics，Speech and Signal Processing (ICASSP).[S.l.]：IEEE Press，2011：1333-1336.

[6] HUA Z， XIANG T， YAO W C. A distortion-weighing spatiotemporal visual attention model for video analysis[C]//Proc. 2nd International Congress on Image and Signal Processing， CISP’09. [S.l.]：IEEE Press，2009：1-4.

[7] WU B， XU L， LIU G. A visual attention model for news video[C]//Proc. 2013 IEEE International Symposium on Circuits and Systems(ISCAS). [S.l.]：IEEE Press， 2013： 941-944.

[8] CHEN Y M，BAJIC I V. Motion vector outlier rejection cascade for global motion estimation[J]. Signal Processing Letters，2010，17(2)：197-200.

[9] HADIZADEH H，BAJIC I V. Saliency-aware video compression[J]. Image Processing，2014，23(1)：19-33.

[10] WANG Z，LI Q. Video quality assessment using a statistical model of human visual speed perception[J]. JOSA，2007，24(12)：61-69.

[11] BARRANCO F，DIAZ J，ROS E，et al. Real-time visual saliency architecture for fpga with top-down attention modulation[J]. Industrial Informatics，2014，10(3)：1726-1735.

[12] ITTI L，KOCH C，NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，1998，20(11)：1254-1259.

[13] HAREL J，KOCH C，PERONA P. Graph-based visual saliency[C]//Proc.Advances in Neural Information Processing Systems. [S.l.]：IEEE Press，2006：545-552.

[14] ROSIN P L. A simple method for detecting salient regions[J]. Pattern Recognition， 2009， 42(11)： 2363-2371.

[15] BORJI A， ITTI L. State-of-the-art in visual attention modeling[J]. IEEE Trans. Pattern Analysis and Machine Intelligence， 2013， 35(1)： 185-207.

[16] LUCAS B D， KANADE T. An iterative image registration technique with an application to stereo vision[C]//Proc. IJCAI 1981. [S.l.]：IEEE Press，1981：674-679.

[17] WALTHER D， CHRISTOF K. Modeling attention to salient proto-objects[J]. Neural Networks，2006，19(9)：1395-1407.

[18] XUE W，ZHANG L，MOU X，et al. Gradient magnitude similarity deviation： a highly efficient perceptual image quality index[J]. IEEE Trans. Image Processing， 2014， 23(2)： 684-695.

魯 雯(1990— )，女，碩士生，主研視頻圖像處理；

崔子冠(1982— )，講師，主要研究方向視頻編碼與傳輸，為本文通訊作者；

干宗良(1979— )，副教授，主要研究方向為圖像處理與視頻通信；

劉 峰(1964— )，博士生導師，主要研究方向為圖像處理與多媒體通信、高速DSP與嵌入式系統；

朱秀昌(1947— )，博士生導師，主要研究方向為圖像處理與多媒體通信。

責任編輯：時 雯

Visual Saliency Map Algorithm Using Spatiotemporal Features

LU Wen，CUI Ziguan，GAN Zongliang，LIU Feng，ZHU Xiuchang

(JiangsuProvinceKeyLabonImageProcessing&ImageCommunications，NanjingUniversityofPostsandTelecommunications，Nanjing210003，China)

A new algorithm for computing spatio-temporal saliency maps is proposed in this paper. Firstly， the optical flow vectors of absolute motion is estimated.Then the background motion vectors to obtain the temporal saliency maps is calculated. Secondly， color contrast and texture information is used to calculate the spatial saliency maps. Finally，spatio-temporal saliency maps by fusing spatial and temoral maps is got. Experimental results show a better performance when compared to several state-of-the-art temporal saliency models.

saliency map；motion vectors；color contrast；texture

國家自然科學基金項目(61471201)；江蘇省自然科學青年基金項目(BK20130867)；江蘇省高校自然科學研究項目(12KJB510019)；江蘇省高校自然科學重大項目(13KJA510004)；南京郵電大學校科研基金項目(NY212015)；南京郵電大學“1311人才計劃”資助課題項目

TP751.1

A

10.16280/j.videoe.2015.17.001

2015-01-14

【本文獻信息】魯雯，崔子冠，干宗良，等.基于空時域特征的視覺顯著圖生成算法[J].電視技術,2015，39(17).