一種改進的時空線索的視頻顯著目標檢測方法

秦利斌，劉純平，王朝暉，季 怡

QIN Libin,LIU Chunping,WANG Zhaohui,JI Yi

蘇州大學 計算機科學與技術學院，江蘇 蘇州215006

Shool of Computer Science and Technology,Soochow University,Suzhou,Jiangsu 215006,China

1 引言

顯著區域檢測是計算機視覺的一項重要的技術，其目的是將靜態圖像或者視頻中顯著的物體與背景分離開來，為圖像或視頻中物體的快速定位、特征提取、圖像和視頻的分析等后續工作提供重要的基礎。顯著區域檢測的研究是在人眼視覺注意模型研究的基礎上對其做出的一個實用性的模擬過程，即人眼視覺注意模型是理論層次的概念級模型，而顯著區域檢測模型則是對視覺注意模型的量化表示。

顯著性檢測方法通常分為三類：自頂向下的方法、自底向上的方法和混合方法[1]。自頂向下的方法是由任務驅動的，在檢測之前已知目標的先驗知識。這種方法基于人腦的認知知識，是一個自發的過程。傳統的基于規則或者基于訓練的目標檢測都是這類方法的例子。自底向上的方法通常被稱作刺激驅動的方法。這類方法基于人類對外部刺激的反應，例如明亮的顏色、特殊的形狀或者是反常的運動，這是一種強制的過程[2]。早期的顯著區域檢測大多以靜態圖像作為研究對象，而對于視頻中的顯著區域檢測是近年來的主流研究。

視頻的顯著區域檢測模型不僅要考慮視頻幀內圖像的空間顯著性，而且要考慮視頻幀間的時間顯著性。傳統的視頻中顯著區域檢測是從靜態圖像的顯著區域檢測模型進行擴展，如Itti 等在經典Itti98 的基礎上增加了運動特征及幀間閃爍[3]，從而將該模型的應用擴展到視頻中的時空顯著圖的計算。Guo[4]將譜殘差法做了相應改進并擴展到視頻中，首先對視頻中各幀分別提取運動、紅綠對比色、藍橙對比色和亮度等特征，然后使用四元傅里葉變換獲取上述四種特征的相位譜，最終得到融合多個通道的顯著圖。Lu 等人[5]在他們的視覺顯著模型中使用了底層特征如顏色、紋理和運動以及認知特征，比如皮膚和臉，同時也用了不同種類的圖像。Cheng[6]等人在視覺注意模型中加入了運動信息，他們的模型分析水平方向和垂直方向的像素運動的大小。但是在實際應用中，通過靜態疊加方式混合時空特征的方法，難以滿足不同的應用需求，很多研究也表明時空特征的靜態混合效果并不理想。Zhai 和Shah 提出一種利用特征點匹配的方法獲取運動信息，并采用動態權重融合策略獲取混合時空特征的顯著區域檢測方法[2]。Bioman[7]等提出檢測視頻中時間空間域上不規則性的方法，該方法并不直接采用實際的運動信息，而是將視頻塊的2 維和3 維紋理和訓練數據集進行比較，從而得到視頻中不規則運動的信息。Meur[8]等提出了基于視覺注意的時間空間域模型，通過分析仿射參量來生成運動顯著圖。Kienzle[9]通過對眼動數據的學習構建了基于時空興趣的檢測子，通過這些檢測子對輸入視頻信號分別在時域和空域內濾波，從而檢測得到其中的顯著對象。Duan 等人[10]利用空間加權相異性來進行顯著性檢測。Mahadevan 和Vasconcelos[11]針對高度動態的場景，提出了時空顯著性檢測方法，以有效地提出前景中的顯著目標。Mahadevan 和Vasconcelos[12]利用中心-周圍的顯著機制進行類似生物激勵的目標跟蹤。Ren 等人[13]利用稀疏重構過程去捕捉中心-周圍高對比度的區域作為空間顯著性，對于時間顯著性則利用重構誤差、稀疏性規則化和局部軌跡對比度進行運動顯著性的測量，并將時間和空間顯著性進行合并，在人眼固定視頻數據庫上具有較好性能。Décombas 等人[14]從時間和空間特征角度出發，利用局部對比度和全局稀少特征作為顯著性，從顏色和方位提取空間特征，從運動維度和方向提取時間特征，提出時空稀少顯著模型。因此從時空特征出發進行視頻中顯著區域檢測方法的研究成為視頻顯著性分析的重點，不同的時空顯著性檢測方法各具特色。

本文基于Zhai 和Shah 提出的時空顯著檢測方法，提出基于HSL 顏色空間的視頻空間特征顯著性的描述方法，并結合原來的時間顯著性計算方法，通過動態權重分配自動融合時、空顯著性而得到最終的顯著圖，最終以顯著圖的搜索獲取視頻中的顯著區域。

2 改進時空線索顯著區域檢測方法

Zhai 和Shah 提出的時空線索的顯著模型是一種自底向上的視覺顯著性檢測方法。這種方法能夠檢測出視頻序列中的注意區域和注意動作。圖1 給出了基于時空線索的視頻顯著性檢測的框架。本文依照Zhai 和Shah 提出的方法框架，在空間顯著性的計算方面進行改進，獲得了比原方法更好的顯著區域檢測效果。

圖1 基于時空線索的視頻顯著性檢測框架

2.1 時間顯著圖生成

運動是視頻區別于靜態圖像的一個重要特征，時間顯著性的計算就是要找出視頻中的運動區域并且以顯著度來定量表示運動區域的顯著性大小。時間顯著性檢測中，時間顯著圖往往是計算圖像像素之間的運動對比得到，傳統的方法多數是基于密集光流場。如果場景中存在多個運動圖層，那么邊緣像素的光流就會很“嘈雜”，而且密集光流在紋理較少的區域可能產生錯誤。除此之外光流場對噪聲的魯棒性也比較差，而特征點的匹配（也稱為稀疏光流）表示的運動軌跡則比較精確和穩定，因此Zhai 和Shah 提出了基于SIFT[15-16]特征特征提取與匹配和RANSAC[17]運動聚類的時間顯著圖生成的方法。在顯著度計算中使用圖像間的以平面運動作為運動片段的模型幾何變換，該方法主要分為三步：

（1）用SIFT 特征提取與匹配算法得到特征點的運動軌跡。

（2）用RANSAC 算法進行運動聚類，得到運動平面。在這個過程中采用迭代的方式獲取不同的運動平面。具體是將每次聚類的內點作為一個找到的運動平面，然后對該次聚類的外點繼續采用RANSAC 聚類尋找新的內點作為運動平面，直到再也找不到符合運動平面聚類的內點為止。

（3）計算運動平面的顯著度。運動平面的顯著度是基于特征點的運動對比計算得到的。這和原來論文中的計算方式一樣，主要是利用運動平面的單應性矩陣的幾何變換誤差來進行顯著圖的計算。

圖2 給出了一組使用SIFT 和RANSAC 方法得到的運動平面顯著性檢測實驗結果。

圖2 時間顯著圖生成實驗結果

圖2 中第一列和第二列是視頻序列中的兩幀圖片，第三列是時間顯著圖，從時間顯著圖上可以發現，前兩行的例子中找到了運動平面，第三行的例子卻沒有找到。通過跟蹤程序的運行發現，在第三個例子中兩幅圖片共有6 對匹配點，而要通過RANSAC 找到運動平面必須滿足這6 個點全部是內點，但實際上僅有4 個內點，所以在這個例子中沒有找到運動平面。因此這也是該方法進行時間顯著性檢測可能不能正確獲取運動平面顯著性的一個主要原因所在。

2.2 空間顯著區域提取

心理學研究表明人類感知系統對顏色、亮度、紋理這些視覺信號的對比很敏感。在Zhai 和Shah 的空間顯著模型中只考慮了圖像的亮度信息而沒有考慮顏色和紋理的信息，所以空間顯著區域的提取的準確性不高，圖3 是原有方法的一個失敗的例子，可以看到圖中的紅色小汽車比較吸引人的注意，但最后的空間顯著區域并沒有覆蓋它。為此，本文在空間顯著性的計算中加入了顏色信息，為了更好地描述人眼的視覺特性，采用HSV顏色空間，從像素級和區域級兩個層次來表示顯著性。

圖3 原始方法的一個失敗例子

HSV 模型在1978 年由埃爾維·雷·史密斯創立，它是三原色光模式的一種非線性變換。HSV 在數學上定義為在RGB 空間中的顏色的R，G 和B 的坐標的變換。它比RGB 更準確地描述了感知和顏色的聯系。在HSV 顏色空間中，H 指hue（色相），S 指saturation（飽和度），V 指value（色調）。從RGB 空間轉換到HSV 空間的公式如下：

其中w1、w2和w3是權值，實驗中對w1，w2和w3在0.1 到0.9 之間進行調試，由于亮度受到光照等因素的影響，使得同一目標也有可能呈現出不同的亮度特征，因此w3過大則會使得亮度分量在顯著圖生成中占主導，得到的效果和改進前的方法相比，沒有顯著提高，也不利于不同光照下的顯著對象的檢測，而w3過小則會使得在顯著圖生成過程中亮度這一重要的信息幾乎不起作用，這樣對于大多數情況都不能得到很好的效果，因此適當的約束亮度，增加色調和飽和度的權重，可以比較好的反映真實場景中的原始信息。在論文的實驗中w1、w2和w3取0.4，0.3，0.3 時總體效果最好。

得到了像素級的顯著圖之后，找出其中的局部極大值點，以這些點為中心初始化矩形的種子區域，然后通過分析矩形內外兩側的能量，將矩形向矩形四邊的方向擴展。這樣矩形將會在像素級顯著圖的亮暗區域的交界處停止擴展。由于存在不同種子區域擴展后覆蓋同一塊顯著區域的情況，通過分析矩形的重疊率，將重疊率高的矩形合并起來，最后，將矩形內像素的平均灰度值作為該矩形顯著區域的顯著度。圖4 給出了原有空間顯著區域檢測和改進的空間顯著區域檢測的實驗結果對比。從圖4 可以看出改進的方法可以有效地找出靜態圖像中的顯著區域。因為改進的方法中加入了顏色信息，更加符合人類的視覺特性，所以找到的顯著區域比原來更準確，如圖3 中的例子，在圖4 中改進的方法得到了比較準確的顯著區域。

圖4 原有方法（奇數行）與改進方法（偶數行）空間顯著區域檢測結果對比

2.3 時空動態融合

得到了時間顯著圖和空間顯著圖，還需要將時間和空間的顯著圖通過一定的方法融合到一起形成包含時空顯著性的時空顯著圖。本文依然采用原來論文中提出的動態權重融合的方式進行時空顯著圖的最終計算，采用兩個動態權值kT和kS對時間和空間顯著圖進行融合。首先定義偽方差PVarT來衡量時間顯著圖中運動的大小，其定義如下：

kT和kS是根據PVarT來計算的，其定義為：

最后的時空顯著圖計算如下：

當時間顯著圖中運動較大，那么kT的值就比較大，時間顯著度占主導，反之kS的值較大，空間顯著度占主導。

3 實驗結果與分析

本文實驗環境如下：CPU 是Intel Corei3 2.13 GHz，內存為2.00 GB。所使用的操作系統是Microsoft Windows 7（32 位），開發環境是Visual Studio 2010、OpenCV2.4.2以及GSL1.8。為驗證改進算法的有效性，對標準視頻進行了實驗，視頻來自PETS2001、I2R、KTH 數據庫以及優酷網。

圖5 和圖6 是一組對比實驗的結果，圖5 使用Zhai和Shah 的空間顯著模型，圖6 是本文改進的方法。

圖5 原有方法的時空融合顯著目標檢測實驗結果

圖6 改進方法的時空融合顯著目標檢測實驗結果

從圖4 和圖6 中顯著目標檢測的結果可以看出，圖4中原始圖像的第一、三、四行是背景復雜的圖像，除了運動的前景本身之外，背景也存在運動，圖4 中原始圖像的第二行以及圖6 中的示例圖像是光照不均勻的情況，在本例中存在陰影，從原有方法和改進方法目標的檢測結果來看，改進的方法的檢測結果優于原有方法。因此本文所述方法對于光照不均勻和運動背景的情況，有不錯的效果。相對于原有方法有明顯改進。

從圖5 和圖6 的結果來看，圖5 的最后兩個例子的結果中沒有比較準確地找到運動的物體所在區域。而圖6 中則能比較準確地找到它們。這說明對于這組實驗數據，用改進的方法得到的時空融合和目標檢測的效果要好于原有方法。對于最后一個例子，由于運動目標少的特征點匹配太少（3 對），而RANSAC 需要至少4 對匹配點，所以在時間顯著模型中沒有找到其所在的運動平面，但由于通過改進的空間顯著性檢測比較準確地找到了運動物體位置，而且在融合的時候空間顯著模型占主導，所以圖6 中最后還是檢測出了運動物體，并且使用高斯濾波平滑了噪聲，使顯著圖連續性得到增強，所以對于運動目標的檢測較為完整。而原有方法只對圖像的亮度計算顯著圖，并且沒有作高斯濾波，得到的空間顯著區域較小，使得最后檢測的目標不完整。對于第四個例子，在時間顯著圖中雖然找到了小車所在的運動平面，但這一運動平面顯然并不準確，它還包含一大塊小車以外的區域，表1 是該運動平面對應的單應性矩陣的內點。

從表1 中不難發現在這些內點中最后一個點的縱坐標和其他點的縱坐標差別很大，這個點顯然不在目標紅色小汽車上，這是一個異常的點，而它的運動和小汽車的運動相似，所以也被當作內點，由于這個異常點的存在，最終得到的運動平面與真實的運動平面有很大的差距，又因為顯著度和運動平面面積有關，所以最終得到的運動平面的顯著度與真實情況也會有一定差距。不過，由于改進的方法在空間顯著圖上比較準確地找到了這個目標，彌補了時間顯著圖計算的錯誤，所以最后得到的結果還不錯。

表1 紅色小車運動平面對應的單應矩陣的內點和匹配點坐標

從圖4，圖5 和圖6 看到，由于改進的方法在空間顯著圖的生成過程中加入了圖像的色彩這一人眼十分敏感的視覺信息，在顯著度計算的過程中使用能反映人類視覺特性的顏色空間HSV，使得到的顯著圖更加能夠反映人眼的真實的注意機制，因此最終得到的顯著目標的檢測效果比改進前有明顯提高。

4 結束語

本文在充分分析Zhai 和Shah 提出的時空線索的顯著區域檢測方法的基礎上，提出了一種基于HSV 顏色模型的空間顯著區域提取方法，并將這一方法和Zhai和Shah 的時間顯著區域提取和動態時空融合的方法相整合，實現視頻顯著目標的檢測，提高了顯著目標提取的準確性。

當然本文所用的方法也存在不足，首先使用SIFT特征匹配的方法無法保證提供足夠的特征點匹配來計算正確的單應性矩陣；其次復雜場景中背景上較多的匹配點會影響運動平面的估計；再次是使用SIFT 特征提取與匹配的方法計算復雜度高，無法實時處理視頻；最后是沒有考慮在空間模型中加入紋理特征，使得空間顯著區域的提取在背景紋理復雜的情況下變得不準確。這些方面都有待進一步的研究，來提高目標檢測的效果和效率。

[1] Wolfe J M，Cave K R，Franzel S L.Guided search：an alternative to the feature integration model of visual search[J].Journal of Experimental Psychology，1989，15：419-433.

[2] Zhai Yun，Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]//14th Annual ACM International Conference on Multimedia，Santa Barbara，USA，2006：815-824.

[3] Itti L，Koch C.Computational modeling of visual attention[J].Nature Review Neuroscience，2001，2（3）：194-203.

[4] Guo C，Zhang L.A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J].IEEE Transactions on Image Processing，2010，19（1）：185-198.

[5] Lu Z，Lin W，Yang X，et al.Modeling visual attentions modulatory after effects on visual sensitivity and quality evaluation[J].T-IP，2005，14（11）：1928-1942.

[6] Cheng W H，Chu W T，Kuo J H，et al.Automatic video region-of-interest determination based on user attention model[J].ISCAS，2005，4：3219-3222.

[7] Boiman O，Irani M.Detecting irregularities in images and in video[C]//ICCV，2005，1：462-469.

[8] Le Meur O，Thoreau D，Le Callet P，et al.A spatio-temporal model of the selective human visual attention[C]//ICIP，2005，3：1188-1191.

[9] Kienzle W，Scholkopf B，Wichmann F A，et al.How to find interesting locations in video：a spatiotemporal interest point detector learned from human eye movements[C]//Proceedings of DAGM-Symposium，2007：405-414.

[10] Duan Lijuan，Wu Chunpeng，Miao Jun，et al.Visual saliency detection by spatially weighted dissimilarity[C]//IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2011：473-480.

[11] Mahadevan V，Vasconcelos N.Spatiotemporal saliency in highly dynamic scenes[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2010，32（1）：171-177.

[12] Mahadevan V，Vasconcelos N.Biologically inspired object tracking using center-surround saliency mechanisms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（3）：541-554.

[13] Ren Zhixiang，Gao Shenghua，Rajan Deepu，et al.Spatiotemporal saliency detection via sparse representation[C]//IEEE ICME，2012：158-163.

[14] Décombas M，Riche N，Dufaux F，et al.Spatio-temporal saliency based on rare model[C]//IEEE International Conference on Image Processing（ICIP），2013.

[15] Lowe D.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[16] 王永明，王錦貴.圖像局部不變性特征與描述[M].北京：國防工業出版社，2010.

[17] Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fittingwith applications to image analysis and automated cartography[J].Communications of the ACM，1981，24（6）：381-395.