視頻檢索中圖像信息量度量

袁慶升，張冬明，靳國慶，劉菲，包秀國

?

視頻檢索中圖像信息量度量

袁慶升1,2，張冬明3,4，靳國慶3,4，劉菲3,4，包秀國1,2

(1．中國科學院信息工程研究所，北京 100193；2．國家計算機網絡應急技術處理協調中心，北京 100029； 3．中國科學院智能信息處理重點實驗室，北京 100190；4．中國科學院計算技術研究所，北京 100190）

綜合考慮信息量度量的速度、性能要求，提出了相適應的顯著圖、多特征融合模型；基于區域劃分融入空間關系，提出了分塊信息熵的圖像信息量度量方法（SEII）；構建了信息量度量的標注數據集，并設計了性能驗證方法。實驗結果表明該度量方法符合人眼視覺的評價結果。度量方法在實際視頻檢索系統中進行對比應用測試，測試表明提高4.4%，檢索速度提高1.5倍。

視頻檢索；關鍵幀選擇；圖像信息量；顯著區域；多特征融合

1 引言

視頻檢索中，關鍵幀選擇是影響檢索性能的關鍵因素之一。現有關鍵幀選擇算法按功能分為2類：1）在時間軸上按照一定模型抽取幀圖像，去除視頻時域冗余信息，減小視頻特征數量，主要算法包括基于鏡頭的選擇方法[1]、基于運動分析的選擇方法[2]、基于聚類的選擇方法[3]；2）從內容角度進行幀的二次篩選，去除不符合條件的視頻幀。本文針對后者進行研究。

現有基于幀內容的篩選算法，主要從失真角度評價幀圖像內容，目標是去除視頻中模糊幀、切換幀，如文獻[4]，由于模型單一，其不能準確度量圖像內容。如圖1所示的6幅圖像來自于6段視頻，在傳統的失真評估模型中，由于圖像的失真程度很低，所以圖1(a)~圖1(c)的質量評分很高；而圖1(d)~圖1(f)則由于模糊等原因，導致其質量評價較低。這恰好與人類的主觀評估相悖，圖1(a)~圖1(c)相對于圖1(d)~圖1(f)，內容不夠豐富，信息量較低。

(a) 圖像1 (b) 圖像2(c) 圖像3 (d) 圖像4(e) 圖像5(f) 圖像6

對于視頻檢索，選擇圖1(d)~圖1(f)作為視頻的關鍵幀比圖1(a)~圖1 (c)更具有區分性。因此，信息量是關鍵幀選擇重要指標。高信息量的視頻幀可增加視頻數據特征的區分性；反之，低信息量視頻幀，則可能導致檢索性能下降：一方面它可能導致虛匹配，這類似于文本檢索中，使用停止詞檢索會導致大量無關結果；另一方面它帶來不必要的特征量增長，導致檢索計算開銷增加。但是，目前信息量度量尚沒有在視頻檢索系統中取得有效應用，這主要是由于信息量度量方法尚存在不足。

信息量是信息多少的量度，熵可用于衡量信息量高低。應用于圖像領域，熵值反映圖像像素值的分布，與像素值大小無關。熵值越大，表示像素值越接近均勻分布。可通過融合局部空間信息將熵擴展至二維，若圖像深度為，令2，則像素值取值范圍為[0,?1]，則可根據式(1)來計算圖像二維信息熵()，其中，是圖像像素值，是其鄰域像素均值，p是(,)像素值組合的分布概率。

但僅僅依靠信息熵并不足以實現對圖像的信息量全面度量，主要表現為如下幾方面不足：1）熵的計算方法具有對稱性，即使圖像的顏色直方圖完全不同，但如果像素值具有相同的概率分布，那么信息熵相同；2）熵值易受噪聲影響，并且在度量雜亂紋理圖像時常常失效；3）全畫面計算，沒有突出圖像中顯著區域的重要性，不符合人眼視覺特點。

本文以圖像信息熵為基礎，融合人類視覺顯著性模型，利用分塊信息熵對圖像的信息量進行度量，提出了多特征融合的圖像分塊信息熵度量（SEII, sub-region entropy based image information measurement）方法，從而實現對圖像信息量的度量。該方法不僅結合了人眼的視覺特性，還為信息熵增加了空間信息，同時融合了顏色、紋理、顯著性等特征，可以全面提升視頻檢索性能。

2 基于分塊信息熵的信息量度量方法

與實際應用結合，理想的視頻幀信息量度量方法應滿足如下要求：1)度量結果與人眼視覺一致；2)計算簡單，以滿足各類實時性要求高的應用。

2.1 視覺顯著性模型

認知心理學的研究表明，圖像中有些區域能顯著吸引人的注意，這些區域含有較大的信息量，這就是視覺顯著區域，它是圖像中最能引起用戶興趣、最能表現圖像內容的區域。有許多數學模型可以用來模擬人的注意力機制，早期工作可以追溯到Koch和Ullman的基于生物視覺特性的計算模型[5]，Itti等[6]在此模型的基礎上進行了改進，通過結合多尺度的圖像特征，在快速場景識別上取得了很好的效果。

對比度是像素與其鄰域像素的差異程度，強對比度區域通常更能引起人們的注意，因而成為顯著性計算的重要特征之一。Ma等[7]首次提出基于局部對比度的分析方法，局部對比度的方法傾向于給物體邊緣賦予較大的顯著值，而并非高亮整個顯著區域。Zhai等[8]提出了基于全局對比度的亮度通道顯著模型，能夠高亮整個區域。Cheng等[9]提出了多顏色通道壓縮表達的顯著性模型，可進一步提升檢測的準確率。頻域分析是另一類顯著性計算方法，文獻[10]指出，這些基于頻域分析的模型實際上等同于一個局部梯度算子并疊加一個高斯模糊，不適宜檢測較大的顯著區域。此外，還有一類基于學習的顯著性模型，如文獻[11]。這類方法在訓練數據集上能取得不錯的效果，但是通常十分耗時，在不同數據集下的表現也會存在較大的差異。

本文結合信息度量算法的要求，最終選擇2類經典視覺特征——顏色和紋理的對比度來描述區域的顯著性，以下分別描述其計算方法。

紋理特征是圖像的基本特征，也是經常被用來描述圖像，能夠有效度量圖像亮度的變化情況。圖像局部紋理的計算如下[6]

(3)

其中，()表示圖像像素值，是點()的去均值做除歸一化后的系數，和，和分別為圖像的長和寬，1是一個常量，防止分母為零的情況發生。和分別為

圖2展示了圖1中2個圖像對應的顯著圖，可以看出，根據顏色對比度計算出的顯著圖對應于圖像中的顯著物體，通過紋理對比度計算出的顯著區域與物體邊界十分接近，邊界部分在顏色和紋理上都具有較高的對比度值，上述模型能夠很好地捕捉顏色和紋理信息。

2.2 顯著圖融合模型

形成最終視覺顯著圖，需要把上述顏色顯著圖和紋理顯著圖進行融合。現有融合算法可以分為3類：1）最直觀的線性融合算法[13,14]，不同特征顯著圖給定不同權值，線性組合后得到最終的顯著圖；2）由于人腦的視覺系統是一個非線性處理系統，線性的融合算法具有很大的局限性，因此，一些研究者提出了非線性的融合算法[15,16]，為不同特征的顯著圖分別定義融合函數，得到相應的遞推關系式，計算最終的融合結果；3）基于空間緊湊性和顯著密度的方法[17]、采用遺傳算法的融合方法[18]、根據上下文內容的融合方法[19]以及多種融合方式相結合的算法[20]等。

本文涉及到2個顯著圖的融合，在融合過程中，還考慮了其他顯著圖模型所忽略的鄰域顯著性。具體地，設計了式(5)對顯著圖進行融合。

其中，w和w分別為區域D所對應的×鄰域內的顏色顯著值(D)和紋理顯著值(D)。(D)是D區域內所有像素點的紋理信息（按照式（3）計算）的均值。

得到融合的顯著圖后，根據像素的顯著性進一步生成掩碼圖像，以屏蔽圖中顯著性較低的部分，文中以7：3的比例將顯著圖劃分為顯著區域和非顯著區域。從圖3(c)中可以看出，當圖像信息量不豐富時，不顯著區域占了圖像的絕大多數，當圖像信息量豐富時，顯著的區域占了圖像的絕大多數。

2.3 分塊信息熵評估模型

利用融合顯著圖針對全畫面計算，僅計算顯著區域比例并不能精準地表達畫面的信息量高低，而通過分塊可以融合空間分布信息，顯著提高信息量的表達能力。為此，本文引入分塊信息熵概念。具體地，為避免復雜計算，保證信息度量的實時性，按下述步驟計算分塊信息熵：首先按照橫向3等分的方法將圖像劃分為3個區域；然后對圖像的顏色空間進行簡單變換，對變換后的圖像分別計算水平分塊后3個區域的水平方向信息熵X、垂直方向信息熵X和整體的信息熵X，為提高對像素值變化的頑健性，在信息熵計算中進行不同程度的量化；另外計算分塊的均值X和標準差X以及顯著像素在每個區域中所占的比例這3個特征值。圖4給出特征提取的算法流程，最終形成54維特征向量。

為了得到圖像的信息量度量值，需要利用訓練圖像集得到回歸模型。在特征維數較高時，傳統擬合方法通常采用增加高階項的方法提高模型的適用性，容易造成模型過擬合問題。本文采用支持向量回歸(support vector regression)模型[21]，該模型使用核函數代替線性方程中的高階項，使原來的線性算法非線性化，實現非線性回歸。引入核函數同時實現升維，低維空間中非線性問題投影到高維空間后可能變成線性問題，SVR模型通過升維后在高維空間中構造線性決策函數實現回歸。訓練好SVR模型后，用待評估圖像的分塊信息熵特征作為模型參數，得到信息量度量值。

算法：圖像信息量特征提取 for each image of M×N pixels do計算顯著圖橫向3等分for each region D dofor each feature dosl=vector of the sum of value for each pixel of each row of region Dhl=histogram of sl on binsXl=entropy(hl)sc=vector of the sum of value for each pixel of each column of region Dhc=histogram of sc binsXc=entropy(hc)h=histogram of on binsXa=entropy(h)Xμ=mean of Xσ=std of =proportion of saliency pixelsend forend forend for

2.4 算法流程

基于分塊信息熵的圖像信息量度量方法流程如圖5所示。待檢測圖像首先經過顏色和紋理特征的提取，形成視覺顯著性模型，然后對經過視覺顯著性模型處理后的圖像進行基于分塊信息熵的特征提取，再由訓練集圖像得到SVR模型進行距離度量，最后得到信息量的估計值。

3 實驗結果與分析

從信息量度量與主觀測試一致性角度對度量方法的性能進行測試，進一步驗證該度量方法在實際視頻檢索中的應用效果，以檢驗其實際應用價值。

3.1 度量一致性驗證

目前針對圖像的信息量度量方法還沒有公認的評測數據集，本文參考圖像質量評估模型的評價方法，采用主觀評價法獲得數據集構建了首個圖像信息量度量標注測試集。構建方法如下：1）從50段網絡視頻中有選擇地截取500幅圖像；2）主觀評價方法得到的結果會受到觀測者自身條件和客觀環境因素的影響，為減少這類因素帶來的評價誤差，選擇中國科學院計算技術研究所的50名視力或矯正視力正常的研究生作為觀測者，在安靜、僅有觀測者的房間中完成評測；3）50名觀測者對500幅圖像按照表1所示的評分標準對圖像的信息量進行打分，參考相關實驗標準[22]，評價標準包括絕對尺度和相對尺度，用觀測者給出的平均分數計算評價結果；4）根據打分結果，去除評價爭議較大的圖像，最終形成469幅圖像的標注數據集。

圖6給出所建立的數據集中的部分圖像，以及相應的主觀評價的信息量得分。相對于客觀評價方法，主觀評價方法能夠從人類視覺角度給出圖像的信息量，結果比較準確。

在該標注數據集基礎上，對本文的信息量度量方法與主觀評價的一致性進行測試。與大多數訓練模型相似，本文選取上述數據集中的80%作為訓練集，剩下的20%作為測試數據[23]。為了減少實驗對數據集的依賴性，本文對訓練集和測試集進行了10次隨機分割，分別進行實驗，取平均值作為最終的實驗結果。選擇SROCC[24]測量視頻幀的信息量度量模型與主觀評價值之間的相關性。本文還與Peng等[13]靜態顯著模型的算法進行對比實驗，實驗中用該算法替換2.1節所提顯著圖模型，并在本文所提的數據集上進行測試。表2給出10次隨機分割實驗的結果以及10次結果的平均值和標準差。可以看出，本文提出的基于分塊信息熵的信息量度量方法與主觀評價結果有較高的相關性，并且多次實驗的評價結果變化不大，證明該方法能夠有效地度量圖像的信息量。使用文獻[13]的方法替換本文中的顯著圖模型，對應SROCC均值降低、標準差增大，表明本文基于顏色和紋理的模型更適用于幀信息量度量。

表1 主觀圖像信息量度量標準

(a)33.6(b) 49.7(c) 53.6 (d)62.3(e)87.5(f)5.0

圖6 數據集中部分圖像及其主觀評價得分

表2 本文方法與文獻[13]方法的圖像信息量度量結果

3.2 應用效果驗證

本文將基于底層特征查詢的視頻檢索系統作為“基準”，與融合了關鍵幀選擇檢索系統的實驗結果進行了比較。在“基準”中，關鍵幀選擇利用顏色直方圖的變化選取關鍵幀。特征提取相似度度量與本文的方法一致。查詢結果都采用計算最長公共關鍵幀序列的方法獲得。2個系統采用的檢索特征相同，都是基于直方圖投影和密度分布的混合特征。

本文就2個視頻檢索系統在平均準確率（MAP, mean average precision）和時間性能上進行了比較。測試平臺參數：CPU，Intel Core i5，3.1 GHz；內存，4 GB，操作系統，Windows7。

測試數據集由TRECVID2013的評測數據和互聯網上收集到的視頻數據組成，共10 000個視頻片段。從中選擇了幾類典型節目作為查詢片段，具體如表3所示。

表3 查詢節目對照

圖7給出baseline與本文系統的檢索結果，其中，準確率的計算方法取前檢索結果的前15位返回給用戶。可以看出平均提高了4.4%，且節目A的查全率和準確率相對較高，這是由于這類節目的內容與其他節目存在明顯區別。訪談類節目之間存在相互影響，但并不嚴重。節目D由于其內容上的豐富性，導致受其他類節目影響比較嚴重，對于該類節目，在信息量度量基礎上應適當提高關鍵幀提取的密度。節點E和節目F檢索結果相對較好。節目G涵蓋的內容比較豐富，視頻內容變化較大，因此檢索效果比其他類型稍差。綜藝類節目的檢索結果存在很大差異，這是由于其內容的多樣性造成的。節目H和節目J都在場景和人物上保持著很強相關性，檢索結果較好。節目I的不同期節目內容存在較大差異，檢索結果較差。圖8給出2個系統的檢索時間，可以看出，本文提出的關鍵幀選擇方法可以有效減少系統在檢索時的時間消耗，檢索速度平均提高1.5倍。2個檢索系統采用相同的特征索引方法，檢索速度的提升主要是基于信息量度量結果的幀篩選：信息量過低的幀直接跳過，去除了特征提取和匹配的時間；低信息量幀不進入特征庫，減少了匹配時間。

4 結束語

信息量度量對視頻檢索中關鍵幀選擇具有重要作用，本文提出了基于分塊信息熵的信息量度量方法，其融合了多個視覺顯著性模型，采用顏色對比度和紋理對比度相融合的方法獲得其顯著圖，模擬視覺顯著性模型的工作原理，并根據像素的顯著性對圖像進行處理。該信息量度量方法以圖像的信息熵為基礎，提取基于圖像分塊的信息量特征，通過基于顯著性分析的圖像分塊，不僅包含熵、均值、標準差等信息，還融合了方向和位置信息，實驗表明其度量結果與人眼視覺保持較好一致性。

度量方法涉及計算量小，適用于大規模視頻檢索系統，在實際視頻檢索系統中的應用結果表明，其有助于減少視頻特征量，提高檢索準確率和速度。

[1] SHAHRARAY B, GIBBON D C. Automatic generation of pictorial transcripts of video programs[C]//Proc SPIE. c1995: 512-518.

[2] WOLF W. Key frame selection by motion analysis[C]//Acoustics, Speech, and Signal Processing, International Conference, c1996: 1228-1231.

[3] 章毓晉. 基于內容的視覺信息檢索[M]. 北京: 科學出版社, 2003. ZANG Y J, Content based video information retrieval[M]. Beijing: Science Press, 2003

[4] SAAD M A, BOVIK A C, CHARRIER C. Blind image quality assessment: a natural scene statistics approach in the DCT domain[J]. IEEE Transactions on Image Processing, 2012, 21(8): 3339-3352.

[5] KOCH C, ULLMAN S. Shifts in selective visual attention: towards the underlying neural circuitry[C]//Matters of Intelligence. c1987: 115-141.

[6] ITTI L, KOCH C, NIEBUR E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998,20(11):1254-1259.

[7] MA Y F, ZHANG H J. Contrast-based image attention analysis by using fuzzy growing[C]//The eleventh ACM international conference on Multimedia. c2003:374-381.

[8] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//14th annual ACM international conference on Multimedia. c2006:815-824.

[9] CHENG M M, ZHANG G X, MITRA N J,. Global contrast based salient region detection[C]//Computer Vision and Pattern Recognition(CVPR). c2011:409-416.

[10] HOU X, HAREL J, KOCH C. Image signature: highlighting sparse salient regions[J]. IEEE Transactions on, Pattern Analysis and Machine Intelligence, 2012, 34(1):194-201.

[11] MAI L, NIU Y, LIU F. Saliency aggregation: a data-driven approach[C]//IEEE Conference. Computer Vision and Pattern Recognition(CVPR). c2013:1131-1138.

[12] BHATTACHARYYA B A. On a measure of divergence between two statistical populations defined by probability distributions[J]. Bulletin of the Calcutta Mathematical Society, 1943, 35:99-110,

[13] PENG J, QING X L. Keyframe-based video summary using visual attention clues[J]. IEEE MultiMedia, 2010, 17(2): 64-73.

[14] LAI J L, YI Y. Key frame extraction based on visual attention model[J]. Journal of Visual Communication and Image Representation, 2012, 23(1): 114-125.

[15] HUA X S, ZHANG H J. An attention-based decision fusion scheme for multimedia information retrieval[C]//Advances in Multimedia Information Processing-PCM 2004. Springer Berlin Heidelberg, c2005: 1001-1010.

[16] MA Y F, HUA X S, LU L, et al. A generic framework of user attention model and its application in video summarization [J]. IEEE Transactions on Multimedia, 2005, 7(5): 907-919.

[17] HU Y, XIE X, MA W Y, et al. Salient region detection using weighted feature maps based on the human visual attention model[C]//Advances in Multimedia Information Processing-PCM 2004. Springer Berlin Heidelberg, c2005: 993-1000.

[18] ARMANFARD Z, BAHMANI H, NASRABADI A M. A novel feature fusion technique in saliency-based visual attention[C]//Advances in Computational Tools for Engineering Applications, c2009:230-233.

[19] LAI J L, YI Y. Key frame extraction based on visual attention model[J]. Journal of Visual Communication and Image Representation, 2012, 23(1): 114-125.

[20] EJAZ N, MEHMOOD I, WOOK B S. Efficient visual attention based framework for extracting key frames from videos [J]. Signal Processing: Image Communication, 2013, 28(1): 34-44.

[21] SMOLA A J, SCH?LKOPF B. A tutorial on support vector regression[J]. Statistics and Computing, 2004, 14(3): 199-222.

[22] PARK J S, CHEN M S, YU P S. Using a hash-based method with transaction trimming for mining association rules[J]. IEEE Transactions on Knowledge and Data Engineering, 1997, 9(5): 813-825.

[23] MITTAL A, MOORTHY A K, BOVIK A C. No-reference image quality assessment in the spatial domain[J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695-4708.

[24] SHEIKH H R, BOVIK A C. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2): 430-444.

Image information measurement for video retrieval

YUAN Qing-sheng1,2, ZHANG Dong-ming3,4, JIN Guo-qing3,4, LIU Fei3,4, BAO Xiu-guo1,2

(1. Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100193,China; 2. National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing 100029, China;3. Key Lab of Intelligent Information Processing, Chinese Academy of Sciences, Beijing 100190, China; 4. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190,China）

To meet the speed and performance requirements, Sub-region entropy based image information measurement (SEII) method was proposed, which integrates the salient region detection, region division and features fusion. And, performance evaluation method was designed and many experiments were carried out, proving SEII coordinates with human vision evaluation. Also, SEII is evaluated in a real video retrieval system, which shows increase about 4.4% ofwith 1.5 times speedup.

video retrieval, key frame selection, image information, salient region, features fusion

TP37

A

10.11959/j.issn.1000-436x.2016033

2015-05-05；

2015-07-21

張冬明，dmzhang@ict.ac.cn

國家自然科學基金資助項目（No.61273247, No.61303159, No.61271428）；國家高科技研究發展計劃（“863”計劃）基金資助項目（No.2013AA013205）

The National Natural Science Foundation of China (No.61273247, No.61303159, No.61271428), The National High Technology Research and Development Program of China (863 Program)(No.2013AA013205)

袁慶升（1980-），男，山東濟南人，中國科學院信息工程研究所博士生，國家計算機網絡應急技術處理協調中心副高級工程師，主要研究方向為多媒體大數據處理、網絡與信息安全。

張冬明（1977-），男，江蘇鹽城人，中國科學院計算技術研究所副研究員、碩士生導師，主要研究方向為多媒體內容檢索、模式識別、視頻編碼等。

靳國慶（1988-），男，山東單縣人，主要研究方向為多媒體內容檢索、模式識別等。

劉菲（1989-），女，河北唐山人，中國科學院計算技術研究所碩士生，主要研究方向為多媒體內容檢索。

包秀國（1963-），男，江蘇如皋人，國家計算機網絡應急技術處理協調中心教授級高級工程師、博士生導師，主要研究方向為網絡與信息安全。