基于視覺詞袋的視頻檢索校準方法

吳連亮， 蔡鴻明， 姜麗紅

(上海交通大學軟件學院，上海 200240)

基于視覺詞袋的視頻檢索校準方法

吳連亮， 蔡鴻明， 姜麗紅

(上海交通大學軟件學院，上海 200240)

隨著互聯網技術的飛速發展，視頻數據呈現海量爆炸式增長，傳統的視頻搜索引擎多數采用單一的基于文本的檢索方法，該檢索方法對于視頻這類非結構化數據，存在著內容缺失、語義隔閡等問題，導致檢索結果相關度較低。提出一種基于視覺詞袋的視頻檢索校準方法，該方法結合了視頻數據的可視化特征提取技術、TF-IDF技術、開放數據技術，為用戶提供優化后的視頻檢索校準結果。首先，基于HSV模型的聚類算法提取視頻的關鍵幀集合及關鍵幀權值向量；接著用關鍵幀圖像的加速穩健特征等表示視頻的內容特征，解決視頻檢索的內容缺失問題；然后利用TF-IDF技術衡量查詢語句

的權值，并開放數據獲得查詢語句

的可視化特征和語義信息，解決視頻檢索的語義隔閡問題；最后，將提出的基于視覺詞袋的視頻檢索校準算法應用于Internet Archive數據集。實驗結果表明，與傳統的基于文本的視頻檢索方法相比，該方法的平均檢索結果相關度提高了15%。

視覺詞袋；加速穩健特征；TF-IDF；關鍵幀提取；開放數據；檢索校準

隨著互聯網的普及，互聯網終端設備信息采集能力飛速發展，視頻數據量呈現海量增長，如YouTube每天需要處理十億多的視頻流[1]，如此龐大的視頻內容，也為可視化檢索領域的發展帶來了一股熱潮，同時也面臨著如何對如此龐大信息量的視頻庫進行高效檢索的挑戰。視頻數據屬于半結構化數據，檢索問題的關鍵在于如何能有效地分析半結構化數據，并將輸入的查詢語句與大規模的視頻庫關聯起來。由于成熟的文本檢索技術，大量的視頻搜索引擎如 Google，Yahoo，YouTube都采用傳統的基于文本檢索技術，利用與視頻相關聯的非可視化信息如視頻的標題、標簽、視頻所在網頁的文本、用戶社交信息等來檢索視頻，該方法檢索效率高，但是忽視了視頻內容中豐富的可視化信息，存在著內容缺失、語義隔閡等問題，導致用戶檢索滿意度較低。在基于內容視頻檢索方面現存的問題，本文擬從檢索校準方面研究視頻的檢索優化方法。

在視頻檢索校準方面，根據用戶提供的檢索信息進行分類，視頻檢索校準[1]大致可分為：基于自我校準、基于實例、基于開放數據、基于用戶反饋的 4類檢索校準。①基于自校準的檢索校準[2-4]，主要是從檢索結果列表中挖掘校準信息，然后進行聚類，主要的方法有視覺對象識別(object recognition)[2]和圖的跳躍(graph walk)[3-4]等，但該類方法對于不準確的初步檢索結果有很大的噪聲影響。②基于實例的檢索校準，需要用戶提供輸入實例，建立可視化特征映射(visual-object HashMap)，主要方法有集合特征驗證[5-6]等，但該方法需要預先提供輸入實例，用戶操作困難[7]。③基于開發數據的檢索校準[8]，利用開放網絡如WikiPedia、搜索引擎、領域知識庫，引入開放數據校準檢索結果，但該類方法在視頻檢索領域卻很少見相關研究。④基于用戶反饋的校準檢索[9]，根據用戶反饋檢索相關性信息來校準檢索聚類，不斷迭代提高檢索精度，但是該方法需要用戶的頻繁參與，實用性較低。

因此本文提出了一種基于視覺詞袋(bag of visual words，BOVW)的視頻檢索校準方法，并結合視頻可視化特征提取技術、TF-IDF(term frequency- inverse document frequency)技術、開放數據技術，解決視頻檢索的內容缺失及語義隔閡問題，提高視頻檢索結果的相關度，為用戶提供一個可擴展的、穩定的、適用性良好的視頻檢索方案。

1　相關研究

1.1視頻關鍵幀提取

視頻數據屬于非結構化數據，在視頻分析處理過程中，關鍵幀提取至關重要。文獻[10]提出了一種根據MPEG壓縮視頻流字節碼中的macroblock (MB)類型信息，并根據簡單的壓縮字節流中的MB信息來判斷場景變換發生的方法，但該方法不能有效地提取出視頻中關鍵幀。而文獻[11]提出了根據顏色直方圖HSV分割與合并的方法對視頻進行鏡頭邊緣檢測，但是該方法同樣不能很有效地提取出視頻中的關鍵幀。文獻[12]提出了內部相似性聚類分析(inter cluster similarity analysis，ICSA)的方法提取相似幀聚類特征，然后對子類做更進一步的ICSA分析，得到關鍵幀集合，該方法對關鍵幀提取效果有很大改進，但該方法并不能應用于實時的對于龐大數據量視頻檢索校準過程中。文獻[13]在解決關鍵幀提取的工作中，不僅考慮了圖片的顏色、形狀、光強度、圖片噪聲的質量屬性，還考慮到用戶選取關鍵幀是帶有情緒的，所以該研究引入了圖片的情緒特征值的概念。文獻[14]采用了一個16位的原始關系值和一個由65 536維向量表示的SIFT詞袋特征直方圖來表示視頻幀的特征值，并利用原始關系值和詞袋特征直方圖的明顯變化提取關鍵幀。該類方法雖然在視頻關鍵幀提取中考慮了不同類型的圖像特征，但是大多并不能有效地應用于實時的視頻檢索校準過程中。

1.2視覺詞袋模型

BOVW 模型在視覺領域中可以用于圖像歸類，將可視化特征映射為單詞，該模型建立的步驟為：特征提取、特征描述、特征索引。BOVW模型由一系列的圖像特征描述符組成，如SURF、FREAK、BRISK、HOG 描述符等。在視頻特征提取過程中，重要的一步是圖片的視覺特征提取，文獻[15]將BOVW應用到了基于內容的圖片檢索系統中，其檢索過程采用兩階段，第一階段采用文本檢索來過濾，第二階段采用TOP-SURF 特征值來計算檢索結果相關性。文獻[16-18]為了降低特征值計算的時間和空間代價，分別提出了Classeme、Meta-class等特征值表示算法來提取圖片的視覺特征值。目前BOVW模型在圖片檢索、網頁檢索等領域發展迅速，但在視頻檢索校準領域的應用還不太完善。

1.3基于開放數據的檢索校準

在基于開放數據的檢索校準領域，文獻[8]將微軟Bing圖像檢索引入到了網頁檢索校準之中，根據比較網頁檢索結果類表中的圖片集合和用Bing搜索得到的TOP-N的圖片集合的視覺特征值的相似度，校準網頁檢索列表。文獻[19]將開放知識庫Wikipedia引入到視頻檢索中，并建立起層級概念樹，改善了視頻檢索的語義隔閡問題。但是該方法需要預先建立一個完整的知識庫，并且不是所有查詢關鍵字都能映射到一個Wikipedia的頁面，所以該方法有一定局限性。

上述提到的視頻關鍵幀提取算法大多關注于追求結果的精確性，并不能很有效地應用于實時的視頻檢索校準過程中。而且BOVW模型在視頻檢索校準領域的應用目前也不太完善。基于開放數據的檢索校準是一種新穎獨特的檢索模式，但同樣很少被應用于視頻檢索校準領域。

本文提出的基于BOVW視頻檢索校準方法的主要貢獻為：

(1) 利用加速穩健特征(speed up robust features, SURF)等可視化特征有效地解決了視頻檢索的內容缺失問題。

(2) 利用開放數據（Bing圖像檢索，Wikipedia）獲得查詢語句的可視化特征值和語義信息，間接有效地解決了檢索語義隔閡問題。

(3) 結合 TF-IDF、關鍵幀提取、檢索校準等技術優化了視頻檢索結果，提高了視頻檢索結果相關度。

2　基于視覺詞袋的檢索校準方法

2.1方法框架

為了改善基于文本的視頻檢索結果, 可利用BOVW 模型解決視頻檢索過程中內容缺失的問題。同時利用開放數據庫獲得查詢語句的可視化特征值和語義信息，解決檢索語義隔閡問題。最后，運用檢索校準算法校準檢索列表。

本文框架的實現流程為：

(1) 將視頻的可視化特征轉化為圖像的可視化特征，其需要提取視頻的關鍵幀集合，并且得到各關鍵幀的權值。

(2) 利用開放數據(Bing圖像檢索，顯示語義分析方法ESA)獲得查詢語句的圖片檢索列表與語義信息，然后獲取查詢語句的可視化特征值與相似語義關鍵字，消除查詢語句的可視化特征隔閡與語義隔閡。

(3) 離線為所有的視頻關鍵幀創建了一個BOVW，最后再利用第 2步獲得的開放圖片數據和校準算法來校準檢索結果。

該框架的方法流程如圖1所示，圖1(a)表示傳統的基于文本的視頻檢索方法根據“ferrari”返回的視頻檢索排列表 r1；圖 1(b)表示基于文本的圖片檢索方法根據

“ferrari”返回的相關圖片列表 r2；圖 1(c)是本文提出的校準算法應用于r1上得到的校準結果列表r3。

圖1　方法示意圖

該框架的關鍵點是如何解決視頻檢索的內容缺失問題和語義隔閡問題，其可用于大型的視頻數據倉庫的檢索管理應用中。

2.2基于HSV模型聚類算法的視頻關鍵幀提取

在視頻關鍵幀提取過程中，需采用更高效的HSV模型作為特征描述符。HSV顏色空間由hue、saturation、value組成，可以由RGB顏色空間通過如下公式轉化而來，r，g，b分別代表圖像中RGB的值：

在獲取了HSV值后，需采用聚類方法對視頻幀集合進行聚類，如圖 2所示。經過迭代的聚類過程，然后得到聚類的視頻幀集合以及該類的質心，最后選取距離質心最近的幀為關鍵幀。關鍵幀的權值設為該類的幀數量占視頻總幀數的比值，權值。獲得關鍵幀以及關鍵幀的權值。假設某視頻的關鍵幀集合為，fn為該視頻的第n個關鍵幀，為關鍵幀的總數量。算法的基本流程如表1所示。

圖2　關鍵幀提取示意圖

表1　關鍵幀提取聚類算法

在關鍵幀提取過程中，需注意閾值的設定。本文閾值設為HSV平均值的5.2倍，如果設置過大，最后的聚類結果類別數目偏少，提取的關鍵幀數目也少；如果設置太小，聚類結果類別偏多，關鍵幀數目多，會造成信息冗余。該方法基于HSV模型，關鍵幀提取計算效率高，但是對于部分場景如不存在鏡頭切換、內容過渡平緩的長視頻，該方法由于相鄰幀的相似度高，聚類數目過少，存在關鍵幀提取過少的局限。

2.3基于開放數據的語義隔閡處理

本文在視頻檢索校準過程中，采用傳統的基于文本的視頻檢索結果, 利用BOVW模型解決內容缺失的問題。但當出現初始文本檢索結果為空時，如視頻庫中存在標題名為“龍眼”的視頻，但若用“桂圓”檢索時，并不能檢索出有關“龍眼”的視頻。此時出現檢索語義隔閡問題，計算機檢索過程中不能理解“龍眼”與“桂圓”的相同語義。針對語義隔閡問題，本文采用基于開放數據Wikipedia的顯示語義分析方法(explicit semantic analysis，ESA)[20]，以解決檢索語義隔閡問題。首先基于Wikipedia網站內容，獲取檢索語句關鍵字的語義信息。每個關鍵字的語義表示為一個帶權值的高維向量，每一維對應Wikipedia中的一個語義概念。然后通過計算檢索關鍵字(如：“龍眼”和“桂圓”)的語義向量的余弦相似度判斷兩者的相關性。最后將相關性高的視頻結果也納入初步的文本檢索結果，解決檢索校準過程的語義隔閡問題。

2.4基于視覺詞袋的視頻檢索校準模型

用一個特征向量來表示對于查詢語句返回的第i個視頻的特征向量，需要實時計算出傳統搜索引擎的檢索列表中第i個視頻的特征相關度向量，然后根據TOP-N視頻的特征相關度向量重排列視頻列表。接下來介紹相關度向量f(q,i)的組成。

2.4.1文本特征相關度

文本特征相關度 f(q,i){1,2}由文本相關度得分和文本檢索排名得分組成，表示為 f(q,i){1}與f(q,i){2}。f(q,i){1}由TF-IDF方法計算出，表示對于檢索語句q，第i個視頻的相關得分tfidf(q,d,D)。f(q,i){2}表示i個視頻在基于文本的搜索引擎檢索結果列表中的排名的得分 Rscoarei。TF-IDF是一種統計方法，用于計算關鍵字對于某個文檔的重要性，本文用于計算查詢語句q對于第i個視頻的文本描述信息的相關性。n表示關鍵字t在視頻描述文本d中的出現次數。N表示文本搜索引擎視頻檢索列表需要校準的TON-N數目。表示檢索結果列表中包含關鍵字t的文檔數目。

2.4.2可視化特征相關度

本文采用BOVW模型來表示對于查詢語句q的第i個視頻的可視化特征分別表示局部與全局可視化特征相關度。

通過對視頻關鍵幀的提取，于是得到了查詢語句q的第i個視頻的關鍵幀集合S(q,i)=，各個關鍵幀的權值為，為了建立BOVW，如圖3所示，首先需要提取各關鍵幀的特征描述值，聚類通過K均值聚類方法完成，將特征描述向量迭代聚類到K個類中。每類表示一組類似的特征組合，然后將其定義為一個視覺單詞，并將所有視覺詞匯匯集成一個視覺詞典。圖像中的每個特征都將被映射到視覺詞典的某個詞上，最后圖像可描述為一個維數相同的直方圖向量，即BOVW。下面介紹利用BOVW模型離線建立視頻的局部和全局BOVW的方法。

圖3　視覺詞袋(BOVW)模型

(1) 局部可視化特征相關度。SURF是基于近似的2D離散小波變換響應的一個穩健的圖像局部特征描述算法，在本節中，采用SURF方法提取圖像的局部特征。局部可視化特征相關度，在這個步驟中可利用2.2節關鍵幀提取方法得到結果。基于傳統的文本視頻檢索方法，首先返回視頻檢索列表中的第i個視頻Vi，已知其對應的關鍵幀集合為，權值為。然后在線下利用關鍵幀的SURF特征對所有視頻的關鍵幀圖像建立局部可視化特征的BOVW，該過程可以在后臺預先處理。再利用開放數據庫，獲得 Bing圖片搜索引擎根據相同查詢語句 q返回的相關圖片列表，并利用預先學習得出的BOVW中的單詞表示列表r1中每個視頻的每一關鍵幀，同時為其建立索引。最后再使用圖片 pt在列表r1的關鍵幀集合中匹配相似圖像，遍歷計算每一個視頻的每一個關鍵幀的相似度得分。對于圖片pt，視頻Vi的第j個關鍵幀fj的局部可視化特征相似度得分為stij，如圖4所示。視頻Vi的局部可視化特征相關度得分是對該視頻所有關鍵幀的局部可視化特征相關度得分的求和。表示為Lscore(q,i)計算如下：

圖4　局部可視化特征相似度匹配TOP-2結果((b) score = 0.899，(c) score = 0.032)

(2) 全局可視化特征相關度。對于圖片pt，視頻Vi的第j個關鍵幀fj的全局可視化特征相似度計算與局部可視化特征相似，但需要改變特征提取公式feature(image)，在本節中，采用顏色特征作為圖像的全局可視化特征，所以在feature′(image)中提取圖像的顏色，顏色空間分布位置作為圖像的全局可視化特征描述，如圖5所示。視頻Vi的全局可視化特征相關度得分是對該視頻所有關鍵幀的全局可視化特征相關度得分的求和。表示為Gscore(q,i)，計算如下：

2.4.3基于訓練學習的視頻檢索校準

最后將初步檢索結果按校準函數計算值進行降序排序，得到視頻檢索校準列表。

圖5　全局可視化特征相似度匹配結果((b)～(f)為相似匹配結果以及全局可視化特征相關度得分)

3　實　驗

本文采用的實驗數據集為Internet Archive，其為非營利性的數字圖書館，免費提供豐富的數字數據(圖像、音頻、視頻)供研究者使用，所有的視頻都經過了人工文本標注，所以可通過基于文本的檢索方法檢索視頻，適合作為本文提出的視頻檢索校準方法的驗證數據集。在實驗中，共選取了 5個典型的查詢示例作為實驗對象，分別為“helicopter”、“beach”、“rose”，“ferrari”，“football”，利用開放圖片數據提供的TOP-20的圖片結果作為特征匹配樣例，系數向量采用經過大量視頻數據集訓練得出的值W={0.3，0.4，0.4}。在該實驗中，將本研究提出的基于 BOVW 的檢索校準方法(visual bag based method，TB + VB)與傳統的基于文本的檢索方法(text based method，TB)和基于信息瓶頸的重排列校準方法(information bottleneck method[21]，TB+IB)進行對比，然后對檢索返回的TOP-150視頻結果手動標注相關和無關，最終使用平均檢索相關度比較3種方法的檢索效果。3種方法的檢索結果相關度對比評估如表 2所示，柱狀圖對比如圖 6所示。在查詢示例中，查詢目標如果全局特征或局部特征比較明顯，查詢結果較準確，TB+IB和 TB+VB方法的檢索相關度普遍比TB高，主要的原因為在初步的文本查詢匹配過程中，由于文本的文字標注大部分與視頻內容相匹配，所以在基于文本的查詢階段，檢索結果就已經具有比較高的查詢相關度了。但是在少數查詢示例中，如“football”，由于外部開放數據提供的圖片檢索樣本幾乎都是足球樣例，而多數視頻中的內容卻為足球比賽，視頻關鍵幀的背景元素和全局可視化特征會影響校準過程，從而本方法中的可視化特征相關度向量中的全局特征會對檢索校準結果帶來干擾。這是導致少量檢索示例檢索相關度較低的主要原因。

表2　3種方法的檢索結果相關度對比

圖6　檢索結果相關度對比圖

圖7是用 TB視頻檢索校準算法檢索出來的TOP-8視頻結果，并進行了重排列。每張圖片代表該段視頻的縮略圖，可以觀察到總體上與“rose”內容相關度低的視頻的排列等級被降低，內容相關度高的視頻經過校準后排名靠前，而且語義相似度高的也能被檢索到并排名靠前。比如圖中的“月季”，由于在ESA語義相似性分析結果中與“玫瑰”的語義相似度高，所以檢索排名也被校準到檢索結果列表中。

圖7　查詢“rose”的TOP-8視頻檢索結果校準樣例

相比目前主流視頻檢索平臺如優酷的 SOKU平臺、YouTube的視頻管理器提供的視頻檢索方式，本文提出的視頻檢索校準方案能提供基于視頻內容及基于開放數據的檢索校準方式。特別是在視頻無對應文本信息、視頻被貼上壞標題等情況下，該方法的性能要明顯優于目前主流視頻檢索平臺提供的方法。由于該方法在校準過程中引入了外部開放數據，因此“負向”的外部開放數據的返回結果同樣也會干擾校準結果，在后續的研究中將繼續探索如何對頂層的返回結果進行除噪。但外部開放數據的引入也更豐富了檢索內容的基本信息，對視頻類非結構數據的語義填充工作有很大的意義。本文將視頻的內容信息和語義信息融合到了視頻的檢索校準過程中，有效地提高了檢索結果的相關度。實驗結果顯示，與傳統的基于文本的視頻檢索方法相比，本文的平均檢索結果相關度提高了15%。

4　結論與展望

互聯網技術的發展帶來視頻信息的爆炸式增長，如何優化視頻檢索結果是當前非結構化數據檢索領域所面臨的重大挑戰，傳統的基于文本的視頻檢索方法忽略了其所包含的豐富內容信息，用戶的檢索滿意度不高。

本文的主要貢獻是提出了基于BOVW的視頻檢索校準方法，并結合了外部的開放數據和視頻的可視化特征來解決視頻檢索的內容缺失和語義隔閡問題，該方法利用SURF等可視化特征解決視頻檢索的內容缺失問題，利用開放數據解決檢索語義隔閡問題，并結合了TF-IDF、關鍵幀提取等技術優化了視頻檢索結果。該方法彌補了傳統視頻檢索方法的不足，提高視頻的檢索結果相關度。在大多數檢索示例中都表現良好，但是在小部分示例中，由于特征值提取困難，會反向干擾檢索校準結果，引入其他的視覺特征值可能會提高校準結果，這也是下一步的研究工作。同時基于文本的檢索結果也會給后續的檢索校準帶來噪聲傳遞，所以需結合傳統搜索引擎的優勢，減低噪聲傳遞，同時擴充視頻數據集合，提高參數訓練精度，完善BOVW模型中的視覺詞典，優化查詢語句關鍵字切分粒度，繼續優化視頻檢索校準結果。

[1] Mei T, Rui Y, Li S P, et al. Multimedia search reranking: aliterature survey [J]. ACM Computing Surveys (CSUR), 2014, 46(3): 38: 1-38: 38.

[2] Wnuk K, Soatto S. Filtering internet image search resultstowards keyword based category recognition [C]// Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on. IEEE, 2008: 1-8.

[3] Hsu W H, Kennedy L S, Chang S F. Video search reranking through random walk over document-level context graph [C]//Proceedings of the 15th International Conference on Multimedia. ACM, 2007: 971-980.

[4] Jing Y S, Baluja S. Applying pagerank to large-scale image search [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2008, 30(11): 1877-1890.

[5] Hervé J, Douze M, Schmid C. Improving bag-of-features for large scale image search [J]. International Journal of Computer Vision, 2010, 87(3): 316-336.

[6] Zhou W G, Lu Y J, Li H Q, et al. Spatial coding for large scale partial-duplicate web image search [C]// Proceedings of the International Conference on Multimedia. ACM, 2010: 511-520.

[7] 劉瀏. 基于內容的重排列視頻檢索技術研究[D].上海: 上海交通大學, 2013.

[8] Rodriguez-Vaamonde S, Torresani L, Fitzgibbon A. What can pictures tell us about web pages?: improving document search using images [C]//Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2013: 849-852.

[9] Tian X M, Tao D C, Hua X S, et al. Active reranking for web image search [J]. Image Processing, IEEE Transactions on, 2010, 19(3): 805-820.

[10] Pei S C, Chou Y Z. Efficient MPEG compressed video analysis using macroblock type information [J]. Multimedia, IEEE Transactions on, 1999, 1(4): 321-333.

[11] Guru D S, Suhil M. Histogram based split and merge framework for shot boundary detection [M]//Mining Intelligence and Knowledge Exploration. Springer International Publishing, 2013: 180-191.

[12] Priya G G L, Domnic S. Shot based keyframe extraction for ecological video indexing and retrieval [J]. Ecological Informatics, 2014, 23(9): 107-117.

[13] Ratsamee P, Mae Y, Jinda-Apiraksa A, et al. Lifelogging keyframe selection using image quality measurements and physiological excitement features [C]//Intelligent Robots and Systems (IROS), 2013 IEEE/RSJ International Conference on. IEEE, 2013: 5215-5220.

[14] Chiu C Y, Tsai T H, Han G W, et al. 2013. Efficient video stream monitoring for near-duplicate detection and localization in a large-scale repository [J]. ACM Transactions on Information Systems (TOIS), 2013, 31(4): 22.

[15] Zagoris K, Chatzichristofis S A, Arampatzis A. Bag-of-visual-words vs global image descriptors on two-stage multimodal retrieval [C]//Proceedings of the 34th International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2011: 1251-1252.

[16] Karakasis E G, Amanatiadis A, Gasteratos A, et al. Image moment invariants as local features for content based image retrieval using the Bag-of-Visual-Words model [J]. Pattern Recognition Letters, 2015, 55: 22-27. [17] Torresani L, Szummer M, Fitzgibbon A. Efficient object category recognition using classemes [M]//Computer Vision–ECCV 2010. Springer Berlin Heidelberg, 2010: 776-789.

[18] Bergamo A, Torresani L. Meta-class features for large-scale object categorization on a budget [C]// Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 3085-3092.

[19] Tan S, Jiang Y G, Ngo C W. Placing videos on a semantic hierarchy for search result navigation [J]. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2014, 10(4): 37.

[20] Gabrilovich E, Markovitch S. Computing semantic relatedness using wikipedia-based explicit semantic analysis [C]//IJCAI’07 Proceedings of the 20th International Joint Conference on Artificial Intelligence. Morgan Kaufmann Pubishers Inc, San Francisco, CA, USA, 2007, 1606-1611.

[21] Hsu W H, Kennedy L S, Chang S F. Video search reranking via information bottleneck principle [C]// Proceedings of the 14th Annual ACM International Conference on Multimedia. ACM, 2006: 35-44.

Using Bag of Visual Words for Video Retrieval Calibration

Wu Lianliang,Cai Hongming,Jiang Lihong

(School of Software, Shanghai Jiao Tong University, Shanghai 200240, China)

With the rapid development of Internet technology, the number of videos is proliferating in an exploding way. The traditional text-based retrieval method may bring problems of content missing and semantic gap, and result in lower retrieval relevance score. Therefore, a video retrieval calibration method is proposed, which is based on bag of visual words and combines the visual features extraction technology, TF-IDF technology and the open data technology. First, the HSV-based clustering algorithm is used to extract the video key frames and the weight vector. Second, speed up robust features and some other visual features are used to resolve video content missing problem. Third, the TF-IDF technology is used to measure the weight of keyword, and the open data technology to obtain the visual features and semantic of the query word, then solve the semantic gap problem. Finally, our video retrieval calibration algorithm is applied on the Internet Archive data set. The result shows that compared with traditional text-based video retrieval method, our method has a 15% relative improvement on the average retrieval relevance score.

bag of visual words; speed up robust features; TF-IDF; key frame extraction; open data; video retrieval calibration

TP 391

10.11996/JG.j.2095-302X.2016010066

A

2095-302X(2016)01-0066-08

2015-06-24；定稿日期：2015-08-11

國家自然科學基金項目(61373030，71171132)；上海市自然科學基金項目(13ZR1419800)

吳連亮(1991–)，男，江西上饒人，碩士研究生。主要研究方向為信息可視化、多媒體檢索技術。E-mail：wulianliang@sjtu.edu.cn

蔡鴻明(1975–)，男，貴州盤縣人，副教授，博士。主要研究方向為CAD/CG、信息集成技術。E-mail：hmcai@sjtu.edu.cn