一種基于本體的視頻檢索方法

梁俊杰+熊亞軍+余敦輝

摘 要：提出一種基于本體的視頻檢索方法，利用本體的基本概念獲取樣本圖像組，并建立樣本圖像組和未標注視頻的共同特征空間來實現視頻的標注;在視頻標注的基礎上，對視頻領域本體的基本概念集進行擴展來提高查詢的命中率，以對擴展概念集記錄進行檢索的方式完成視頻的檢索。

關鍵詞：領域本體;視頻檢索;共同特征空間;視頻標注

中圖分類號：TP391 ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? 文章編號：2095-1302（2015）01-00-03

0 ?引 ?言

近年來，隨著多媒體技術和互聯網技術的迅速發展，不斷會有海量的、非結構化的視頻數據產生。視頻數據因其強大的內容承載能力正在越來越廣泛地作為信息載體應用于信息傳播領域。而傳統的信息檢索方式又難以有效應用于視頻檢索領域[1]。

通過構建計算機科普視頻領域本體，條理化計算機科普視頻中涉及到的概念，然后借助這些概念在線獲取樣本圖像組，并建立它們與未標注視頻的共同特征空間完成視頻的標注。在此基礎上，對該領域本體的基本概念定義存儲結構以建立相應的記錄，并對基本概念集進行擴展，提高匹配檢索的命中率，最終完成對海量視頻信息的檢索。

1 ?視頻領域本體的構建

本體是共享概念模型的明確形式化規范說明，廣泛應用于信息檢索、語義Web等領域[2]。本文以計算機科普視頻為例，基于WordNet知識庫提取計算機科普的相關概念，然后運用Protégé[3]本體編輯工具建立計算機科普視頻的領域本體。該本體比較全面的涵蓋了計算機科普領域的基本內容，為視頻檢索的圖像集初始化和自動視頻標注提供了載體，具體的計算機科普視頻領域本體如圖1所示。

圖1 ?視頻領域本體的構建

2 ?視頻標注算法

2.1 ?傳統的視頻標注方法及其弊端

目前，大部分搜索引擎在檢索視頻文件時，是通過視頻文件的標簽等文本信息進行檢索的。隨著視頻數量的快速增長，傳統的視頻標注方法存在很多弊端[4]，主要如下：

（1）標注量大：對海量的視頻信息逐個進行標注要耗費大量時間;

（2）客觀性差：人工標注難免受人為主觀性的影響。

傳統的視頻標注方法存在的這些弊端將導致標注偏差甚至錯誤等問題，進而直接影響到視頻檢索準確性。

2.2 ?視頻標注

互聯網是一個包含海量圖像的巨大容器，而且蘊含了大量的圖像知識。由此，可以根據關鍵字在線檢索得到大量的圖像，用以檢索的關鍵字即為對應圖像組的標注。然后通過CCA方法得到共同特征空間，這樣將標注域的中圖像樣本的特征與被標注域中的視頻的特征進行比較[5]，并將比較得到相似度結果分別表示為r、rm、ra，其中r表示比較的最終結果，rm表示被標注域視頻特征與圖像組中每一幅圖像的圖像特征通過共同特征空間進行比較的得到最大值，ra表示與圖像組中幅圖像比較的均值，即r=rm+ra，即：

（1）

其中ri，i∈（1，2，…，n），n為該圖像組圖像樣本的數量，最終運用式（1）將求得r值最大的圖像組的標注作為該視頻的標注。

2.2.1 ?圖像庫的初始化

根據領域本體的特點，可將領域本體的概念作為結點，而概念間的關系作為結點之間的層次關系，則領域本體可用樹來描述，從概念作為樹的結點的位置分，可大致將概念分為兩種，一種為葉子結點概念，另一種為非葉子結點概念。

定義1.元概念集：用樹描述的領域本體中處于葉子結點位置概念的集合，用Cm表示;

定義2.基本概念集：領域本體中所有概念的構成的集合，用Cb表示。

圖像庫的初始化就是將逐個元概念集中的概念作為關鍵字在線獲取n幅具有代表性的圖像作為該概念的樣本圖像，該概念的樣本圖像組成的集合稱為對應概念的圖像組，而該概念即為對應圖像組的標注。

2.2.2 ?視頻標注算法

為方便描述，特作以下定義：

定義3.源域（Source Domain）：以元概念集中的概念為關鍵字通過互聯網圖像搜索引擎檢索得到的圖像組、該概念共同組成的數據集合，可用一個二元組SD來表示：SD={Ci，IGi}，IGi={ Imagei1、Imagei2、…、Imagein }，其中i為葉子結點概念的序號，imax為葉子結點位置概念的個數，n為每個葉子結點概念對應的圖像組的圖像樣本數目;

定義4.目標域（Target Domain）：把未標注并且將要借助標注域進行標注的互聯網視頻組成的集合，可用一個集合TD表示TD={V1、V2、…、Vm}，其中m為未標注視頻的數目;

由于圖像特征和視頻特征是異構的，不能通過分析圖像與視頻的相關性來決定是否將圖像的標注信息作為視頻的標注。為解決空間特征異構問題，引入共同特征空間的概念[6]。在標注域和被標注域的特征空間之間建立共同特征空間，這樣任意標注域中的圖像樣本和被標注域中的視頻樣本均可以借助映射矩陣投影到該共同特征空間中。

利用視頻關鍵幀提取工具[7]，提取視頻的關鍵幀建立視頻的圖像特征空間，給z個樣本對{（K1，V1），…，（Kz，Vz）}，其中K1、K2…、Kz∈Rdi視頻關鍵幀的圖像特征空間的樣本，V1、V2…、Vz∈Rdv表示視頻特征空間的樣本，然后使用CCA（Canonical Correlation Analysis）方法來學習得到映射矩陣wi和wv。視頻標注算法如下：

Begin輸入：SD、TD中的某個Vm

（1）建立每個IGi中每幅Imagein的圖像特征空間Sin、Vm的視頻特征空間Sa;

（2）提取Vm的關鍵幀kf，建立kf的圖像特征空間Sb;

（3）運用CCA學習方法得到映射矩陣wi和wv;

（4）利用wi和wv建立共同特征空間Sc;

（5）For每一個Sin

①將Sin和Sa→Sb同時映射到Sc比較得到rin并計算

②計算圖像庫內各個圖像組間的Rm

（6）將Rm對應的圖像組相應的概念作為視頻Vm的標注;

End輸出：帶標注的視頻Vm。

3 ?視頻檢索方法

3.1 ?視頻檢索框架

依據前文所述，基于計算機科普視頻領域本體和自動視頻標注進行視頻檢索的基本框架如下：

圖2 ?計算機科普視頻檢索框架

3.2 ?檢索預處理

3.2.1 ?基本概念集的擴展

視頻檢索采用用戶搜索關鍵字與領域本體中的概念集項進行匹配的方式，但是包括漢語在內任何語言都會存在同義詞的特性。而用戶在查詢時關鍵字的選取是隨機的，所以如果單一的采用基本概念集作為用戶查詢關鍵字匹配庫，會造成視頻數據的漏查，影響查全率。

為解決上述問題，本文采用對基本概念集擴展的方法來緩解同義詞給查詢帶來的影響。

例如，有元概念集Cm ={E， F， G}，基本概念集Cb={A，B，C，D，E，F，G}，假設Cb中，僅有概念B有典型同義詞B1、B2、B3，則將B1、B2、B3加入Cb，有擴展概念集Ce={ A，B，B1、B2、B3，C，D，E，F，G}。

3.2.2 ?擴展概念集記錄存儲結構

為方便對視頻數據記錄進行查詢，特對擴展概念集數據記錄的存儲結構用如下六元組R[8]定義：

Record={ID，Cei，Flag，Ch_ID，Vi，Vi_path}，且把形如Record記錄構成的視頻數據庫記為DBR，其中各部分含義如表1所示，其中各部分含義如表1所示：

表1 ?擴展概念集數據記錄結構序號 項名稱 項含義

1 ID 記錄編號

2 Cei Ce中概念或同義詞項

3 Flag 標識位

當Flag=0時，表示Cei非葉子結點;當Flag=1時，表示Cei為葉子結點概念或同義詞;

4 Ch_ID Ce中Flag=0項孩子結點ID

5 Vi 各視頻的編號和名稱

6 Vi_path 視頻Vi的存儲路徑

3.3 ?檢索原理

本文中的視頻檢索是擴展概念集記錄存儲結構的基礎上，采用用戶輸入的查詢關鍵字KeyWord與擴展概念集記錄中Cei進行匹配的方法完成用戶的查詢請求并將查詢結果返回給用戶。根據Cei在領域本體樹中所處的位置，又分為以下兩種情況：

（1）如果查詢關鍵字與葉子結點概念或其同義詞匹配成功，即Flag=1，則將葉子結點概念所在記錄的視頻數據返回給用戶;

（2）如果查詢關鍵字與非葉子結點概念或者其同義詞匹配成功，即Flag=0，則需要通過Ch_ID逐層往下尋找其孩子結點，直至最終找到的結點沒有孩子為止，則將最后找的一個或者多個葉子結點概念所在記錄的視頻數據返回給用戶。

查詢樣例.查詢關于B1的視頻

Step1：通過用戶輸入的關鍵字KeyWord-B1與擴展概念集記錄進行匹配;

Step2：匹配成功后得其Flag=0，為非葉子結點概念的同義詞，則通過B1所在記錄的Ch_ID信息找到得到B1的孩子結點概念為E、F，且E、F均是葉子結點概念;

Step3：返回E、F中的視頻數據并通過VE_path和VF_path讀取視頻至檢索結果列表，檢索完成。

4 ?實驗結果與分析

從互聯網上收集與計算機相關的視頻作為實驗的基礎數據，借助計算機科普視頻領域本體完成圖像庫的初始化，并利用本文的視頻標注算法完成視頻的標注。

利用M-OntoMat-Annotizer[9]工具對視頻基礎數據進行語義標注，并編碼實現本文的視頻檢索算法。為比較本文提出的視頻檢索算法與傳統的視頻檢索算法優劣，同時借助已有方法完成傳統的基于關鍵詞的視頻檢索和完成基于內容的視頻檢索。

為保證實驗的客觀性，邀請多位區分度較大的用戶提出5個查詢要求：查詢有關計算機軟、硬件的視頻、計算機應用的視頻、互聯網的視頻、計算機發展歷程的視頻分別進行實驗。實驗中，采用查準率和查全率[10]作為衡量檢索性能的標準，并定義如下：

查準率= ? 查詢過程中需要的視頻個數

查詢過程中的視頻總數

查全率= ? ? ? 查詢過程中需要的視頻個數

視頻基礎數據中需要的視頻總數

根據以上的實驗設置，當圖像組的圖像樣本數n=1 000時，實驗結果如圖3和圖4所示。

圖3 ?查準率 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?圖4 ?查全率

從圖3和圖4的實驗結果表明：本文提出的視頻檢索方法相對于基于關鍵字和內容的視頻檢索方法，大部分的查詢請求的查準率有不同程度的提高，驗證了本文方法的有效性。

5 ?結 ?語

本文提出了一種基于領域本體和自動標注的視頻檢索技術，通過領域本體的基本概念集收集樣本圖像組，并建立圖像組和未標注視頻的共同特征空間完成視頻的標注;通過將領域本體用樹來描述，在樹結構的基礎上完成視頻的檢索。實驗結果表明，基于領域本體和自動標注的視頻檢索技術大大提高了視頻檢索的效率。

參考文獻

[1]Rasiwasia N，Costa Pereira J，Coviello E，et al.A new approach to cross-modal multimedia retrieval[A].Proceedings of the International Conference on ACM Multimedia[C].Firence， Italy，2010：253-258.

[2]徐正寧.基于本體的Web數據語義信息的表示與處理方法研究[D].長沙：國防科技大學，2002.

[3]張小峰，唐新亭，趙永升，等.基于本體技術的Internet智能搜索研究[J].計算機工程與設計，2006，27（7）：1915-1916.

[4]張靜，馬桔.利用本體的視頻語義概念檢測[J].小型微型計算機系統，2008，29（12）：2354-2356.

[5]Yang Na，Luo Hangzai，Xue Xiangyang.A method to detect anchorperson shots for digital TV news[J].Journal of Software，2002，13（8）：1559-1565.

[6]王晗，吳心筱，賈云得.使用異構互聯網圖像的視頻標注[J].計算機學報，2013，36（10）：2063-2065.

[7]隗華，陳曉鷗.一種格式無關的視頻序列關鍵幀提取策略[J].計算機應用，2003（23）：190-191.

[8]尹文杰，韓軍偉，郭雷.圖像與視頻自動標注技術最新進展[J].計算機科學，2011，38（12）：12-15.

[9]陸琳睿，周竹榮，鄧維.一種基于本體的視頻檢索方法[J].西南大學學報（自然科學版），2008，30（11）：122-123.

[10]老松楊，白亮，胡艷麗，等.基于領域本體的新聞視頻檢索[J].小型微型計算機系統，2007，28（8）：1473-1476.