基于內容的視頻檢索系統設計與實現

文/楊迪 趙艷杰

1 引言

隨著計算機網絡技術與多媒體的不斷發展，大量的視頻數據隨之產生，如何在大量的視頻數據中找到自己所需的數據成為急需解決的問題，基于內容的視頻檢索技術成為研究熱點。

2 系統框架

系統主要分為視頻處理模塊、數據庫模塊、視頻檢索模塊。如圖1所示。

圖1：系統框架圖

2.1 視頻數據處理模塊

該模塊主要負責將原始視頻進行處理后入庫。先將原始視頻進行鏡頭分割、關鍵幀提取，然后提取對應的特征，最后將多特征進行組織、分析及索引后入庫。

表1：Video數據表

2.2 數據庫模塊

數據庫主要用以存放視頻信息以及特征信息，以SQL SERVER 為開發工具，主要有三張表：視頻信息表、鏡頭片段表、以及關鍵幀特征表。下面簡要介紹一下這三張表：

Video：為基本視頻數據表，包含視頻ID、文件名、文件路徑及視頻幀數。見表1。

Segment：為視頻片段表，包含它屬于的視頻ID、自身ID、開始時間及結束時間、鏡頭特征。見表2。

MainFrame：為關鍵幀表，包含屬于視頻片段的ID、自身ID、關鍵幀存放路徑、圖像特征。見表3。

表2：Segment數據表

表3：MainFrame數據表

圖2：系統初始界面圖

2.3 視頻檢索模塊

該模塊主要負責提供給用戶一個可視的檢索界面，用戶通過該界面輸入待查詢的視頻或圖片，通過提取特征與數據庫內容匹配后完成查詢并將結果顯示給用戶，若用戶對檢索結果不滿意，可對顯示結果進行反饋，通過用戶反饋信息進而動態地調整多特征權值以達到理想的檢索結果。

圖3：視頻入庫實例

3 視頻檢索算法

檢索內容可分為單一幀與多幀的視頻。采用相關反饋算法。

圖4：視頻檢索實例

3.1 特征提取

用戶輸入單一幀時，提取圖像的HSV特征作為顏色特征，灰度共生矩陣以及tamura特征作為紋理特征，并對數據進行歸一化，輸入多幀時，在提取顏色、紋理特征的同時提取鏡頭長度，并進行歸一化。

3.2 確定初始權重

3.3 計算視頻相似度

mij表示為測度，采用歐式距離。

特征相似度：

總相似度：

S表示查詢片段Vq與數據庫視頻Vs的總體相似性。根據S(Vq, Vs)得到數個與查詢視頻相似的視頻片段RT。然后分別根據相似度FHSV、FGLCM、FTAMURA、Fshot得到四個視頻集合RT1、RT2、RT3、RT4。用戶反饋為score，值為[-1,1]內任一值，-1表示為不相關，1為相關。若RTi中某一視頻片段在RT中，則Wij=Wij+score，否則Wij=Wij。然后對權值進行歸一化：

4 系統界面與性能測試

4.1 運行界面

在這個系統中，用戶可以存儲視頻，也可以對視頻進行檢索。初始運行界面如圖2所示，當選擇視頻入庫時，關閉初始界面，彈出入庫界面，如圖3所示，在此界面上可以進行視頻的選擇、播放、視頻幀的獲取以及視頻信息的顯示，進行操作時需連接數據庫，然后進行關鍵幀提取，系統可直接將相關信息存入數據庫內。

當用戶選擇視頻檢索時，彈出檢索界面，如圖4所示。在這個界面中，用戶可以通過輸入圖像或視頻進行檢索，當返回結果不理想時，用戶通過滾動條對查詢內容進行評分（相關為1，不相關為-1），系統接收反饋信息后調整權值返回下一輪檢索結果，直至檢索結果符合用戶需求，同時用戶能對選中結果進行播放和查看主要信息。

4.2 性能測試

實驗中，在數據庫存儲了40個視頻片段，道路監控：17段，自然景色：12段，建筑及其他：11段，以matlab2015a為平臺進行測試。用戶可以選擇查詢視頻或者單一視頻幀，當結果不滿意時，可進行反饋。在用戶多次反饋之后，檢索結果中部分其他類別的視頻片段被移除，且順序在前的若干視頻片段與查詢片段的相似程度最大，用戶可以只關注結果中的前若干個視頻片段。對于不同類型的視頻，經過三次反饋都可以取得相對理想的結果。由于道路監控畫面變換小，顏色相似，紋理單一，對于道路監控進行檢索的效果較其他倆種類型的視頻片段效果更好。

4 結束語

基于內容的視頻檢索具有廣闊的前景，綜合利用了數據庫和計算機視覺研究領域中各方面的技術，是當前計算機視覺、視頻數據庫與數據挖掘等領域研究的熱點。文章分別從系統框架、模塊分析、運行界面對基于內容的視頻檢索系統進行了設計，并實現了視頻文件的存儲、視頻檢索、視頻鏡頭分割、關鍵幀提取、系統設計等內容。在檢索算法中采用了多特征與基于權值的相關反饋技術的結合，同時將檢索內容分為視頻片段和視頻幀進行檢索，測試結果表明：系統可自動提取信息存入數據庫，且在進行檢索時，經過用戶的多次評分式反饋達到理想的結果。