基于感知哈希和視覺詞袋模型的圖像檢索方法

楊文娟，王文明，王全玉，汪俊杰

基于感知哈希和視覺詞袋模型的圖像檢索方法

楊文娟，王文明，王全玉，汪俊杰

(北京理工大學計算機學院，北京 100081)

針對移動增強現實中圖像檢索技術耗時長導致的實時性不高的問題，提出了一種基于感知哈希和視覺詞袋模型結合的圖像檢索方法。圖像檢索過程中，在保證一定正確率的基礎上加快了檢索速度。首先，對數據集圖像使用改進的感知哈希技術處理，選取與查詢相似的圖像集合，達到篩選圖像數據集的作用；然后，對相似圖像集使用視覺詞袋模型進行圖像檢索，選取和查詢圖像中目標一致的目標圖像。實驗結果表明，該方法相比較視覺詞袋模型算法檢索的平均正確率提高了3.2%，檢索時間縮短了102.9 ms，能夠滿足移動增強現實中圖像檢索的實時性要求，為移動增強現實系統提供了有利的條件。

圖像檢索；感知哈希技術；視覺詞袋模型；特征點提取

增強現實技術的目標是增強用戶對真實世界的感知[1]，方式是通過3D模型或文字提示信息與用戶所觀察的真實環境進行融合。隨著網絡質量提升和移動智能終端處理能力增強，增強現實技術在移動智能終端的實現成為可能，促進了移動增強現實的發展。通過移動智能終端的攝像頭獲取查詢圖像，利用圖像檢索算法獲取目標圖像，進而加載相應的增強信息與真實場景進行虛實結合，最后輸出顯示到移動終端屏幕。圖像檢索是移動增強現實應用中的關鍵技術之一。

根據描述圖像內容方式的不同，圖像檢索分為基于文本的圖像檢索和基于內容的圖像檢索。基于內容的圖像檢索重點是利用圖像特征來進行檢索。用戶圖像檢索的過程是用戶提供一個查詢圖像，首先獲取查詢圖像的特征，接著與數據庫中圖像數據集的特征集合進行比較，最終將與查詢圖像相似的圖像返回給用戶[2]。常用的圖像檢索方法有視覺詞袋模型(bag of visual words，BoVW)[3]、局部特征聚合描述符[4]以及Fisher向量[5]。BoVW算法[6]被廣泛使用，該算法有離線訓練和在線檢索2個過程。離線訓練需要完成訓練圖像集的碼本訓練和保存；在檢索階段，檢索時間不會隨著樣本數目增加而發生大幅增長，但是其檢索正確率相對較低[7]。針對小規模樣本集的圖像檢索，在保證一定檢索正確率的前提下需要找到一種耗時少且能滿足實時性的圖像檢索方法。因此通過結合感知哈希算法( perceptual hash algorithm，PHA)和BoVW算法，本文提出了一種基于感知哈希和視覺詞袋模型的圖像檢索方法。

PHA-BoVW方法包括2部分：①預處理，對訓練集進行圖像哈希技術處理，每張圖像用哈希序列表示，通過查詢圖像與訓練集圖像的哈希序列計算相似度排序，篩選出相似圖像集；②圖像識別，對相似圖像集提取特征點和計算描述子，并對圖像特征點進行聚類構建詞典，根據已建立的詞典，對相似圖像集的圖像建立對應碼本，通過查詢圖像的碼本與相似圖像集的碼本之間漢明距離計算找到最小值，確定集合中的目標圖像。

1 整體架構

隨著移動智能終端的處理能力的增強，移動終端可以實現部分復雜的圖像處理工作，于是本文采用圖1的客戶端/服務器(C/S)架構[8]，在移動終端計算查詢圖像的特征點、哈希編碼，上傳特征點信息和哈希編碼到服務器端，在服務器端進行圖像檢索，發揮移動終端的圖像處理能力，能在服務器端實現快速圖像檢索。最終找到目標圖像及其對應的增強信息，將增強信息返回客戶端與查詢圖像融合展示給用戶，實現移動增強現實應用。

圖1 C/S架構

2 算法介紹

2.1 感知哈希算法

任意分辨率的圖像經過感知哈希技術處理，可用幾十位或幾百位的二進制序列表示一張圖像，這個二進制序列稱為哈希編碼。哈希編碼的二進制形式大大節省了內存空間，而且加快了檢索速度，同時感知哈希技術簡化了圖像檢索[9]。在檢索階段只需計算查詢圖像哈希編碼，計算查詢圖像哈希編碼與訓練圖像哈希編碼之間的漢明距離，按距離排序并返回相似圖像集[10]，該過程如圖2所示。此過程實現縮小檢索范圍的目的。

圖2 圖像感知哈希技術

圖像感知哈希技術的步驟如下[11]：

步驟1.縮小尺寸。將圖片統一縮小尺寸，變成×的像素。主要目的是快速去除高頻、細節、不同尺寸和比例帶來的差異，只保留結構明暗。

步驟2.簡化色彩。將步驟1處理的圖片轉為×級灰度，也就是圖像中包含最多×種顏色。

步驟3.計算平均值。計算×個像素的灰度平均值。

步驟4.比較像素的灰度。像素灰度平均值與所有像素點的灰度值依次比較作差。差值大于或等于0像素記為0；小于0記為1。

步驟5.計算哈希編碼。將步驟4每個像素得到的結果組合，組成一個×位的二進制序列，也就是該圖片的指紋。二進制序列的位置排序沒有限制，但是所有圖片應該采用一致的次序[12-13]。

2.2 視覺詞袋模型

視覺詞袋模型屬于基于內容的圖像檢索中的算法，其實現主要依賴于圖像特征提取和詞典構建[14]。

視覺詞袋模型算法的步驟如下[15-17]：

步驟1.特征提取。在訓練階段，將一個圖像劃分為“塊” (patch)。其中選取特征提取算法是關鍵步驟，提取的每個圖像關鍵點都是一個patch，每一個patch用128維特征向量表示[15]。

步驟2.詞典構建。假設有幅訓練圖像，提取圖像集合中全部的patch，用K-means++算法對patch集合進行聚類，當K-means++收斂時，得到類相當于詞典中有個不同的單詞，代表單詞的數量，過程如圖3所示。

步驟3.詞典表示。首先設置一個維數、值全為0的直方圖，代表詞典中的單詞量，計算查詢圖像所有patch與詞典中各個單詞的距離，根據距離排序大小，找到與每個patch距離最近的單詞，在直方圖上找到對應單詞的坐標，對應計數上加1，所有patch計算完畢后進行歸一化處理，得到的歸一化的直方圖，即圖像的向量化，使得圖像可用維向量表示。

步驟4.圖像檢索。訓練圖像同樣使用維向量表示，對用戶給出的查詢圖像，計算查詢圖向量與所有訓練圖向量之間距離，并返回距離值排序最小的若干幅。

圖3 BOVW詞典構建

特征提取是BoVW算法的關鍵步驟之一，在很大程度上決定了算法的性能[18]。選用4張1200×801的圖像場景(圖4)，分別用尺度不變特征變換[19]、加速魯棒特征[20]和ORB (oriented FAST and rotated BRIEF)算法[21]提取特征點，對比常用的3種特征提取算法(表1)，ORB算法既保證了提取特征點的數量，又加快了提取速度，而且描述符占用空間小，因此本文選取ORB算法作為本文特征提取的算法。

圖4 4張場景圖例

表1 3種特征提取算法對比

2.3 ORB算法

ORB特征是基于oFAST關鍵點檢測和rBRIEF描述符提取2部分改進組成[22]。

2.3.1 oFAST

圖像特征點檢測：采用圖像的尺寸金字塔，每層都需要提取FAST特征，完成特征點的多尺度不變性。Harris角點檢測[22]方法是對所有特征點計算排序，取前個點為特征點。

灰度質心法定位：灰度質心法計算角點的灰度與質心之間的偏移向量，并將偏移量的方向設定為關鍵點的方向，該向量可用于定位[23]。在一個小的圖像塊中，定義圖像塊的矩為

通過矩可以找到圖像塊的質心[19]，即