面向基于內容圖像檢索的圖像感知Hash

裴 蓓， 王朔中， 倪麗佳

(上海大學通信與信息工程學院，上海200072)

隨著圖像獲取手段和互聯網的快速發展，數字圖像的數量激增，對海量圖像進行快速而準確的搜索成為一個重要課題.目前百度和Google等搜索引擎仍采用基于文本(索引)的圖像檢索(text-based image retrieval，TBIR)方法.這種方法常搜索出大量的無關圖像，在許多情況下難以滿足實際需求，因此，研究者針對基于內容的圖像檢索(content-based image retrieval，CBIR)展開了廣泛的研究.

圖像Hash又稱為圖像摘要或圖像指紋，它是從數字圖像中提取的基于內容特征的認證碼，是一種單向映射.與密碼學Hash函數有所不同，在密碼學中，明文的任何微小改變都會使Hash值發生重大變化;而對于圖像，Hash應該對不改變內容的常規處理具有穩健性，故又可稱為“感知Hash”.圖像Hash應該滿足感知魯棒性、安全性和穩健性的要求，即對于感知相似的兩幅圖像，不管內部數據是否一致，二者的Hash值相同或十分接近的概率很大.當圖像內容發生重要改變時，其對應的Hash值應當出現重大變化.在獲得圖像Hash值的情況下，無法成功恢復原始圖像.利用這種性質，圖像Hash算法可用于圖像的完整性認證［1］以及圖像的檢索［2］.本實驗的重點是研究一種能代表顏色特征和圖像中顯著內容結構形態的圖像Hash，以用于圖像檢索.

CBIR是將提取的圖像特征作為索引表，對不同特征采用不同的相似性算法，通過加權以達到檢索的目的.用圖像Hash作為檢索庫的索引表能很好地反映圖像內容，減少檢索時間，取得良好的檢索效果.

人們利用圖像的統計特征來提取圖像Hash，例如，用圖像Euclidean距離之和與分塊直方圖［3］來表示圖像信息.Venkatesan等［4］從圖像小波分解的子帶中提取統計向量，用密鑰隨機分割子帶，將量化的統計量輸入Reed-Muller糾錯碼的解碼器，產生Hash值.Fridrich等［5］選擇離散余弦變換(discrete cosine transform，DCT)低頻系數.Mihcak等［6］使用迭代法，將3層Haar小波分解的最低頻分量二值化，用來表示圖像信息，因為它們在保持圖像基本內容不變的情況下較為魯棒.Monga等［7］采用非負矩陣分解(non-negative matrix factorization，NMF)，將Hash生成看成圖像矩陣的隨機降維.

本研究提出了一種圖像Hash方法，在顏色分類的基礎上提取亮度、形狀等重要信息作為中間Hash值，再對其進行加權，根據得到的Hash，形成圖像庫的索引表.對一個經典圖像庫［8］進行實驗，將本方法的檢索效果與幾種已有的方法進行比較.實驗結果表明，本研究所提出的Hash方法在用于CBIR時的性能令人滿意.

1 圖像Hash的提取

1.1 顏色分類

在彩色圖像中，顏色的分布包含了與內容有關的豐富信息，從顏色出發對圖像進行分析是CBIR廣泛采用的方法.用于圖像檢索的顏色特征包括顏色直方圖［9］、累積顏色直方圖［10］和顏色距［11］等.本研究通過對顏色進行分類，提取圖像Hash，實現基于內容的圖像檢索.

將圖像從RGB顏色空間轉換到更符合視覺特性的HSV顏色空間，并由此將彩色圖像的像素歸為11類，分別為白色、灰色、黑色、紅色、橙色、黃色、綠色、青色、藍色、紫色和玫紅色，分割方法如表1所示.對彩色圖像進行高斯平滑濾波，并將尺寸規范化為256×256，對預處理后的圖像按顏色類別提取11種顏色成分，如圖1所示.

表1 顏色分類范圍Table 1 Classification of colors

1.2 Hash的構成

圖1 彩色圖像及11類顏色成分Fig.1 Color image and its 11 color components

將圖像轉變為11幅尺寸為256×256的顏色分量后，可從中提取出能反映圖像內容的重要信息構成特征矩陣，作為中間Hash.

1.2.1 顏色特征

提取圖像中每類顏色的像素數目 ni(i=1，2，…，11)為參數，∑ni為圖像的總像素數.為了反映顏色和亮度分布的更多信息，將各類顏色的亮度均值yi作為另一個參數.由于圖像內容的差異，每一類顏色構成的連通域個數與圖像的結構特性有關.每類顏色的連通域數量ki與像素數目有一定的關聯性，可用如下的特征量mi來表征圖像內容的結構特性：

由于圖像尺寸已規格化為256×256，所以ki∈［0，65 535］，若某類顏色不存在，則ki=0.取對數可提高較小ki值的貢獻.mi的值越大表示該類顏色的復雜度越高，值越小則表示該類顏色越單一.

根據上述顏色分類法，圖2(a)～圖2(c)中紅色部分的像素數量占總像素數目的比例分別為16.7%，16.5%和18.8%.如果僅以ni為特征，內容完全不同的圖2(a)和圖2(b)之間比同一個物體的圖2(b)和圖2(c)之間的相似程度還要高，這顯然不符合事實.圖2(a)～圖2(c)的連通域個數分別為1，72和91.根據式(1)，3幅圖像紅色成分的mi值分別為0.11，0.71和0.84，拉開了不同內容圖像之間的距離，拉近了相同內容圖像間的距離.由11個顏色成分的ni，yi和mi，可得到反映顏色分布的3個特征向量N，Y，M.

圖2 顏色分類結果Fig.2 Classification of color components

1.2.2 形態特征

目標的大小和形狀是人類視覺系統識別物體的關鍵信息之一，它不隨周圍環境(如亮度等)的變化而變化，是物體的穩定信息，可在CBIR中加以利用.用于描述形狀的量有Hu不變矩［12］、Fourier形狀描述子［13］等.本研究通過分析各顏色分量中包含的信息來提取形態特征.為了突出各顏色分量中起主導作用的內容，僅以其中的最大連通域作為關注對象，忽略比較分散的其余像素，從各顏色分量最大連通域的大小和形狀兩方面得到反映形態特征的向量.具體做法如下.

首先，提取每一顏色類的最大連通域，再用Canny算子對其進行邊緣檢測，對邊緣所包圍區域的像素數ei進行統計.例如，考慮紅色分量，圖3(a)為原始圖像，圖3(b)為紅色分量，其最大連通域示于圖3(c).將圖3(c)與整幅圖像的邊緣圖相乘，得到紅色分量的最顯著塊，稱為 Canny邊緣顯著圖(edge saliency map，ESM)，如圖3(d)所示.由此求出圖像中11個顏色分量的ei(i=1，2，…，11)，構成向量E.

圖3 紅色分量最大連通域的邊緣檢測Fig.3 Canny edge of the largest connected area of the red component

其次，尋求邊緣顯著圖的形狀特征，分別計算每一類顏色邊緣連通域ESM圖的圓形率和矩形率.令第i類ESM圖中所有像素到其質心的距離集合為Di={dj|j=1，2，…，ei}，其中ei為以上得到的第i個ESM圖中的總像素數.畫出質心距離直方圖，將頻率最大的距離值記為，則圓形率為

各類ESM圖的圓形率構成向量C={ci|i=1，2，…，11}.圓形率可近似看作幾何圖形內切圓與外接圓的半徑之比.對于圓而言，這兩個半徑相等，故圓形率為1.圖4(a)為根據圖像中的圓(半徑歸一化為1)求得的質心距離直方圖，其圓形率為0.98，近似于理論值1，誤差是由數字圖像的離散性所致.圖4(b)和圖4(c)分別為等邊三角形和長寬比為2∶1的矩形的質心距離直方圖，其圓形率分別約為0.45和0.25.圖5為兩幅實際圖像中藍色和綠色分量ESM圖的質心距離直方圖，計算得到的圓形率分別為0.72和0.33.可見，圓形率具有區別物體形狀的能力.

用同樣方法計算各類顏色邊緣連通域ESM圖的矩形率.第i類顏色ESM圖中的總像素數為ei，所在外切矩形的像素數為hi(i=1，2，…，11)，則其矩形率為

矩形的矩形率顯然為1.圖5中的兩幅實際圖像在所研究的顏色類中的矩形率分別為0.81和0.11.圖中可見，矩形率也可用來表征物體形狀.各類ESM圖的矩形率也可構成向量R={ri|i=1，2，…，11}.

綜上所述，得到了反映圖像內容的6個特征向量，合并后構成中間Hash：H=［N Y M E C R］，并對中間Hash賦予不同的權值.本實驗中取顏色特征2倍于形狀特征的量(其實驗認證將在下一節中加以說明)，并組成66維的最終圖像Hash.

圖4 不同形狀的質心距離直方圖Fig.4 Centroid distance histograms of different shapes

圖5 不同圖像藍色和綠色類ESM圖及其質心距離直方圖Fig.5 Centroid distance histograms of ESMs for the bule and green components of different images

2 基于Hash的圖像檢索及實驗結果

在CBIR中，用Hash值之間的歐氏距離來度量查詢圖像與從圖像庫中返回圖像的相似程度，并按從小到大的距離依次排列.實驗使用的數據庫［8］包含有1 000幅大小為256×384(或384×256)的圖像，分為10類，每類100幅.

本研究以一種早期的經典顏色直方圖CH方法［9］和一種近期的CVPCM_CPCM方法［14］為比較對象，后者的性能優于早先提出的 CH_BPH［15］和BCCP_BPH［16］方法.根據CH特性，對每幅圖像在HSV空間上提取一個72維的顏色直方圖.對于CVPCM_CPCM，使用4個大小為64的碼書，以由Y分量得到的64×64大小的CVPCM矩陣和由Cb和Cr分量得到的64×64大小的CPCM矩陣作為圖像特征.對3種方法的測試結果分別計算查準率(precision)和查全率(recall)，即

式中，相關圖像是指同一場景或物體在不同角度或光線下拍攝的圖像.

對于顏色特征和形態特征的權值，本研究分別進行了權值比為0.5，2.0和4.0的實驗比較，結果如圖6所示.圖中可見，顏色特征分量比形態特征分量更重要，權值為2.0時的檢索效果最好，因此，本實驗中權值比取2.0.

圖6 不同權值情況下的Precision-Recall曲線圖Fig.6 Precision-Recall curves of different weights

圖7為使用不同方法進行圖像檢索的實驗實例，其中圖7(a)為查詢圖像.用3種方法分別從數據庫中提取12幅圖像，將搜索結果按各自的相似性測度順序排列，結果如圖7(b)～圖7(d)所示.CH方法在第9～第12幅圖出現了誤判，CVPCM_CPCM在第10和第11幅圖出現了誤判，而用本方法搜索的前12幅圖均與查詢圖像相關.

圖7 不同方法的搜索結果Fig.7 Query results of different algorithms

根據查準率和查全率得到的Precision-Recall曲線如圖8所示.在查全率相同的條件下，本方法的查準率高于CH和CVPCM_CPCM兩種方法.實驗中使用CH，CVPCM_CPCM和本方法對1 000幅圖像提取特征，每幅圖像所需的平均時間分別為0.11，2.78和1.07 s.與CH方法相比，本方法提取特征的計算量較大，這是因為CH僅考慮了顏色因素而忽略了形狀特征，性能不夠理想;而且對圖像庫的特征提取通常是事先完成，存入索引表的，對于檢索速度并無多大影響.另外在檢索速度方面，每幅圖像的平均檢索時間分別為0.01，0.11和0.01 s.本方法的檢索速度與CH相當，比CVPCM_CPCM快約10倍.

圖8 不同方法的Precision-Recall曲線Fig.8 Precision-Recall curves of different algorithms

3 結束語

本研究通過HSV空間顏色分類并結合圖像形態特征提取圖像Hash，實現了基于內容的圖像檢索.由于HSV顏色空間中的H分量反映了圖像彩色信息，因此，由它得到了11類顏色的分量圖，并在此基礎上提取了與顏色、亮度、形態特征有關的參數.由于本方法利用了顏色和形狀的平移、旋轉不變性，充分體現了視覺特性，所提取的反映圖像重要內容的信息構成了特征矩陣，并基于實驗對不同特征進行加權，因此，所構成的圖像Hash能較好地反映圖像內容特征.相比之下，CH和CVPCM_CPCM方法完全忽略了內容的分布和形態信息，容易出現誤判.實驗結果表明，本方法具有良好的檢索效果，而且所提取的特征向量(Hash)較短，有利于提高檢索效率.

［1］ 鐘曉燕，馮前進，陳武凡，等.基于Hash函數敏感性的醫學圖像精確認證［J］.中國圖象圖形學報，2008，13 (2)：204-208.

［2］ 張維克，孔祥維，尤新剛.安全魯棒的圖像感知哈希技術［J］.東南大學學報：自然科學版，2007，37(1)：188-192.

［3］ SCHNEIDERM，CHANGS F.A robust content based digital signature forimage authentication［C］∥Proceedings of the IEEE International Conference on Image Processing.1996：227-230.

［4］ VENKATESANR，KOONS M，JAKUBOWSKIM H，et al.Robust image hashing［C］∥ Proceedings of the IEEE International Conference on Image Processing.2000：664-666.

［5］ FRIDRICHJ，GOLJANM.Robust hash functions for digital watermarking［C］∥ Proceedings of the IEEE InternationalConference on Information Technology：Coding and Computing.2000：178-183.

［6］ MIHCAKK，VENKATESANR.New iterative geometric techniques for robust image hashing［C］∥ Proceedings of the ACM Workshop on Security and Privacy in Digital Rights Management.2001：13-21.

［7］ MONGAV，MIHCAKM K.Robust and secure image hashing via non-negative matrix factorizations［J］.IEEE Transactions on Information Forensics and Security，2007，2(3)：376-390.

［8］ LIJ.Photography image database［EB/OL］.［2011-12-01］.http：∥www.stat.psu.edu/～jiali/index.download.html.

［9］ SWAIN M， BALLARD D. Color indexing ［J］.International Journal of Computer Vision，1991，7(1)：11-32.

［10］ KOTOULASL，ANDREADISI.Color histogram contentbased image retrieval and hardware implementation［J］.IEEE Transactions on Circuits，Devices and Systems，2003，150(5)：387-393.

［11］ BAIX，LIUW J.Research of image retrieval based on color［C］∥ International Forum on Computer Science Technology and Applications.2009：283-286.

［12］ CHENQ，PETRIUE，YANGX L.A comparative study of Fourier descriptors and Hu’s seven moment invariants for imagerecognition［C］∥ Canadian Conference on Electrical and Computer Engineering.2004：103-106.

［13］ MAG Z，TONGQ.Shape feature extraction using Fourier descriptorswith brightnessin content-based medical image retrieval［C］∥International Conference on Intelligent Information Hiding and Multimedia Signal Processing.2008：71-74.

［14］ YUF X，LUOH，LUZ M.Colour image retrieval using pattern co-occurrence matrices based on BTC and VQ［J］.Electronics Letters，2011，47(2)：100-101.

［15］ QIUG.Color image indexing using BTC［J］.IEEE Transactions on Image Processing，2003，12(1)：93-101.

［16］ GAHROUDIM R，SARSHARM R.Image retrieval based on texture and color method in BTC-VQ compressed domain［C］∥ 9th International Symposium on Signal Processing and Its Applications.2007：1-4.