互信息在圖像檢索中的應用

盛仲飆

互信息在圖像檢索中的應用

盛仲飆

介紹了一種用互信息來衡量相似性圖像檢索方法。該方法首先生成一種在統計上有代表性的視覺模式，使用這種模式的分布作為圖像內容的描述符；基于該內容描述，設計了其互信息的計算方法以衡量圖像的相似性。實驗結果表明，在圖像檢索中，相對于其它如KL散度和L2規范等方法，互信息是一種更為有效的衡量相似性的方法。

圖像檢索; 互信息；高斯金字塔；顏色直方圖

0 引言

基于內容的圖像索引和檢索是目前計算機視覺、圖像數據庫與知識挖掘領域最活躍的研究熱點之一。 它直接對圖像進行分析和抽取特征，利用這些描述圖像內容的特征建立索引；其實質是一種近似匹配的技術，采用某種相似性度量對圖像庫中的圖像進行匹配，以獲得查詢結果。

相似性測度是圖像索引中的一個關鍵環節，測度的選擇是否合理，直接影響到圖像檢索的準確性。互信息作為一種相似性測度方法有很多優點，首先，互信息測量了變量之間的普遍性統計關系。其次，對于變量的單調線性變換，其互信息是不變的；再次，互信息能夠直觀說明相似性大小。利用互信息作為相似性的衡量標準，檢索結果是和樣本圖像具有最大的互信息的圖像，或者說，這些被檢索的圖像應該能表達樣本圖像的最大信息量[1-5]。

1 互信息相似度量的圖像表示

圖像的內容描述往往采用顏色和紋理特征[1]。圖像的表示方法對相似性測量效果有直接的影響。在沒有標準的圖像內容表示法時，本文采用了這樣的一種方法：學習統計上有代表性的視覺模型，它同時描述了圖像紋理和顏色分布特性。

首先把一個給定的圖像分解成一個多層次的高斯金字塔，在每一級，該圖像由對立的色彩空間來表示，令表示圖像金字塔的第級圖像，這些圖像然后轉換到一個對立空間。用空間，在每一級形成像素的圖像補丁（塊）。令為第l級圖像補丁，對于每一個補丁塊，我們建立的向量了形式如公式（1）

其中，al 是非彩色外觀向量，cl 是Bl(i, j)塊的彩色向量。對于各級金字塔，使用單一均勻尺寸（4×4像素）的塊，它覆蓋的了原圖像的中面積為4×4，8×8，16×16，32×32，...的像素區域，覆蓋面積取決于向量在金字塔的哪一級。然后，使用矢量量化來為非彩色向量（所有分辨率）和彩色向量（依然是所有分辨率）設計各自的碼本。顯然非彩色向量為16維，彩色向量為8維。

設計好的碼本就可以代表圖像的內容，一個圖像通過如下四個步驟來檢索：

（1）將圖像分解成一個L級高斯金字塔；

（2）對于每個l級（l = 1, 2, …, L），將圖像分成4×4塊（相互可以交疊），對每一塊，通過(1)來計算消色差和彩色向量，并且根據各自的碼本，對這些向量進行編碼。

（3）對于每個l級（l = 1, 2, …, L）,構建一個非彩色視覺模式直方圖和彩色視覺模式直方圖, 這些直方圖記錄在對圖像塊進行編碼時每個碼字的出現頻率。

（4）連接各級消色差和色彩直方圖來構建最終圖像符。

3 互信息及其計算

假設X = (x1, x2, …, xn), Y = (y1, y2, …, yn)是二進制碼的直方圖，xi 和 yi 是相應直方圖的第n個二進制數。X 和Y 的互信息[3,10,13]定義為公式（2）：

其中，H(X) 是X直方圖的香農熵，由二進制數的概率分布計算可得。此處的香農熵不同于圖像熵，圖像熵可以由二進制數直接計算可得。將X的二進制數設為a，0≤a≤1。二進制數的概率分布可以定義如公式（3）：

其中，δ是狄拉克δ函數。在離散情況下，a是一個不連續的量，積分用“和”來代替。 H(X|Y) 是基于條件概率P(X = a | Y = b)的條件熵，在Y的值為b的情況下X為a的概率。

熵是一種不確定性度量。因此，方程式（2）的含義為當直方圖X的不確定度減去直方圖Y(Y的內容)已知時X的不確定度。因此，當Y已知時，X的不確定度減少的量為交互信息I(X; Y)，或者說，Y包含了關于X的信息量。交互信息是對稱的，也就是說I(X; Y) = I(Y; X)，因此互信息也是x中包含的關于Y的信息量。

互信息也可以定義為直方圖的聯合概率分布為公式（4）：

估計直方圖X和Y的聯合概率P(a, b)=P(X=a, Y=b)，最簡單的辦法就是計算相應的二進制碼值的共生矩陣。共生矩陣可以記為CM(a, b)，它記錄了二進制量X (其值為a)與相應的二進制量Y(其值為b)一致的次數。這與應用于紋理特性的共生矩陣類似公式(8)。基于圖像配準的交互信息使用了一種類似的方法來估計兩個圖像的聯合概率[6]。聯合概率通過記錄除以共生矩陣記錄的總次數來獲得聯合概率。P(X=a) 和P(Y=b)的邊緣分布可以通過共生矩陣的行和或者列和得到。

聯合概率也可以使用Parzen窗口技術來估計得到[7]。假定vi = (xi, yi)，uj = (xj, yj)為對應X，Y的二進制值，vi = (xi, yi)聯合概率可以定義為：

4 實驗結果

大量實驗來研究基于交互信息的圖像檢索的性能。我們所使用的數據庫是Corel庫存圖像數據的集合。對于每張圖像，我們都使用了3級高斯金字塔，彩色和消色差模式的密碼長度都是64位。

在實驗中，我們進一步定義了2種基于交互信息的相似性度量方式。歸一化的互信息定義為公式（6）：

信息距離測度(MID)定義為公式（7）：

其中，H(X, Y)為相關平均信息量，MID滿足距離公理：MID(X, Y) ≥ 0, MID(X, X) = 0, MID(X,Y)=MID(Y, X),MID(X,Y)+MID(Y, Z)≥MID(X, Z).

作為比較，我們同樣完成了KL散度測量，標準相關度、歐幾里得距離作為相似性度量。

假定Qi作為第i級查詢圖像，i=1,2…,k,并且令Qi(1), Qi(2),…,Qi(Ni)作為Ni 個查詢圖像Qi的 “正確” 答案。我們定義了如下的平均累計召回措施為公式（8）：

顯然，較大的RC(1)，性能就越好。 我們還定義了下面的精度測量為公式（9）：

同樣，較大的PR(1)所對應的性能越好。選擇3個類動物圖像作為查詢實例和目標圖像，它們是獵豹，老虎，獅子的動物形象。圖像數據庫的總大小是10,000。對于每一種相似性的衡量措施，交互信息（MI），歸一化互信息（NMI），交互信息距離（MID），利用Kullback-Leibler散度（KLD），歸一化相關（NC），和歐氏距離（ED），我們進行了300次查詢，就是每個獅子，老虎，獵豹類別中的圖像都被用來作為一個查詢。這些查詢的檢索率和精確性如圖1和2所示：

圖1.不同相似性度量的召回率

圖2. 不同相似性度量的精確度

從圖1和2可以看出，交互信息衡量相似性的表現優于其他措施。我們注意到交互信息定義量X和Y等于Kullback_Leibler 分散度而且和Kullback_Leibler發散角有密切的關系，事實上，交互信息I(X,Y)介于聯合概率函數P(X，Y)和概率函數p(x)和P(Y)的積之間。然而，我們的結果清楚地表明，相比Kullback_Leibler散度，交互信息是一種更有效的相似性度量手段。

5 總結

在本文中，我們引入了基于交互信息的圖像檢索方法，驗證了可以使用交互信息作為圖像間相似性度量。兩個圖像具有更高的交互信息，意味著知道了一個圖像能表達另一個圖像更多的信息，因此互信息自然是一種衡量圖像間相似性的手段。最后設計了一種計算圖像的視覺直方圖之間交互信息的方法，實驗結果證明了相比于所廣泛使用的方法，交互信息衡量手段具有很大的優越性。這種方法可以很容易地擴展到其他的圖像內容描述符，如顏色相關圖、MPEG-7顏色描述符和其他廣泛使用的圖像描述符。

[1] Minakshi Banerjee, MalayK. Kundu, Pradipta Maji.Content-based image retrieval using visually significant point features, [C]Fuzzy Sets and Systems 2009,160: 3323–3341

[2] Thomas Hurtut, Yann Gousseau, Francis Schmitt, Adaptive image retrieval based on the spatial organization of colors, [J]Computer Vision and Image Understanding, 2008, 112 : 101–11

[3] Maciej A. Mazurowski, Joseph Y. Lo, Brian P. Harrawood, Mutual information-based template matching scheme for detection of breast masses: From mammography to digital breast tomosynthesis, [J]Journal of Biomedical Informatics, 2011, 44: 815–823 815–823

[4] Feng Wanga, Cheng Yang, Zhiyi Lin, Yuanxiang Li, Yuan Yuan, Hybrid sampling on mutual information entropy-based clustering ensembles for optimizations, [C]Neurocomputing, 2010, 73: 1457–1464

[5] 陳偉卿.基于互信息的醫學圖像剛性配準研究[D].大連理工大學,2010:26-30.

[6] 譚立球.基于本體的圖像檢索相關技術研究[D].中南大學,2009(5):65-74.

[7] 陳慶芳.基于分塊互信息的圖像匹配[J].計算機工程與應用,2011,47(9):160-162.

Application of Mutual Information in Image Retrieval

Sheng Zhongbiao
(School of Mathematics and Information Science, Weinan Normal University, Weinan 714000,China)

An approach for image retrieval using mutual information as a similarity measure is presented in this paper. It is based on the premise that two similar images should have high mutual information, or equivalently, the querying image should convey high information about those similar to it. The method first generates a set of statistically representative visual patterns and uses the distributions of these patterns as images content descriptors. To measure the similarity of two images, we develop a method to compute the mutual information between their content descriptors. Two images with larger descriptor mutual information is regarded as more similarity. The experimental results demonstrate that mutual information is a more effective image similarity measurement than others such as Kullback-Leibler divergence and L2 norms.

Image Retrieval; Gaussian Pyramid; Color Histogram.

TP393

A

1007-757X(2014)01-0055-03

2013.12.08)

陜西省教育廳科學研究計劃（自然科學專項）項目(2013JK1165)，渭南市自然科學基礎研究計劃項目（2012KYJ-8）

盛仲飆（1974-），女，陜西渭南人，渭南師范學院數學與信息科學學院講師，碩士，研究方向：網絡計算機應用技術研究，渭南，714000