融合矢量量化與LBP 的圖像檢索算法

冀 鑫，冀小平

(太原理工大學 信息工程學院，山西 太原 030024)

基于內容的圖像檢索技術主要依據圖像所具有顏色、紋理、形狀、空間關系等特征，提取這些特征，然后對這些特征進行相似度對比，并對圖庫中圖像進行排序，從而實現圖像檢索的目的［1］。目前，顏色特征提取的算法大多如文獻［2］一樣對顏色空間的三個分量非均勻量化，優點是運算簡單，缺點是量化結果失真較大，顏色量化不精準。紋理特征的提取方法較多，例如文獻［3］用小波變換提取出紋理，更好地與人類視覺系統結合。文獻［4］提出的基于圖像灰度共生矩陣的算法，克服了傳統的共生矩陣計算復雜的問題，采用分波段、分塊處理數據，提高了算法的效率。

針對目前基于顏色的圖像檢索算法在提取顏色特征失真較大的問題，提出融合顏色特征和紋理特征的檢索算法，在顏色特征提取時采用矢量量化提取顏色特征，將彩色圖像轉化到HSI 顏色空間，對查詢圖像矢量量化，形成碼書，統計查詢圖像各個碼字出現的頻數，形成顏色直方圖，完成顏色特征提取。當前將矢量量化應用于顏色空間量化實現圖像檢索的相關研究并不多，將矢量量化融合其他特征檢索方法也并不常見。考慮到矢量量化在顏色提取過程中計算量較大，本文在紋理特征提取時，采用容易理解、計算復雜度較低、鑒別能力較強的局部二進制算法(LBP)［5］，采用灰度空間圓形鄰域的LBP(P，R)算子，得到圖像中每個像素點的LBP 值，利用直方圖形式展現紋理特征，解決了傳統的依靠單一特征來檢索圖像的不足。最后，相似度計算通過顏色相似度和紋理相似度加權平均來度量，通過改變顏色特征和紋理特征的權值，得到最佳的查準率。本文以檢索金針花為例，對算法進行了詳細闡述，同時還對檢索結果進行了客觀評價，整體算法的檢索流程如圖1 所示。

1 顏色特征提取

圖像中廣泛存在的RGB 彩色空間是一種與硬件相關的顏色模型，但它與人類的視覺感官差距比較大［6］。所以直接在RGB 顏色空間提取顏色特征、計算相似度，最終達到的檢索結果不太理想。因此為了滿足人類視覺的需求，選用HSI顏色模型。

圖1 檢索流程圖

1.1 HSI 顏色空間及矢量量化

1.1.1 HSI 顏色空間

HSI(Hue－Saturation－Intensity)模型用H、S、I 3 個參數描述顏色特性，它是由Munseu 提出的一種顏色模型，其中H為色調，S 為飽和度，I 為亮度或強度［7］。在HSI 顏色空間處理圖像，處理結果更符合人類的視覺感知。RGB 到HSI 轉換公式為

1.1.2 矢量量化

矢量量化是從k 維歐幾里得空間Rk映射到其一個有限子集C 的過程，即:Rk→C，其中C={Y1，Y2，…，Yi，…，YN|Yi∈Rk}稱為碼書，N 為碼書長度［8］。映射關系應滿足:Q(X|X∈Rk)=Yi，其中X=(x1，x2，…，xk)為Rk中的k 維矢量，Yl=(yl1，yl2，…，ylk)為 碼 書 C 中 的 碼 字，并 且 滿 足:d(X，Yl)=min(d(X，Yi))其中d(X，Yi)為矢量X 與碼字Yi之間的失真度。因而只要輸入一個矢量X 必然能在碼書C中找到合適的碼字Yi與它對應，使該碼字與輸入矢量X 的失真度達到碼書中所有碼字最小。

1.2 顏色特征提取

1.2.1 生成查詢圖像碼書

本文選取的查詢圖像為256×256 的JPG 格式金針花彩色圖像，如圖2 所示。

圖2 金針花

以下是生成碼書的過程:

1)生成查詢圖像的初始碼書。設定碼書長度N=32。MATLAB 中讀入圖像是由RGB 形式保存，轉換為HSI 模型，形成3×256×256 矩陣。在仿真實驗中，將訓練樣本(3×256×256 矩陣)通過隨機函數(randn)選擇32 個樣本作為初始碼書。

2)進行迭代訓練。每次迭代中，每一個訓練矢量Xi=(注:每一點HSI 三個參量作為一個訓練矢量)與碼書中的各個碼字Yj(j=1，2，…，32)相比較，找到與該訓練矢量最相近的一個碼字Yk，并把所有與Yk最相近的訓練矢量歸為一類，這樣一共有32 類，這一步叫劃分胞腔過程。然后求出每個胞腔中訓練矢量與其對應在碼書中最相近的碼字Yk的距離平方之和，得到此次劃分胞腔進行迭代的平均失真Ln。若此次劃分的平均失真Ln與上次劃分的平均失真Ln－1之間的相對誤差εn符合設定的失真誤差ε，則停止劃分，否則求出各胞腔的中心矢量作為新的迭代碼書，重新劃分胞腔。本文失真相對誤差為ε=0.001。查詢圖像的碼書生成過程如圖3 所示。

圖3 矢量量化形成查詢圖像碼書

1.2.2 形成顏色直方圖

通過矢量量化查詢圖像，得到查詢圖像的碼書，按照碼書對查詢圖像進行編碼，統計查詢圖像中各個碼字出現的頻數，并用直方圖形式直觀地表達出來，完成對圖像顏色特征的提取，其中直方圖的橫坐標為碼書中碼字編號(1，2，…，32)，直方圖的縱坐標為圖片矢量量化后，統計得出碼字的頻數。在MATLAB7.11.0(R2010b)中仿真，對圖2 提取出的顏色直方圖如圖4 所示。

圖4 顏色直方圖

2 紋理特征提取

紋理是一種普遍存在的視覺現象，可認為是灰度在空間以一定的形式變化而產生的圖案模式［9］。紋理特征不同于顏色特征，它所反映的信息不僅僅是單一的像素點，還與該像素點周圍其他灰度分布情況聯系緊密。圖像中紋理特征提取的方法主要有基于分形維數提取法、小波提取法、灰度共生矩陣提取法等［10］。本文使用局部二進制模式(LBP)算法提取紋理特征。

2.1 LBP 算法

局部二進制模式(Local Binary Patterns，LBP)最早是為一種有效的紋理描述算子提出的，由于其對圖像局部紋理特征的卓越描繪能力而獲得廣泛使用［11］。基本的LBP 算子思路是:以圖像中某一像素點為中心，將該點的灰度值作為閾值，大于此閾值的記作1，小于此閾值的記作0，對其周圍3×3 的8 個鄰域進行二值化，按照約定的順序(以鄰域的某一點開始順時針或者逆時針)二值化，最終得到一個8 位二進制數，將此8 位二進制數轉化為十進制數(0～255)作為該點的LBP值［12］。本算法使用的是基本LBP 算子推廣以后的圓形鄰域的LBP(P，R)算子，其中下標P 表示P 鄰域，R 表示圓形鄰域的半徑，圖5 給出了一個半徑為2 的8 鄰域像素的圓形鄰域。每個方格對應一個像素，對于正好處在方格中心的鄰域點(左、上、右、下4 個黑點)，直接以該點所在方格的像素值作為它的值;對于不在像素中心位置的鄰域點(斜45°方向的4個黑點)，通過雙線性插值確定其值。

例如，圖5 所示，位于圖像中第i 行和第j 列的中心點灰度為I(i，j)和8 個鄰域點，為計算左上角2 點的值，需要利用其周圍4 個像素點(4 個空心點)進行雙線性插值。首先分別算出2 個十叉點A、B 的水平插值，A 點的值根據與之同一行的I(i－2，j－2)以及I(i－2，j－1)的線性插值得到

同理B 點值為

左上角2 點灰度值為點A 和點B 的豎直線性插值

當所有8 個點的灰度值都求出以后，計算中心點I(i，j)的LBP 值公式為

例如，圖6 每個方格中的數字代表灰度值，中心灰度值為5。利用上面的方法得出鄰域8 個點的像素值，從中心點正左側對應點開始順時針依次是2，6，6，8，4，5，4，8。所以該中心點對應的二值模式是01110101。根據式(2)，LBP(8，2)=117。

5 雙線性插值計算灰度值

圖6 計算LBP(8，2)的值

2.2 紋理特征提取

首先在MATLAB 中通過rbg2grey 函數將彩色圖像轉化為灰度圖像。其次利用圓形鄰域的LBP(8，2)算子，逐一掃描圖像，得出每一個像素點的LBP(8，2)值。最后生成LBP 圖，結果如圖7。

在實驗中，把LBP 值(0～255)平均分成32 個區間，求出查詢圖像中LBP 值落在每個區間的頻數，得到LBP 直方圖如圖8，完成紋理特征的提取。

圖7 實驗得到LBP 圖

圖8 LBP 直方圖

3 圖像相似度計算

圖像顏色特征和紋理特征提取之后，接下來的問題是如何將這兩特征融合計算特征相似度。本文在結合兩特征相似度時，采用加權平均的方法。

由于兩種特征最后都形成特征直方圖，所以兩種特征在計算相似度的時候，采用相同的度量方法。查詢圖像經過特征提取獲得特征向量X 為32 維，圖庫中第k 個圖像經過特征提取得到32 維的特征向量Y。則二者的距離公式為

分別求出查詢圖像與圖庫中圖像的相似度距離dk(k=1，2，3，…，n)，再將所有距離分別除以最大距離，得到最終的特征距離Dk=(k=1，2，…，n)，距離Dk為一組0～1 之間的一維組數，用Dk來衡量圖像特征相似度。為了好區別顏色與紋理特征相似度，記為圖庫中第k 個圖像與查詢圖像的顏色特征距離為圖庫中第k 個圖像與查詢圖像的紋理特征距離。采用加權平均來融合顏色和紋理的特征距離，最終圖庫中第k 個圖像與查詢圖像的距離為

式中，wc為顏色特征的權值，wt為紋理特征的權值，且wc+wt=1，經過距離計算得到Sk是0～1 之間的數，Sk越小越相似，Sk=0 所對應的圖像為查詢圖像，Sk=1 為與查詢圖像最不相似的圖像。根據Sk從小到大排序輸出查詢結果。

4 實驗結果及算法分析

首先，為了驗證檢索算法的可行性，在MATLAB7.11.0(R2010b)中，采用融合矢量量化和LBP 的檢索算法對金針花進行檢索仿真，實驗結果如圖9 所示。

圖9 實驗結果

其次，為了驗證算法檢索的精準度，實驗對植物、動物、風景分別進行檢索。為了達到算法性能評價的可靠性，植物類選取了花100 幅圖片(其中花的種類不同、形狀不同、顏色不同)，動物類同樣選取了100 幅圖片，風景類也選取了100 幅圖片進行檢索。通過改變顏色特征權值wc和紋理特征權值wt，統計出各類圖片的查準率，計算出整體平均查準率。平均查準率(Averprecision)計算公式為

實驗結果統計數據見表1。

由表1 數據可見，當顏色特征與紋理特征比重相等即wc=wt=0.5 時，平均查準率達到最高為0.86。

最后，為了驗證算法的檢索性能，將本算法與傳統顏色直方圖算法和文獻［13］檢索算法進行對比，通過計算查全率和查準率，繪制曲線如圖10 所示，顯然本算法要優于其他兩種算法。原因:1)顏色特征提取采用矢量量化算法，在量化時按照查詢圖像來生成碼書，在檢索不同的圖像時，查詢圖像碼書是按照查詢圖像變化而變化的，提取出的顏色特征更能體現出查詢圖像本身存在的顏色信息;2)紋理提取采用LBP 算法，通過雙線性插值確定LBP 值;3)本算法融合了顏色和紋理特征，彌補依靠單一特征來檢索圖像的不足。

表1 平均查全率

圖10 平均檢索性能比較

5 小結

本文針對圖像檢索，提出了基于矢量量化與LBP 的圖像檢索算法。本算法通過矢量量化，根據檢索圖像來形成檢索碼書，能夠很好地保留圖像的顏色信息，融合LBP 算法完成紋理特征，彌補顏色特征忽略空間分布不足。在MATLAB 7.11.0(R2010b)中仿真本算法，實驗結果表明本算法的查準率和查全率遠高于單一的基于顏色的圖像檢索算法，同時，證明了本算法的可行性和可靠性。

［1］葉佳.彩色圖像的超復數整體檢索和客觀質量評估的研究［D］.上海:復旦大學，2007.

［2］邱芹軍，譚家政，蔡大偉，等.基于多特征融合的圖像檢索算法［J］.三峽大學學報:自然科學版，2014，36(1):94－98.

［3］舒彬，王軍鋒，陳惠惠，等.基于小波變換的圖像檢索算法［J］.計算機工程，2011，37(3):236－240.

［4］任國貞，江濤.基于灰度共生矩陣的紋理提取方法研究［J］.計算機應用與軟件，2014，31(11):190－192.

［5］尚燕，安濤，李春明.一種改進的抗噪和旋轉不變紋理圖像分類算法［J］.電視技術，2013，37(9):38－41.

［6］趙晨煒.基于模糊聚類的彩色圖像分割方法的研究［D］.武漢:武漢理工大學，2012.

［7］鄭美珠，趙景秀.基于區域一致性測度的彩色圖像邊緣檢測［J］.計算機應用，2011，31(9):2485－2488.

［8］陳倩.基于遺傳LBG 的圖像矢量量化改進算法［J］.計算機科學，2012，39(7):280－281.

［9］許元飛.基于紋理的圖像檢索算法研究［J］.西安科技大學學報，2013，33(7):470－474.

［10］肖鵬，徐軍，陳少沖.紋理特征提取方法［J］.電子科技，2010，23(6):49－51.

［11］李菊，余燁，戴歡，等.基于顏色和LBP 多特征的meanshift 的跟蹤算法［J］.合肥工業大學學報:自然科學版，2014，37(5):578－581.

［12］HEUSCH G，RODRIGUEZ Y，MARCEL S.Local binary patterns as an image preprocessing for face authentication［C］//Proc. FGR 2006.［S.l.］:IEEE Press，2006:9－14.

［13］李雪艷，冀小平.基于分塊顏色特征和相關反饋的圖像檢索技術［J］.電視技術，2013，37(7):29－32.