圖像多角度局部特征提取及相似性匹配技術研究

徐望明，石漢路

（武漢科技大學 信息科學與工程學院，湖北 武漢 430081）

圖像特征提取是計算機視覺應用的根本基礎。提取穩定而具有區分性的圖像特征對于后續的一系列圖像處理操作的效果具有重大的影響。圖像的特征可分為全局特征和局部特征。由于全局特征難以應對圖像畸變、遮擋、裁剪等情形導致其應用場合十分有限，近年來圖像局部不變特征得以重視并飛速發展。然而，在大多數應用中，使用的是單一的局部特征。單一屬性的局部特征只能描述圖像某一方面的特性。局部特征的提取方法有多種，可以用多種性質互補的局部特征，即多角度局部特征，對圖像內容形成多角度、更全面的描述。提取圖像的多角度局部特征后，往往需要研究如何利用這些特征進行圖像間相似性匹配，從而滿足目標識別、圖像檢索等計算機視覺應用。基于稀疏編碼的圖像相似性匹配算法具有較少的空間與時間開銷，能夠適應大規模圖像數據庫的實時處理要求。

文中選取了SIFT、LBP、HOG這3種典型的圖像局部特征作為多角度局部特征的實例，它們分別描述了圖像的斑點區域特性、局部紋理特性和局部形狀特性，結合基于稀疏編碼的圖像相似性匹配算法，并通過基于內容的圖像檢索實驗驗證了綜合使用多角度局部特征相比單一局部特征能得到更高的檢索正確率。

1 圖像多角度局部特征提取算法

1）SIFT特征提取算法

SIFT（Scale Invariant Feature Transform，尺度不變特征變換）算法是David Lowe于2004年提出的一種對圖像縮放、旋轉、光照變化甚至遮擋和裁剪等保持不變性的特征提取算法。SIFT特征描述了圖像的斑點（Blob）區域特性。

SIFT特征生成主要包括下面4個步驟[1-2]：

第1步：尺度空間極值檢測。在高斯差分尺度空間中求出局部極值作為潛在的特征點。

第2步：精確定位特征點。去掉潛在特征點中的低對比度點和不穩定的邊緣點，得到真正的特征點。

第3步：特征點方向分配。根據特征點鄰域內點的梯度方向，為確定的特征點分配主方向。

第4步：生成特征描述向量。將特征點周圍鄰域分為4×4個子區域，對每個子區域在8個方向上進行梯度方向直方圖統計得到4×4×8=128維的特征描述向量。

這樣每幅圖像可提取得到一個128維的SIFT特征矩陣。

2）LBP特征提取算法

LBP（local binary patterns，局部二值模式） 最初由 Ojala等人[3]提出，表述了灰度圖像某像素點與周圍像素點灰度值的大小關系。LBP算子描述了圖像的局部紋理特性。原始的LBP算子定義在3×3窗口內，以窗口中心像素灰度值為閾值，將窗口內相鄰的8個像素灰度進行二值化，按照一定的權值將二值化結果組成一個8位二進制數，即得該點的LBP值。像這樣由整個圖像可以得到一個對應的LBP響應圖像，這個響應圖像的直方圖就是LBP特征。

為提高LBP特征的表達能力，Ojala等對原始的LBP特征進行擴展和改進。計算特征時不再局限于3×3窗口，而擴展到由參數R和P決定的圓域上，R和P分別代表設定的采樣半徑和圓周上的等間隔采樣點數。為提高算子區分性，Ojala等提出了統一模式 （uniform patterns）LBP 特征 LBPu2D，R，在將對應的二進制位串視為循環串的情況下，如果串中包含的從0至1和從1至0的總的跳變次數不超過兩次，則稱它為統一模式。統一模式的意義在于，在LBP直方圖計算過程中只為統一模式分配單獨的直方圖收集箱（bin），而所有非統一模式被放入一個公用收集箱中。

文中LBP采用的是取P=8，R=1時的Uniform（統一）模式LBP，對圖像劃分為若干小塊后統計各塊子區域內像素的LBP特征的統計直方圖向量，統計時為全部的58個統一模式分配57個收集箱 （其中全0和全1放入同一收集箱），全部的非統一模式放入一個收集箱，共58個不同模式。最終每幅圖像都得58維的LBP特征向量矩陣。

3）HOG特征提取算法

HOG （Histograms of Oriented Gradients， 梯度方向直方圖）算法由法國的Dalal于2005年提出[4]，目前它已經是目標檢測領域里優秀的算法之一。HOG特征描述了圖像的局部形狀特性。

HOG算法的具體的實現方法是：首先將圖像分成具有部分互相重疊的區間（Block），每個區間由 2×2 個單元（Cell）組成，每個單元（Cell）由若干像素區域組成（文中為10×10像素區域），然后計算這些區域中各像素點的梯度方向直方圖并歸一化，直方圖將0～360°平分形成9個bin，這樣每個區間（Block）被描述成一個4×9=36維向量，最后把這些直方圖組合起來就構成了HOG特征向量矩陣。

2 基于稀疏編碼的圖像相似性匹配算法

經過局部特征提取后，圖像的視覺內容由一組高維特征向量的集合來表示。圖像數據內容的差異性導致各個向量集的大小是不同的。圖像的相似性匹配問題轉化為兩個大小不一致的高維向量集的相似性匹配問題。在大規模圖像數據庫中，這些局部特征的數據數量十分龐大，直接利用它們進行圖像相似性匹配將產生巨大的空間與時間開銷。基于稀疏編碼的圖像相似性匹配算法，利用稀疏編碼將圖像的局部特征集轉化為更高維的稀疏特征向量[5]，然后通過計算稀疏向量之間的相似性（可由向量的距離函數來度量）得到圖像之間的相似性，從而大大降低了時間與空間復雜度。

記 X=[x1，x2，…，xn] （xi∈Rd×1）為輸入矩陣（每列是一個特征向量），表示d維空間中的一組包含n個局部特征向量的集合，即圖像的“局部特征集”表示；B=[b1，b2，…，bn] （bi∈Rd×1）為基矩陣（每列是一個基向量），表示由k個基向量構成的視覺詞典，可由訓練圖像學習得到；S=[s1，s2，…，sn]（si∈RK×1）為系數矩陣（每列是一個系數向量），表示k利用視覺詞典進行稀疏分解得到輸入矩陣X的稀疏編碼矩陣。則對特征向量的稀疏編碼過程可以表示成下面的優化問題：

其中‖bk‖2≤1，k=1，2， …，K。 ‖Xi-Bsi‖2表示重構誤差，|Si|是稀疏性的懲罰函數，λ為規則化參數，用于權衡重構誤差和稀疏約束。

文中在此基礎上，綜合使用多角度局部特征，使之擁有更全面的圖像信息表達能力。如圖1所示，借助圖像庫提取得到的每種特征庫進行訓練得到的各自的視覺詞典，分別為每個圖像的局部特征矩陣進行稀疏編碼，對得到的稀疏編碼矩陣進行最大值合并（max pooling），從而得到同維度的高維特征向量。這樣，每幅圖像由提取得到的3種局部特征分別獲取各自的稀疏特征sc_sift，sc_lbp，sc_hog，再按照一定的權重進行首尾相連能得到一個融合了多角度信息的稀疏特征向量sc_sift-lbp-hog。

圖1 稀疏特征向量形成過程示意圖Fig.1 Schematic diagram of the forming process of sparse feature

這樣，每幅圖像能用一個包含圖像多種局部信息的高維稀疏向量來描述。不同于直接進行圖像局部特征之間的相似性匹配，此時圖像的相似性匹配問題轉化為向量之間的相似性匹配問題，可用向量的距離函數來衡量，距離越小越相似。用這個稀疏特征向量來描述圖像的特征，相比單一特征對圖像進行了更全面的描述，又具備全局特征的形式，因而這樣的特征既具備了較強的圖像局部信息描述能力，又能夠適應大規模數據庫中的圖像處理要求。

3 基于稀疏編碼的圖像檢索實驗

實驗時使用如圖2所示的ZuBuD數據庫[6]中全部的1 005幅圖像作為數據庫。ZuBuD庫中共有201個不同場景，每個場景各有5張不同圖片。每組各取一張圖片，對201張圖片對應的每種特征庫進行采樣smpN個向量進行訓練，得到具有K個基向量的視覺詞典。利用詞典對全部的1 005張圖片的特征矩陣進行編碼，從而將每幅圖像用一個K維的向量進行表示。然后，用向量間的距離來衡量圖像之間的相似性程度。實驗中取 smpN=20 000，K=1 024。

檢索性能評價標準為查準率或查全率。對于一幅查詢圖像，定義n為檢索出的相關圖像數，T為檢索出的總圖像數，N為所有的相關圖像數，則其查準率和查全率分別定義為：

圖2 ZuBuD圖像庫中的圖像示例Fig.2 Image examples in ZuBuD image database

根據ZuBuD庫的特點，設定這里的T=N=5，故查準率與查全率是相等的，本文用平均查準率來衡量新特征用在檢索上的準確性。將這1 005張圖片逐個當作查詢圖像，進行5-近鄰檢索。分別計算3種特征單獨編碼檢索和3種稀疏編碼特征按一定權值聯結得到的新特征檢索的平均查準率。結果如表1和表2所示。

表1 單稀疏特征檢索的平均查準率Tab.1 Average precision for single spares feature based retrieval

表2 多角度稀疏特征檢索的平均查準率Tab.2 Average precision for multi-view sparse feature based retrieval

在文中實驗條件下，新特征最高能取得75%的查準率，比其中任一單一特征的稀疏特征進行檢索的平均查準率提高至少7%。由此可見，相比單一局部特征，綜合利用多角度局部特征進行圖像檢索，能夠得到更高的檢索正確率。即多角度局部特征對圖像局部信息具有更全面的描述與區分能力。

4 結束語

文中主要研究了SIFT、LBP、HOG等多角度圖像局部特征提取算法以及基于稀疏編碼的圖像相似性匹配算法，在ZuBuD數據庫上進行圖像檢索實驗驗證了算法有效性和高效性。研究結果表明：綜合利用多角度局部特征，相比單一局部特征，能夠更全面地描述圖像信息；對提取的多角度局部特征進行稀疏編碼，能獲取表征圖像本質內容的全局向量表示形式，同時具有全局特征和局部特征的優點；基于稀疏編碼的圖像相似性匹配算法，以一定的精度損失為代價，時間與空間開銷很少，能夠適應大規模圖像數據庫的實時處理要求。

[1]David G L.Distinctive image features from scale invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[2]David G L.Object recognition from local scale-invariant features[C]//International Conference on Computer Vision，Washington，DC，USA：IEEE Computer Society，1999：1150-1157.

[3]Ojala T，Pietikinen M，Maenpaa T.Multiresolution gray scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[4]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，San Diego，CA，USA，2005：886-893.

[5]Yang Jian-chao，Yu Kai，Gong Yi-hong，et al.Linear spatial pyramid matching using sparse coding for image classification[C]//IEEE Conference on Computer Vision and Pattern Recognition， Miami， FL，2009：1794-1801

[6]ZuBuD Image Database[EB/OL].[2012-08-20].http：//www.vision.ee.ethz.ch/showroom/zubud.