圖像匹配中的特征點篩選方法

衛(wèi)保國，張玉蘭，周佳明

西北工業(yè)大學(xué) 電子信息學(xué)院，西安710129

圖像匹配技術(shù)在圖像處理領(lǐng)域占重要地位，在計算機視覺[1]、模式識別[2]、遙感圖像處理[3]、醫(yī)學(xué)圖像分析[4-6]等領(lǐng)域都有廣泛應(yīng)用。其本質(zhì)是在拍攝角度、拍攝位置或傳感器等有差異的情況下，對于同一場景所拍攝的兩幅或者多幅圖像進行某種操作與分析，找出圖像之間變換關(guān)系的過程。圖像匹配的方法主要分為基于灰度的匹配算法、基于變換域的匹配算法和基于特征的匹配算法。其中，基于特征的匹配算法是主流的，本文在該匹配方法的基礎(chǔ)上進行研究。

圖像的匹配效果除了受特征檢測算法和匹配方法的影響，還與特征點的質(zhì)量有關(guān)，提取高質(zhì)量的特征點有助于提高圖像匹配的正確率和效率。高質(zhì)量的特征點主要有三個特點：一是無論圖像受到干擾與否，都能檢測到穩(wěn)定的特征點；二是特征點中包含的特征信息具有代表性；三是特征點必須位于明顯的景物邊緣或角點上，同時保證點與點之間有一定的距離，避免密集分布。

為了獲得高質(zhì)量的特征點，以增強圖像的匹配效果，學(xué)者們已經(jīng)進行了相關(guān)研究。針對特征點的穩(wěn)定性問題，吳麗君等人[7]提出了一種基于特征點鄰域灰度值差熵的穩(wěn)定性準則，該準則雖然能有效減少不穩(wěn)定特征點，但可能在局部鄰域內(nèi)，有多個點滿足穩(wěn)定性準則而被保留下來，造成特征點分布密集的情況；向程諭等人[8]利用Harris角點檢測算子篩選SIFT特征點，以剔除圖像邊緣區(qū)域中大量不穩(wěn)定的偽特征點，雖然該方法有效，但Harris 角點對人為設(shè)定的閾值比較敏感。針對特征點的唯一性問題，李嘉祥等人[9]提出脈沖信息流的反饋機制，以獲得視覺注意機制下的代表性特征點；鄒承明等人[10]利用改進的區(qū)域匹配法屏蔽無效區(qū)域，再檢測所有匹配塊上的特征點。針對特征點的顯著性問題，江澤濤等人[11]提出利用優(yōu)化的HC-GHS 顯著性檢測算法得到圖像的顯著性結(jié)構(gòu)圖，然后在顯著性結(jié)構(gòu)圖上檢測特征點，以保證其顯著性；高飛等人[12]提出利用圖像的信息熵，改善特征點分布過于密集的問題，該方法保證了特征點的均勻性，但沒有解決復(fù)雜干擾圖像的匹配問題。由此看來，目前沒有較好的準則來篩選穩(wěn)定性好、唯一性強和顯著性強的特征點。

針對特征點分布密集且重復(fù)提取，而影響匹配精度和效率的問題，本文提出三條特征點篩選準則：穩(wěn)定性準則、唯一性準則和顯著性準則。穩(wěn)定性準則保證篩選出健壯穩(wěn)定的特征點，唯一性準則剔除特征重復(fù)的特征點，顯著性準則保留帶有明顯特征信息的點。利用常用特征檢測算法提取特征點，先對特征點篩選，保證特征點的穩(wěn)定性、唯一性和顯著性，然后計算特征描述向量，最后進行匹配。實驗結(jié)果驗證了所提篩選準則的有效性。

1 特征點篩選準則及方法

1.1 穩(wěn)定性篩選準則及方法

1.1.1 篩選準則

一般情況下，參考圖像和待匹配圖像是在不同拍攝位置、不同角度或不同傳感器下拍攝得到的圖像。如果一個特征點在不同拍攝條件和受到干擾之后依然能被檢測到，則認為該特征點是穩(wěn)定的，利用穩(wěn)定的特征點進行匹配，不僅能加快匹配速度，同時能提高匹配正確率。

準則1（穩(wěn)定性準則）對參考圖像進行干擾變換，若對于原始參考圖像中的任意一個特征點p(x,y)，在以該點為中心的N×N局部鄰域內(nèi)，存在干擾后的參考圖像中的特征點q(x′,y′)，滿足式（1）：

則認為p(x,y)是穩(wěn)定點。

1.1.2 篩選方法

在穩(wěn)定性篩選中，要對參考圖像進行干擾變換，本文選擇模糊、尺度縮放、椒鹽噪聲三種干擾變換且并行實施，以篩選穩(wěn)定的特征點。具體篩選步驟如下所述：

（1）檢測參考圖像的特征點。

（2）對參考圖像依次添加模糊、尺度縮放、椒鹽噪聲干擾，然后對干擾后的參考圖像提取特征點。

（3）對于原始參考圖像的某個特征點，若在受干擾圖像中以該點為中心的N×N局部鄰域內(nèi)，能夠找到對應(yīng)的特征點，則認為該點是穩(wěn)定的，保留此特征點，否則濾除。

（4）遍歷原始參考圖像的所有特征點，根據(jù)步驟（3）篩選出所有穩(wěn)定特征點。

1.2 唯一性篩選準則及方法

1.2.1 篩選準則

如果特征點之間的距離較近，且計算的描述子相似度較大，會導(dǎo)致誤匹配的概率很大，為了保證某個特征點在以其為中心的局部鄰域內(nèi)具有代表性，本文提出唯一性準則來篩選特征點。

對每個特征點進行N×N鄰域搜索，若局部鄰域內(nèi)存在其他特征點，且與中心位置處的特征點相似度很高，則認為中心位置處的特征點唯一性較差，需要濾除。

準則2（唯一性準則）假設(shè)g(p)為中心位置處的特征點p的描述符，g(p′)為在局部鄰域中找到的某個特征點p′的描述符，若兩者的相似度S(g(p),g(p′))滿足式（2）：

則p點具有唯一性，其中T為設(shè)定的閾值。

1.2.2 篩選方法

在唯一性篩選中，根據(jù)特征點對應(yīng)描述符的相似度來判定特征唯一的點。一般情況下，采用歐氏距離衡量描述符的相似性，但歐氏距離只利用了特征點的空間位置信息，弱化了復(fù)雜背景的差異，同時隨著特征向量維數(shù)的增加，查詢點和最近鄰點的期望距離將接近查詢點和最遠鄰點的期望距離，導(dǎo)致誤匹配率增大；而交叉熵[13]直接利用特征點的描述符來衡量其相似性，特征向量維數(shù)的增加不會改變查詢點與最近鄰點、最遠鄰點的距離，故使用交叉熵來判定特征點相似度。交叉熵的計算公式為：

其中，n為描述符的維數(shù)，g(p,i)為特征點p的描述符，為特征點p′的描述符。

根據(jù)篩選準則，使用如下所述的篩選步驟來獲得唯一性強的特征點：

（1）對參考圖像進行特征點提取，并計算特征描述符。

（2）對于某個特征點，在以該點為中心的N×N局部鄰域內(nèi)搜索其他特征點，根據(jù)這兩點的交叉熵與閾值的大小關(guān)系來判斷該特征點是否具有唯一性。交叉熵越大則特征點對應(yīng)的描述符相似度越低，表明特征點的唯一性較好。

（3）遍歷所有特征點，根據(jù)步驟（2）篩選出滿足唯一性準則的特征點。

1.3 顯著性篩選準則及方法

1.3.1 篩選準則

若特征點中含有明顯的特征信息，在匹配時更容易匹配成功，提高正確率，因此提出顯著性準則來篩選顯著的特征點。

若局部區(qū)域的信息量大，則特征明顯；否則特征不明顯，因此可以利用信息量的大小來判斷圖像特征的顯著性[14]。而信息熵反映了圖像中平均信息量的多少，可以利用該值的大小來判斷顯著特征的區(qū)域，再進一步提取顯著特征點。

準則3（顯著性準則）將圖像均勻分割成N×N的子區(qū)域，假設(shè)Hi為第i個子區(qū)域的信息熵，Hˉ為子區(qū)域的平均熵，若滿足式（4）：

則認為該子區(qū)域含有特征顯著的點，其中i=1,2,…,N2。

1.3.2 篩選方法

在顯著性篩選中，使用如下所述的篩選方法完成特征點的篩選：

（1）提取參考圖像和待匹配圖像的特征點。

（2）將參考圖像均勻分割成N×N的子區(qū)域，然后將特征點對應(yīng)到各個子區(qū)域中，并按照響應(yīng)值大小進行排序。

（3）利用式（5）計算各子區(qū)域的信息熵Hi，式（6）計算子區(qū)域的平均熵

其中，n為灰度級數(shù)，Pi表示灰度值為i的像素點數(shù)占圖像總像素點數(shù)的比值。

（4）在局部熵大于平均熵的區(qū)域內(nèi)提取比例為r的響應(yīng)值較大的特征點；為了避免特征點過于稀疏，在其他區(qū)域內(nèi)強制提取出最強響應(yīng)點。假設(shè)表示第i個子區(qū)域的特征點集，mi表示第i個子區(qū)域的特征點數(shù)目，并按響應(yīng)值大小排序，則第i個子區(qū)域篩選出的顯著特征點集為：

比例r的計算公式為：

（5）最后篩選得到的顯著性特征點為：

2 基于特征點篩選的圖像匹配算法

本文所提的特征點篩選準則主要是為了增強匹配效果，且具有通用性，故將其運用到常用的圖像匹配算法中，提出了基于特征點篩選的圖像匹配算法。該算法是在各種常用特征檢測算法的基礎(chǔ)上，提取對應(yīng)特征點后，先對特征點進行篩選，保留穩(wěn)定、特征明顯且唯一的點，再計算特征描述符，利用快速近似最近鄰查找（Fast Library for Approximate Nearest Neighbors，F(xiàn)LANN）算法[15]進行匹配，最后通過隨機抽樣一致性（Random Sample Consensus，RANSAC）算法[16]剔除誤匹配。算法流程圖如圖1所示。

圖1 本文算法流程圖

3 實驗結(jié)果及分析

為了驗證本文所提篩選準則和算法的有效性，采用Mikolajczyk 數(shù)據(jù)集的boats、graf、trees、ubc、leuven 五組圖像序列進行實驗，這五組圖像分別存在不同程度的旋轉(zhuǎn)和縮放、視角變化、模糊變化、壓縮變化和光照變化的情況，且拍攝場景不同，以測試篩選準則的有效性和對不同場景圖像的適用性。每組圖像序列有六幅子圖像，后五幅圖像與第一幅圖像的拍攝場景相同，但采用不同的拍攝參數(shù)。五組圖像序列的部分圖像如圖2 所示。實驗運行環(huán)境采用CPU 為Intel Core i5，3.20 GHz，內(nèi)存為4 GB，64 位Windows 10 操作系統(tǒng)的PC 機。本文實驗的所有算法基于OpenCV 3.4.3，編程語言為C++，編程環(huán)境為Visual Studio 2015。在實驗過程中，穩(wěn)定性準則中局部鄰域N取值為3；唯一性準則中局部鄰域N取值為50，閾值T取值為0.3；顯著性準則中N取值為5。

圖2 實驗所用圖像序列

實驗包括兩部分：準則的有效性及適用性實驗、匹配結(jié)果與分析。先通過對不同變換類型及不同變換程度的圖像篩選特征點，并計算匹配率，來測試篩選準則的性能。然后分別利用SIFT算法[17]和最近提出的KAZE算法[18]提取特征點，將本文所提算法與文獻[19]中的FS算法、傳統(tǒng)匹配算法進行性能對比，測試本文算法的匹配效果，性能指標包括正確率[20]、重復(fù)率[21]和匹配時間。

3.1 性能指標

本文采用匹配正確率、重復(fù)率及匹配時間作為匹配算法的性能評價指標，三種指標數(shù)據(jù)均是10 次實驗結(jié)果求得的平均值。

（1）正確率

正確率P定義為兩幅圖像之間的正確匹配對數(shù)目與總匹配對數(shù)目的比值，計算公式為：

其中，m表示兩幅圖像之間的正確匹配對數(shù)目，n為兩幅圖像的總匹配對數(shù)目。P值越大，匹配算法的精度就越高。

（2）重復(fù)率

重復(fù)率re定義為兩幅圖像之間存在匹配關(guān)系的特征點數(shù)目與兩幅圖像中檢測到的較少特征點數(shù)目之比，計算公式為：

其中，n1和n2分別表示參考圖像和待匹配圖像檢測到的特征點數(shù)目，C(n1,n2)表示兩幅圖像中存在匹配關(guān)系的特征點數(shù)目，min(n1,n2)表示兩幅圖像中檢測到的較少特征點數(shù)目。重復(fù)率是衡量檢測算法的重要指標，該值越大越好。

（3）匹配時間

匹配時間是指利用描述符進行匹配所消耗的時間，不包括特征點檢測及篩選的時間、描述符的構(gòu)造時間[22]。一般進行多次實驗，求取匹配時間的平均值。

3.2 準則的有效性及適用性實驗

為驗證所提篩選準則的有效性及適用性，采用不同拍攝場景和不同變化情況的boats、graf、trees、ubc、leuven五組圖像序列進行實驗，選擇后五幅圖像作為參考圖像，第一幅圖像作為待匹配圖像，提取圖像的KAZE特征點。表1記錄了五組圖像序列的匹配數(shù)據(jù)。

表1 不同變化情況下的圖像匹配數(shù)據(jù)

從表1中可以看出，參考圖像在不同程度的旋轉(zhuǎn)和縮放、視角變化、模糊變化及壓縮變化的情況下，隨著變換的劇烈程度，匹配正確率隨之下降，篩選出的特征點數(shù)目最多為412個，最少為216個，變化的劇烈程度對篩選到的特征點數(shù)目沒有很大影響，這間接證明了所提篩選準則的有效性。在光照情況下，檢測到的特征點數(shù)目較少，篩選后的特征點數(shù)目也隨之減少，但隨著光照減弱，篩選后的特征點數(shù)目由174變?yōu)?39，光照的變化對篩選后的特征點數(shù)目影響不大，這也證明了準則的有效性。此外，實驗所用的五組圖像具有完全不同的背景，但篩選準則依然有效，證明了準則的適用性較強。

3.3 匹配結(jié)果與分析

在匹配效果測試中，選用boats、graf 兩組圖像序列進行實驗，第一幅子圖像作為參考圖像，其他五幅作為待匹配圖像。

利用傳統(tǒng)匹配算法、FS 算法和本文所提算法對兩幅參考圖像提取KAZE 特征點，其中boats 組參考圖像三種算法最終得到的KAZE 特征點數(shù)目分別為5 053、667、327，graf 組參考圖像三種算法最終得到的特征點數(shù)目分別為3 157、467、233，兩組參考圖像的特征點篩選結(jié)果分別如圖3、圖4 所示。藍色表示提取的全部特征點，綠色表示篩除的特征點，紅色表示保留下來的特征點。

從圖3、圖4中可以看出，傳統(tǒng)匹配算法提取的特征點過多，且分布比較密集，F(xiàn)S算法篩選的特征點雖然數(shù)量上減少了，但無法保證穩(wěn)定性和唯一性，本文算法不僅很大程度減少了特征點數(shù)目，同時保證了特征點均勻地分布在整幅圖像中，且保留下來的特征點都具有較強的穩(wěn)定性和唯一性，有利于后續(xù)匹配工作順利進行。

三種算法對兩組圖像序列匹配時的性能對比分別如圖5、圖6所示。可以看出，傳統(tǒng)匹配算法的匹配時間最長，F(xiàn)S算法次之，本文基于特征點篩選準則的匹配算法的匹配時間最短，這是因為傳統(tǒng)算法中參考圖像檢測到的特征點數(shù)目最多，而FS 算法和本文算法篩選后得到的參考圖像的特征點數(shù)目急劇減少（分別是傳統(tǒng)匹配算法特征點數(shù)量的0.13 倍和0.06 倍），因此相似度計算的次數(shù)急劇減少。故相比其他兩種算法，本文算法有效縮短了匹配時間。同時由于剔除了對匹配作用不大的重復(fù)特征點和不夠顯著的特征點，匹配正確率和重復(fù)率都高于其他兩種算法，證明了篩選準則的可行性。

圖3 boats組參考圖像的KAZE特征點篩選結(jié)果

圖4 graf組參考圖像的KAZE特征點篩選結(jié)果

圖5 boats組圖像序列三種算法的性能對比（提取KAZE特征點）

圖6 graf組圖像序列三種算法的性能對比（提取KAZE特征點）

圖7 boats組圖像序列三種算法的性能對比（提取SIFT特征點）

圖8 graf組圖像序列三種算法的性能對比（提取SIFT特征點）

選擇SIFT 傳統(tǒng)匹配算法、FS 算法和本文所提算法進行比較。三種算法對兩組圖像序列的匹配性能對比分別如圖7、圖8所示。

從圖7、圖8可以看出，提取SIFT特征點時，三種匹配算法的性能對比和提取KAZE 特征點時變化趨勢一致。傳統(tǒng)匹配算法的正確率和重復(fù)率仍是最低，F(xiàn)S 算法的正確率和重復(fù)率雖然高于傳統(tǒng)匹配算法，但當(dāng)圖像中存在復(fù)雜的幾何變化時，匹配效果不好；本文所提算法不僅很大程度縮短了匹配時間，同時匹配正確率和重復(fù)率都有很大提高。

4 結(jié)束語

本文提出了一種圖像匹配的特征點篩選方法。在各種常用特征檢測算法的基礎(chǔ)上，利用三條特征點篩選準則來篩選特征點，保留健壯穩(wěn)定且特征唯一的點，同時使得特征點均勻地分布在圖像中。實驗中利用不同變換類型及不同場景的圖像進行測試，驗證了本文所提篩選準則的有效性和適用性；同時將本文算法與其他算法分別從正確率、重復(fù)率和匹配時間三種性能指標進行對比，實驗結(jié)果表明，本文算法的匹配正確率和重復(fù)率、匹配速度都優(yōu)于其他兩種算法，整體性能更好。今后將研究混合特征點的篩選和圖匹配。