一種均勻分布匹配點(diǎn)的無(wú)人機(jī)低空影像匹配方法

王亮亮

(中國(guó)鐵路設(shè)計(jì)集團(tuán)有限公司，天津 300251)

無(wú)人機(jī)系統(tǒng)具有結(jié)構(gòu)簡(jiǎn)單、成本低、風(fēng)險(xiǎn)小、靈活機(jī)動(dòng)、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)，已在多個(gè)行業(yè)中得到廣泛應(yīng)用[1]。影像匹配是將無(wú)人機(jī)應(yīng)用于各行業(yè)的關(guān)鍵，基于特征的影像匹配方法具有穩(wěn)定性強(qiáng)、對(duì)噪聲不敏感等優(yōu)點(diǎn)[2]。其中，點(diǎn)特征定位精度高，是目前最常用的匹配方法。Lowe于1999年提出尺度不變特征轉(zhuǎn)換(SIFT)算法[3]；加速特征提取(SURF)算法由Bay等在SIFT算法的基礎(chǔ)上改進(jìn)，可加快特征檢測(cè)、特征描述速度，提高特征匹配效率[4]；隨著無(wú)人機(jī)影像分辨率的不斷提高，傳統(tǒng)SURF算法的弊端也逐漸顯現(xiàn)，其提取的特征點(diǎn)冗余度大，且位于特征明顯處，(如山區(qū)的山脊山谷線、房屋角點(diǎn)、交叉點(diǎn)等)，若以此為樣本集求解轉(zhuǎn)換參數(shù)，易造成局部最優(yōu)而整體效果較差，進(jìn)而影響圖像配準(zhǔn)、圖像拼接等后期工作的精度[5]。

研究表明，影像配準(zhǔn)精度取決于控制點(diǎn)的空間分布質(zhì)量。因此，可通過(guò)空間分布約束來(lái)獲取均勻分布的特征點(diǎn)。SEDAGHAT等提出均勻分布魯棒性SIFT(UR-SIFT)算法，首先確定特征點(diǎn)的總數(shù)量，再通過(guò)計(jì)算圖像內(nèi)極值點(diǎn)數(shù)目、對(duì)比度均值和熵均值自適應(yīng)控制尺度空間每層影像子塊的特征點(diǎn)數(shù)量，是一種較好的控制特征點(diǎn)均勻分布算法[6-7]； SOURABH PAUL等改進(jìn)UR-SIFT算法，在特征點(diǎn)篩選階段提出分布特征選擇(DFS)算法，提高了特征點(diǎn)的分布質(zhì)量[8]；AMIN SEDAGHAT等將UR-SIFT的思想應(yīng)用于SURF算法中，在每一組尺度空間將影像劃分為規(guī)則格網(wǎng)，取強(qiáng)度排序靠前的特征點(diǎn)，使檢測(cè)的特征點(diǎn)在影像空間內(nèi)趨于均勻[9]。但由于子塊圖像信息的不均勻性，格網(wǎng)內(nèi)保留的特征點(diǎn)仍然分布不均。

在SURF算法特征描述方面，AMIN SEDADGHAT等認(rèn)為描述旋轉(zhuǎn)不變特征降低了其區(qū)分能力，缺失部分空間信息增加了錯(cuò)誤描述的幾率[10]；在特征匹配方面，ZHANG SHENG等利用雙向匹配策略，提高了傳統(tǒng)SURF算法的配準(zhǔn)速度和精度[11]；周亮君等針對(duì)基于普通PC架構(gòu)的圖像處理速度較慢，難以滿足圖像數(shù)目多、分辨率大、達(dá)不到實(shí)時(shí)性要求等問(wèn)題，提出基于圖形處理器(GPU)的快速圖像處理方案，并實(shí)現(xiàn)GPU并行加速的圖像處理[12]；AMIN SEDAGHAT等在影像中提取Harris、UR-SIFT、MSER 3種類(lèi)型的特征點(diǎn)，基于聚類(lèi)的方法對(duì)參考影像在每一個(gè)簇中進(jìn)行一致性檢測(cè)，使用局部仿射變換模型不斷剔除誤差最大的關(guān)鍵點(diǎn)，使得剩余匹配點(diǎn)對(duì)的RMSE<1[13]。由此可見(jiàn)，增加約束條件的特征匹配可以獲得更好的結(jié)果。

基于以上研究，提出一種均勻分布U-SURF(U U-SURF)算法，并選取4組不同序列的無(wú)人機(jī)高分辨率影像進(jìn)行實(shí)驗(yàn)分析，證明該方法在無(wú)人機(jī)影像匹配中的適用性。

1 傳統(tǒng)SURF算法

1.1 特征點(diǎn)檢測(cè)

“SURF”算法中，引入積分圖像和框狀濾波器來(lái)改進(jìn)SIFT算法的特征檢測(cè)過(guò)程。在建立影像金字塔時(shí)，通過(guò)改變?yōu)V波器尺寸，使算子具有尺度不變性。影像金字塔的每一層都計(jì)算Hessian矩陣檢測(cè)極值點(diǎn)，圖像I(x，y)中的點(diǎn)x在尺度σ處的Hessian矩陣為

(1)

式中，Lxx(x，σ)為高斯函數(shù)二階偏導(dǎo)數(shù)和圖像的二維卷積。

1.2 特征點(diǎn)描述

SURF算法中，計(jì)算特征點(diǎn)鄰域范圍內(nèi)點(diǎn)在正交方向的Harr小波響應(yīng)值，可選擇高斯加權(quán)累加后小波響應(yīng)最大值矢量方向作為關(guān)鍵點(diǎn)的主方向，以保證算子具有旋轉(zhuǎn)不變性。以特征點(diǎn)為中心，擴(kuò)散20s×20s(s為特征點(diǎn)尺度)的正方形鄰域范圍，分為4×4的方格區(qū)域，計(jì)算每個(gè)方格(5s×5s范圍)的Harr小波響應(yīng)，將相對(duì)于主方向的正交方向的小波響應(yīng)值記為dx、dy，以高斯加權(quán)后Harr小波響應(yīng)及其絕對(duì)值的累加值作為一個(gè)四維描述向量(∑dx，∑dy，∑|dx|，∑|dy|)。最終，每個(gè)特征點(diǎn)形成64維描述向量。

2 U U-SURF算法

2.1 特征提取

無(wú)人機(jī)低空遙感影像空間分辨率較高，但地物紋理特征不均勻，在紋理信息密集區(qū)域，提取的特征點(diǎn)數(shù)量過(guò)多，則容易產(chǎn)生聚簇現(xiàn)象。潘建平等采用圖像分塊策略改善提取特征點(diǎn)分布的均勻性[14]；JHAN等通過(guò)計(jì)算不同波段無(wú)人機(jī)遙感影像在SURF算法特征提取的累積分布函數(shù)，確定閾值與檢測(cè)特征點(diǎn)數(shù)量的關(guān)系，根據(jù)累積分布函數(shù)曲線自適應(yīng)確定閾值，控制提取特征點(diǎn)的數(shù)量，但沒(méi)有使特征點(diǎn)均勻分布[15]。

信息熵常被用于圖像包含信息量豐富程度的度量，特征點(diǎn)匹配可能性與特征區(qū)域的信息熵之間有很大的相關(guān)性，正確匹配概率隨著特征點(diǎn)附近區(qū)域信息量的增加而增大。

圖像的信息熵E定義為

(2)

式中，k為圖像包含的灰度級(jí)；pm為整幅圖像中灰度值為m的像素出現(xiàn)的概率。

“U U-SURF”算法中，將待檢測(cè)影像進(jìn)行分塊，以每個(gè)子塊作為算法輸入，影像塊總數(shù)量為n，單幅影像提取的特征點(diǎn)總數(shù)量為N，根據(jù)影像子塊信息熵確定在子塊中獲取的特征點(diǎn)數(shù)量。則

(3)

(4)

式中，W為影像寬度；H為影像高度；WG為格網(wǎng)尺寸；Ei為影像中第i個(gè)子塊的信息熵值；Ni為每個(gè)子塊預(yù)先確定的檢測(cè)點(diǎn)數(shù)量。

為使影像中每個(gè)子塊都可以檢測(cè)到一定數(shù)量的特征點(diǎn)，宜設(shè)置低閾值進(jìn)行特征提取，在每一個(gè)影像子塊中，引入四叉樹(shù)索引和最優(yōu)化篩選策略，確保影像塊內(nèi)保留特征點(diǎn)的空間均勻分布，同時(shí)兼顧特征點(diǎn)穩(wěn)定性。四叉樹(shù)索引和最優(yōu)化篩選策略的步驟如下。

①設(shè)該圖像塊為一個(gè)整體，即四叉樹(shù)的初始節(jié)點(diǎn)，得到初始的四叉樹(shù)結(jié)構(gòu)； ②將初始節(jié)點(diǎn)劃分為4個(gè)子節(jié)點(diǎn)，若子節(jié)點(diǎn)中無(wú)特征點(diǎn)，則刪除該節(jié)點(diǎn)，否則將節(jié)點(diǎn)再次劃分成4個(gè)子節(jié)點(diǎn)； ③重復(fù)進(jìn)行步驟②，直至節(jié)點(diǎn)總數(shù)量不小于該圖像子塊設(shè)置的特征點(diǎn)提取數(shù)量Ni，或者達(dá)到最大的節(jié)點(diǎn)個(gè)數(shù)，不再進(jìn)行節(jié)點(diǎn)劃分； ④在每個(gè)節(jié)點(diǎn)代表的矩形區(qū)域內(nèi)，將特征點(diǎn)根據(jù)響應(yīng)值排序，保留穩(wěn)定性高的特征點(diǎn)。

四叉樹(shù)劃分特征點(diǎn)的過(guò)程見(jiàn)圖1，其中，(a)表示將圖像塊作為四叉樹(shù)的初始節(jié)點(diǎn)；(b)表示初始四叉樹(shù)結(jié)構(gòu)的第一次劃分；(c)表示在子節(jié)點(diǎn)有特征點(diǎn)的情況下繼續(xù)劃分；(d)中可以看到部分節(jié)點(diǎn)中不包含特征點(diǎn)，沒(méi)有繼續(xù)劃分；(e)表示該圖像塊保留一定數(shù)量特征點(diǎn)的四叉樹(shù)劃分結(jié)果。

圖1 四叉樹(shù)劃分特征點(diǎn)示意

2.2 特征描述與匹配

無(wú)人機(jī)影像獲取過(guò)程中，通過(guò)預(yù)先設(shè)計(jì)飛行路線，使無(wú)人機(jī)拍攝影像曝光點(diǎn)位于航線上。理論上，相鄰影像同名點(diǎn)鄰域的特征不存在旋轉(zhuǎn)變換。攝影測(cè)量規(guī)范規(guī)定像片旋角一般不大于15°，且隨著無(wú)人機(jī)技術(shù)的不斷發(fā)展，無(wú)人機(jī)飛行更加穩(wěn)定，序列相鄰影像之間的旋轉(zhuǎn)角可以忽略。實(shí)驗(yàn)發(fā)現(xiàn)，在無(wú)人機(jī)序列相鄰影像匹配過(guò)程中，U-SURF算法可以獲取到更多的粗匹配點(diǎn)。

無(wú)人機(jī)影像中，高空間分辨率特征使得特征匹配異點(diǎn)同質(zhì)現(xiàn)象更為明顯，雙向匹配策略可以在很大程度上消除該影響，去除大量誤匹配點(diǎn)對(duì)。熊威等設(shè)置勞氏比例閾值為0.65，利用比值提純法篩選特征點(diǎn)[16]；SOURABH PAUL等對(duì)SAR影像采用交叉匹配策略進(jìn)行初匹配，利用快速隨機(jī)一致性算法進(jìn)行提純，計(jì)算局部仿射轉(zhuǎn)換模型剔除誤匹配點(diǎn)對(duì)[17]。為提高匹配點(diǎn)對(duì)的特征強(qiáng)度，U U-SURF算法中，設(shè)置比例閾值為0.6，并對(duì)匹配點(diǎn)對(duì)進(jìn)行雙向匹配。

2.3 匹配點(diǎn)對(duì)均勻分布

研究表明，匹配點(diǎn)對(duì)空間分布對(duì)基礎(chǔ)矩陣的估計(jì)非常重要，保證匹配點(diǎn)的空間分布質(zhì)量有利于提高基礎(chǔ)矩陣評(píng)估的正確性，提高匹配正確率[18]。提出根據(jù)匹配點(diǎn)對(duì)的行列坐標(biāo)值進(jìn)行均勻分塊的方法，將待配準(zhǔn)影像按一定的分塊間隔進(jìn)行坐標(biāo)區(qū)域分塊，每一塊中保留性能評(píng)價(jià)最高的匹配點(diǎn)，達(dá)到匹配點(diǎn)對(duì)的均勻分布。假設(shè)某坐標(biāo)區(qū)域內(nèi)有m個(gè)特征點(diǎn)，以特征點(diǎn)的海森矩陣響應(yīng)值、鄰域信息熵和相似性距離歸一化加權(quán)和作為評(píng)價(jià)指標(biāo)，響應(yīng)值表達(dá)特征點(diǎn)穩(wěn)定性，相似性距離大小表示匹配點(diǎn)對(duì)特征的相似性程度，而鄰域信息熵代表特征點(diǎn)周?chē)畔⒌呢S富性。

記fj為區(qū)域內(nèi)每個(gè)特征點(diǎn)的得分值，Hj、Ej、Dj分別為特征點(diǎn)歸一化的響應(yīng)值、信息熵值和相似性距離，則

fj=WHHj+WEEj+(1-WH-WE)Dj，j=1，2，…，m

(5)

式中，WH、WE分別為特征點(diǎn)響應(yīng)值和鄰域信息熵的權(quán)重因子。

影像匹配的精度和魯棒性取決于同名點(diǎn)對(duì)的分布質(zhì)量，依據(jù)特征點(diǎn)的空間分布和信息可熵計(jì)算空間分布質(zhì)量(DQ)[19]，計(jì)算公式為

(6)

(7)

式(7)中，wi為第i個(gè)特征點(diǎn)的權(quán)重；以待配準(zhǔn)影像中特征點(diǎn)的局部鄰域信息熵作為權(quán)重。

2.4 誤匹配點(diǎn)剔除

影像匹配精度取決于控制點(diǎn)的精度和分布質(zhì)量，為進(jìn)一步提高同名點(diǎn)對(duì)的精度，需要進(jìn)一步篩選。基礎(chǔ)矩陣F可以描述兩幅影像之間的匹配關(guān)系，在空間幾何上反映點(diǎn)和直線的極線約束關(guān)系，其不受地物地形起伏的影響，可保留數(shù)量較多的匹配點(diǎn)。定義基礎(chǔ)矩陣與匹配點(diǎn)對(duì)之間的計(jì)算公式為

X′TFX=0

(8)

(9)

式(9)中，(x，y)為基準(zhǔn)圖像的點(diǎn)；(x′，y′)為目標(biāo)圖像的點(diǎn)；f11～f33是模型參數(shù)，一般采用8點(diǎn)法計(jì)算基礎(chǔ)矩陣。

為衡量提高匹配點(diǎn)對(duì)均勻分布質(zhì)量能否獲取穩(wěn)定性高的基礎(chǔ)矩陣，采用匹配正確率(CMR)對(duì)極線約束效果進(jìn)行評(píng)價(jià)[20]。使用均方根誤差(RMSE)評(píng)價(jià)影像匹配精度，RMSE越小，表明匹配精度越高[21]。

3 仿真實(shí)驗(yàn)及結(jié)果

3.1 實(shí)驗(yàn)數(shù)據(jù)

選取4組不同地物類(lèi)型的無(wú)人機(jī)序列影像進(jìn)行實(shí)驗(yàn)，各取1對(duì)相鄰影像進(jìn)行匹配研究，影像詳細(xì)參數(shù)見(jiàn)表1， 4對(duì)影像的待匹配圖像見(jiàn)圖2。

表1 影像詳細(xì)參數(shù)

3.2 U-SURF算法與SURF算法對(duì)比結(jié)果

分別利用U-SURF算法和SURF算法進(jìn)行特征匹配，統(tǒng)計(jì)其特征檢測(cè)點(diǎn)平均數(shù)量和粗匹配點(diǎn)數(shù)量，結(jié)果見(jiàn)圖3(a)。可以明顯看出，U-SURF算法在4對(duì)不同地物類(lèi)型的影像中粗匹配點(diǎn)數(shù)量均高于SURF算法，體現(xiàn)出無(wú)人機(jī)序列影像匹配中該方法的適用性。為進(jìn)一步證明U-SURF算法提高匹配點(diǎn)數(shù)量的效果，從4組序列影像中各隨機(jī)選取20對(duì)相鄰影像進(jìn)行初匹配，結(jié)果平均值見(jiàn)圖3(b)。忽略各組影像之間檢測(cè)點(diǎn)數(shù)量、粗匹配點(diǎn)數(shù)量的不一致性，僅對(duì)U-SURF算法和SURF算法粗匹配點(diǎn)數(shù)量進(jìn)行對(duì)比，可認(rèn)為U-SURF算法更適用于無(wú)人機(jī)序列影像特征匹配。

圖3 SURF、U-SURF算法粗匹配數(shù)量對(duì)比

3.3 U U-SURF算法影像匹配結(jié)果

以影像對(duì)c為例，分析U U-SURF算法在特征點(diǎn)均勻性分布、匹配點(diǎn)均勻性及配準(zhǔn)精度等方面的優(yōu)勢(shì)。SURF算法、U U-SURF算法在待匹配影像中提取特征點(diǎn)的分布情況見(jiàn)圖4。可以看出，SURF算法提取的特征點(diǎn)集中在特征明顯的區(qū)域，道路、田地等紋理特征相似區(qū)域無(wú)特征點(diǎn)；而U U-SURF算法提取的特征點(diǎn)分布較均勻，即使在紋理信息缺乏或噪聲干擾較大的區(qū)域，也可以提取一定數(shù)量的特征點(diǎn)。

圖4 特征點(diǎn)分布情況

特征點(diǎn)提取之后，需要進(jìn)行粗匹配、精匹配等過(guò)程并篩選出質(zhì)量好的同名點(diǎn)對(duì)，不同算法特征匹配效果對(duì)比見(jiàn)表2。U U-SURF算法參數(shù)設(shè)置：WG=200，N=10 000，WH=0.3，WE=0.3。

表2 不同算法特征匹配效果對(duì)比

從表2可以看出，“U U-SURF”算法控制特征提取數(shù)量，且低閾值雙向匹配會(huì)嚴(yán)格限制粗匹配點(diǎn)數(shù)量，均勻分塊策略在兼顧匹配點(diǎn)分布均勻性的同時(shí)，將每一塊內(nèi)加權(quán)分值最高的點(diǎn)保留，從而提高了匹配點(diǎn)對(duì)的空間分布質(zhì)量，得到的基礎(chǔ)矩陣更穩(wěn)定，提高了匹配正確率和匹配精度。

3.4 U U-SURF算法影像匹配對(duì)比結(jié)果

基于U-SURF算法和本文提出的“U U-SURF”算法，對(duì)4對(duì)不同類(lèi)型的無(wú)人機(jī)影像匹配結(jié)果進(jìn)行對(duì)比，設(shè)置影像分塊間隔200，U-SURF算法中海森矩陣閾值為800，“U U-SURF”算法閾值為100，控制特征點(diǎn)數(shù)量N=10 000，在雙向匹配約束后進(jìn)行匹配點(diǎn)對(duì)均勻分塊提取的間隔為20，匹配結(jié)果見(jiàn)表3。

表3 不同地物類(lèi)型影像匹配對(duì)比結(jié)果

由表3可知，相較于U-SURF算法，“U U-SURF”算法在4對(duì)不同類(lèi)型的無(wú)人機(jī)序列相鄰影像匹配中都有一定程度的優(yōu)勢(shì)。

a對(duì)影像地物類(lèi)型是地形復(fù)雜的山區(qū)，山脊溝谷線處灰度變化明顯，雙向匹配策略得到較為精確的匹配點(diǎn)，與SURF算法相比，匹配點(diǎn)對(duì)大幅度減少，但正確率提高6.2%，匹配精度提高0.064。

b對(duì)影像地形平坦，地表裸露，且地表受侵蝕有少量的坑，灰度變化不明顯，紋理特征十分相似，SURF算法特征檢測(cè)數(shù)量少，包含較多錯(cuò)誤點(diǎn)對(duì)；而“U U-SURF”算法提高了檢測(cè)點(diǎn)數(shù)量，嚴(yán)格的篩選策略極大地提高匹配點(diǎn)的質(zhì)量和正確率，匹配正確率達(dá)到88.4%，匹配精度提高了0.041。

c對(duì)影像由大量低矮房屋覆蓋，中間有一條道路貫穿，兩側(cè)有小塊農(nóng)田、林地，房屋角點(diǎn)特征強(qiáng)度大，兩種算法匹配正確率接近，“U U-SURF”算法提高了匹配點(diǎn)的分布質(zhì)量，進(jìn)而提高了匹配精度。

d對(duì)影像紋理特征弱，雙向匹配策略消除大量誤匹配點(diǎn)，分塊策略大幅提高了匹配點(diǎn)對(duì)的分布質(zhì)量，匹配精度提高了0.114。

為進(jìn)一步驗(yàn)證“U U-SURF”算法在無(wú)人機(jī)序列影像匹配中的適用性，分別從4組序列影像中隨機(jī)選取20對(duì)相鄰影像進(jìn)行影像匹配實(shí)驗(yàn)，結(jié)果均值見(jiàn)表4。

表4 不同序列影像在U U-SURF算法下匹配結(jié)果均值

4 結(jié)論

針對(duì)高分辨率無(wú)人機(jī)遙感影像匹配過(guò)程，在分析無(wú)人機(jī)影像特點(diǎn)的基礎(chǔ)上，提出一種均勻分布匹配點(diǎn)的“U U-SURF”算法。實(shí)驗(yàn)分析得到以下結(jié)論。

(1)無(wú)人機(jī)序列影像特征匹配過(guò)程中，忽略特征點(diǎn)的主方向能夠提高匹配點(diǎn)對(duì)數(shù)量，以提高特征點(diǎn)區(qū)分性。

(2)“U U-SURF”算法可以在影像紋理信息缺乏的區(qū)域提取出特征點(diǎn)，并保證特征點(diǎn)的均勻分布，提高了匹配點(diǎn)對(duì)的空間分布質(zhì)量。

(3)“U U-SURF”算法在計(jì)算效率、匹配正確率、匹配精度等方面均有一定的優(yōu)勢(shì)，且對(duì)不同地物類(lèi)型的影像均有較好的適應(yīng)性。