Dense SIFT與改進(jìn)最小二乘匹配結(jié)合的傾斜航空影像匹配方法

楊幸彬，呂京國(guó)，張丹璐，成 喆

(北京建筑大學(xué)測(cè)繪與城市空間信息學(xué)院，北京 102616)

傾斜攝影測(cè)量技術(shù)可以快速獲取到地物豐富的側(cè)面紋理信息，因此被廣泛應(yīng)用于城市真三維模型重建，然而由于傾斜影像間存在較大的幾何變形等因素，造成傾斜影像匹配存在一定的難點(diǎn)。文獻(xiàn)[1]對(duì)傾斜影像匹配時(shí)的難點(diǎn)進(jìn)行了總結(jié)，指出影像間大傾斜角度和遮蔽區(qū)域是造成匹配點(diǎn)數(shù)量少、分布不均勻的主要原因。

針對(duì)傾斜影像匹配時(shí)的難點(diǎn)問(wèn)題，國(guó)內(nèi)外學(xué)者進(jìn)行了大量的研究，大致可以分為兩種思路：①基于仿射不變性的點(diǎn)特征匹配方法。具有代表性的有ASIFT[2]、Harris-Affine[3]、Hessian-Affine[4]和MSER[5]等。其中ASIFT在理論上具備完全的仿射不變性，但其效率較為低下，很難滿足實(shí)際的應(yīng)用需求；其余方法雖然匹配效率要遠(yuǎn)遠(yuǎn)高于ASIFT，但都不具備完全的仿射不變性，因此匹配出的同名點(diǎn)數(shù)量較少，且難以保證均勻分布。②基于影像糾正的傾斜影像匹配。這類方法將各個(gè)傾斜相機(jī)拍攝的影像糾正到以某一基準(zhǔn)面為參考面的虛擬水平像片上，從而在消除影像間的幾何變形后完成匹配[1]。如文獻(xiàn)[6—7]對(duì)影像進(jìn)行透視變形改正后利用SIFT算子匹配到了一定數(shù)量的連接點(diǎn)，由于沒(méi)有考慮地形起伏的影響，且SIFT算子提取興趣點(diǎn)時(shí)重現(xiàn)率不高，因此獲取到的匹配點(diǎn)并不多；文獻(xiàn)[8]引入數(shù)字高程模型對(duì)傾斜影像進(jìn)行變形改正，然后利用特征檢測(cè)和獨(dú)立二元穩(wěn)健初級(jí)特征描述子獲取糾正影像的特征點(diǎn)；文獻(xiàn)[9]在糾正影像上提取了高斯差分特征點(diǎn)；文獻(xiàn)[10]利用重現(xiàn)率較高的Harris算子獲取特征點(diǎn)，在建筑物密集的影像上得到了較好的匹配結(jié)果，但對(duì)于角點(diǎn)特征較少的特殊區(qū)域，該算子提取到的特征點(diǎn)數(shù)量不多；文獻(xiàn)[11]對(duì)文獻(xiàn)[10]的匹配算法進(jìn)行了改進(jìn)，同時(shí)獲取Harris角點(diǎn)和高斯差分特征點(diǎn)，得到了更為密集的匹配結(jié)果。

綜上所述，特征點(diǎn)檢測(cè)算子和匹配速度是影響傾斜影像匹配的關(guān)鍵因素。鑒于此，本文在獲取透視變形糾正后的影像后，對(duì)影像分塊并構(gòu)建金字塔，在頂層金字塔影像塊上利用Dense SIFT[12]算子獲取密集、均勻分布的采樣點(diǎn)，并利用改進(jìn)的最小二乘匹配算法對(duì)初始匹配點(diǎn)精化，得到最終的匹配結(jié)果。通過(guò)選取典型區(qū)域的傾斜影像進(jìn)行匹配試驗(yàn)，從匹配點(diǎn)數(shù)量、分布均勻度和匹配效率上驗(yàn)證本文方法的有效性。

1 傾斜影像連接點(diǎn)自動(dòng)匹配方法

1.1 傾斜影像預(yù)處理(影像透視變形糾正)

傾斜攝影相機(jī)平臺(tái)在出廠時(shí)一般都會(huì)經(jīng)過(guò)嚴(yán)格的相機(jī)標(biāo)定，即每個(gè)相機(jī)相對(duì)于攝影平臺(tái)的姿態(tài)參數(shù)已知，此時(shí)可由姿態(tài)參數(shù)和影像的POS信息計(jì)算每張影像相對(duì)于大地坐標(biāo)系的粗略外方位元素[14]。

對(duì)影像進(jìn)行糾正時(shí)，根據(jù)飛行時(shí)的設(shè)計(jì)航高，在物方平面上假定一個(gè)平均高程面π，然后利用式(1)可得到影像4個(gè)角點(diǎn)對(duì)應(yīng)在物方高程面π上的4個(gè)地面點(diǎn)坐標(biāo)。

(1)

圖1 影像糾正過(guò)程

為了避免不必要的特征提取和匹配時(shí)間，在獲取影像的匹配點(diǎn)時(shí)，利用影像間位置關(guān)系獲取影像間重疊區(qū)域，然后對(duì)重疊區(qū)域的影像進(jìn)行分塊，在較小的影像塊之間進(jìn)行匹配。其優(yōu)點(diǎn)是：一方面影像塊內(nèi)提取的特征點(diǎn)數(shù)量較少，減少了匹配的計(jì)算時(shí)間；另一方面，在影像塊間估計(jì)的單應(yīng)矩陣表達(dá)的像點(diǎn)透視變換對(duì)應(yīng)關(guān)系也更加精確(影像塊范圍較小，更加接近于平面)，增加了粗差剔除的精度。

1.2 Dense SIFT匹配

1.2.1 Dense SIFT采樣點(diǎn)獲取

Dense SIFT算子最初用于模式識(shí)別領(lǐng)域[12]，其特點(diǎn)是在特征點(diǎn)檢測(cè)階段不計(jì)算高斯尺度空間，而是對(duì)影像進(jìn)行高斯平滑操作后采用一定的步長(zhǎng)在影像上獲取采樣點(diǎn)(Dense SIFT特征點(diǎn))，該算子檢測(cè)特征點(diǎn)時(shí)的重現(xiàn)率不依賴于影像特征信息量，因此可以獲取到密集、均勻分布的特征點(diǎn)。

Dense SIFT算子獲取采樣點(diǎn)時(shí)，在采樣范圍內(nèi)以一定步長(zhǎng)滑動(dòng)特征描述窗口，滑動(dòng)的過(guò)程中記錄窗口中心點(diǎn)坐標(biāo)和特征向量。特征點(diǎn)描述過(guò)程如圖2所示，以采樣點(diǎn)p=(x,y)∈I為中心(I表示影像范圍)，統(tǒng)計(jì)采樣點(diǎn)特征描述窗口內(nèi)像素8個(gè)方向的梯度，此時(shí)采樣點(diǎn)p的描述向量就可以表示為4×4×8=128維度的特征向量。

圖2 采樣點(diǎn)特征描述

為減少Dense SIFT特征點(diǎn)的冗余度，本文對(duì)分塊后的影像建立金字塔，在頂層金字塔影像塊上按照一定步長(zhǎng)(步長(zhǎng)設(shè)置為5)獲取Dense SIFT密集采樣點(diǎn)。圖3所示為降采樣影像塊獲取的采樣點(diǎn)，采樣點(diǎn)可以較好地表達(dá)圖像局部特征，且初始同名點(diǎn)(圖3中橢圓內(nèi)的點(diǎn))與真實(shí)同名點(diǎn)僅存在少許的偏移量，只需對(duì)同名點(diǎn)的位置改正即可得到較為準(zhǔn)確的匹配結(jié)果。

圖3 降采樣影像獲取的采樣點(diǎn)

1.2.2 采樣點(diǎn)快速匹配

Dense SIFT算子獲取的特征點(diǎn)數(shù)量較多，為了減少匹配時(shí)間，本文對(duì)左右影像塊的Dense SIFT特征點(diǎn)構(gòu)建二維KD樹，利用影像間的透視變換關(guān)系計(jì)算匹配點(diǎn)的大致位置，通過(guò)KD樹搜索鄰近點(diǎn)后利用比值提純法獲取最終的匹配點(diǎn)。假設(shè)左右影像分別提取到m、n個(gè)采樣點(diǎn)，則利用文獻(xiàn)[15]窮舉法和本文匹配算法的計(jì)算復(fù)雜度分別為：

(1) 窮舉法：O(m,n)=mn。

(2) 本文方法：假設(shè)左右影像分塊數(shù)為10塊，KD樹搜索周圍40個(gè)臨近點(diǎn)，則匹配的計(jì)算復(fù)雜度為O(m,n)=(m/10)×40×10=40m。

對(duì)300×300大小的影像分塊后進(jìn)行匹配試驗(yàn)(分塊大小為100×100像素)，本文匹配方法的效率比窮舉法快4倍以上。

獲取粗匹配點(diǎn)后，基于RANSAC算法剔除粗差即可得到最終匹配結(jié)果。圖4為糾正后的降采樣傾斜影像匹配結(jié)果，可以看出，Dense SIFT算子相比于SIFT算子獲取到了更多的匹配點(diǎn)，盡管這些匹配點(diǎn)精度不高，但只需進(jìn)行坐標(biāo)改正即可得到較為精確的匹配結(jié)果。

圖4 糾正后的降采樣傾斜影像匹配結(jié)果

1.3 改進(jìn)的最小二乘匹配

為了獲取精確的同名點(diǎn)，本文對(duì)最小二乘匹配算法進(jìn)行改進(jìn)后獲取Dense SIFT初始匹配點(diǎn)的精確坐標(biāo)，其基本原理是通過(guò)減少最小二乘匹配模型中附加參數(shù)來(lái)增大匹配時(shí)的拉入范圍(原始最小二乘匹配算法的拉入范圍在1～2個(gè)像素以內(nèi)[16])。針對(duì)傾斜影像特點(diǎn)對(duì)附加參數(shù)進(jìn)行分析如下：

(1) Dense SIFT匹配出的同名點(diǎn)會(huì)偏離真實(shí)像點(diǎn)幾個(gè)像素，在模型中主要表現(xiàn)為像點(diǎn)的平移，因此需要考慮模型中的平移參數(shù)a0、b0。

(2) 透視變形改正后的影像間像點(diǎn)位移具有較強(qiáng)的規(guī)律性。如上下影像最小二乘匹配時(shí)，變形主要發(fā)生在行方向，可以僅考慮行方向尺度變形參數(shù)b2(變形主要發(fā)生在影像行方向上)；左右影像最小二乘匹配時(shí)，僅考慮列方向尺度變形參數(shù)a1。

(3) 采用相關(guān)系數(shù)作為匹配測(cè)度可以避免輻射變形的影響，因此在模型中可以不考慮輻射變形改正參數(shù)h0、h1。

綜合考慮上述因素，將原始的最小二乘匹配模型修改如下

g1(x,y)+n1(x,y)=g2(a0+a1x,b0+b2y)+n2(x,y)

(2)

式中，g1、g2分別為左右影像像元的灰度；n1、n2為左右影像噪聲；a0、a1、b0、b2為右影像窗口的仿射變形改正參數(shù)。線性化后的誤差方程如下

v=c1·da0+c2·da1+c3·db0+c4·db2-Δg

(3)

像點(diǎn)坐標(biāo)改正時(shí)，首先在影像塊內(nèi)隨機(jī)選取至少20對(duì)初始匹配點(diǎn)作為種子點(diǎn)，利用改進(jìn)的最小二乘匹配算法計(jì)算匹配點(diǎn)的平均坐標(biāo)改正值，將其視為系統(tǒng)誤差對(duì)所有匹配點(diǎn)進(jìn)行坐標(biāo)改正。然后在改正的基礎(chǔ)上再次利用改進(jìn)最小二乘匹配方法獲取所有匹配點(diǎn)的精確位置，并對(duì)相關(guān)系數(shù)小于0.85的匹配點(diǎn)進(jìn)行剔除。試驗(yàn)發(fā)現(xiàn)，當(dāng)匹配窗口大小為17時(shí)，改進(jìn)的最小二乘匹配算法的平均拉入范圍達(dá)到3個(gè)像素以上，可以有效地改正初始匹配點(diǎn)。

1.4 獲取原始糾正影像匹配點(diǎn)

假設(shè)第i層影像的匹配點(diǎn)坐標(biāo)為(xi,yi)，則將其換算到i-1層影像上，坐標(biāo)為(2xi,2yi)，利用改進(jìn)的最小二乘匹配算法對(duì)i-1層影像上的所有匹配點(diǎn)進(jìn)行坐標(biāo)改正，可得到本層的匹配點(diǎn)對(duì)。在每層金字塔影像上重復(fù)此過(guò)程，可得到原始糾正影像上的匹配點(diǎn)。

2 試驗(yàn)結(jié)果與分析

試驗(yàn)使用ISPRS提供的IGI Penta DigiCAM傾斜相機(jī)平臺(tái)(有1臺(tái)下視相機(jī)和4臺(tái)側(cè)視相機(jī)，前、后、左、右各一臺(tái)，攝影傾角都均為45°)獲取的傾斜影像數(shù)據(jù)進(jìn)行試驗(yàn)。基于Matlab 2015b設(shè)計(jì)了匹配算法，試驗(yàn)的硬件平臺(tái)為華碩PU403UF筆記本，處理器為Intel i7-6500U，主頻2.5 GHz，內(nèi)存8 GB。

為驗(yàn)證本文算法的有效性，選取兩組典型地區(qū)(鄉(xiāng)村和城區(qū))的傾斜影像數(shù)據(jù)進(jìn)行匹配試驗(yàn)，影像數(shù)據(jù)見(jiàn)表1。對(duì)于區(qū)域1(鄉(xiāng)村地區(qū))，將286與290影像視為第一組，218與290影像視為第二組，286與218視為第三組；對(duì)于區(qū)域2(城區(qū))，將146與140影像視為第一組，146與254影像視為第二組，140與254影像視為第三組。

表1 影像數(shù)據(jù)描述

2.1 算法的匹配效果對(duì)比

為定性分析本文方法的匹配效果，在降采樣的影像上分別用SIFT、ASIFT、Visual SFM和本文算法獲取兩個(gè)典型區(qū)域(鄉(xiāng)村和城區(qū))影像的匹配點(diǎn)，結(jié)果見(jiàn)表2。

表2 匹配點(diǎn)數(shù)量對(duì)比

可以看出，本文方法相比于SIFT、ASIFT及Visual SFM能夠獲取到數(shù)量更多的匹配點(diǎn)。為進(jìn)一步驗(yàn)證匹配結(jié)果的正確性，對(duì)兩個(gè)典型區(qū)域的局部匹配結(jié)果進(jìn)行放大顯示，結(jié)果如圖5、圖6所示。

從典型區(qū)域的匹配結(jié)果可以看出，本文方法不論在建筑物密集的城區(qū)還是在地形平坦的區(qū)域，都獲取到了一定數(shù)量的匹配點(diǎn)，且匹配點(diǎn)分布較為均勻；在紋理貧乏的平坦路面和林地，本文方法也獲取到了一定數(shù)量的匹配點(diǎn)，說(shuō)明本文方法適用性較好；在幾何變形較大的林地(如圖6(d)所示)，由于這些區(qū)域地物形變較大，因此得到的匹配點(diǎn)數(shù)量不多。

圖5 區(qū)域1匹配結(jié)果

圖6 區(qū)域2匹配結(jié)果

為定量評(píng)價(jià)本文方法獲取的匹配點(diǎn)精度，在本文匹配點(diǎn)的基礎(chǔ)上，利用傳統(tǒng)的最小二乘匹配算法獲取更為精確的同名點(diǎn)作為參考值，通過(guò)計(jì)算坐標(biāo)差值反映匹配誤差，同時(shí)對(duì)匹配誤差進(jìn)行統(tǒng)計(jì)分析，剔除不符合正態(tài)分布的粗差后，計(jì)算中誤差作為精度評(píng)價(jià)指標(biāo)，計(jì)算結(jié)果見(jiàn)表3。

從表3中可以看出，4個(gè)區(qū)域的匹配點(diǎn)精度在0.3個(gè)像素以內(nèi)。密集小型建筑物的匹配精度最高，這主要是由于該區(qū)域影像變形較小，同時(shí)紋理信息又比平坦路面的影像更為豐富，因此提取的Dense SIFT匹配點(diǎn)較為穩(wěn)定，匹配精度較高。

表3 匹配精度 像素

2.2 算法計(jì)算效率對(duì)比分析

在相同的測(cè)試環(huán)境下，分別用SIFT、ASIFT和本文方法對(duì)降采樣一倍后影像的計(jì)算匹配時(shí)間進(jìn)行對(duì)比分析，結(jié)果見(jiàn)表4。可以看出，本文算法在兩個(gè)典型區(qū)域的匹配耗時(shí)僅為SIFT算法的一半左右，相比于ASIFT算法的用時(shí)更少，速度最快提升了700倍，說(shuō)明本文方法具有較高的匹配效率。

表4 匹配時(shí)間對(duì)比 s

3 結(jié) 語(yǔ)

為解決傾斜攝影影像連接點(diǎn)少、分布不均勻和匹配效率低等問(wèn)題，本文提出了一種基于Dense SIFT與改進(jìn)最小二乘匹配結(jié)合的連接點(diǎn)自動(dòng)獲取方法，對(duì)典型區(qū)域的影像進(jìn)行匹配試驗(yàn)。結(jié)果表明：本文方法能夠獲取到密集且均勻分布的連接點(diǎn)，且相比于SIFT和ASIFT算法，本文算法匹配效率更高，獲取的匹配點(diǎn)精度優(yōu)于0.3個(gè)像素。下一步的研究方向是：①?gòu)腄ense SIFT的匹配結(jié)果中獲取更加穩(wěn)定的匹配點(diǎn)，提高匹配精度；②研究更加穩(wěn)健的誤匹配點(diǎn)剔除方法，盡可能保留更多的正確匹配點(diǎn)；③實(shí)現(xiàn)算法的并行化，減少匹配時(shí)間。