一種改進SIFT的SAR與可見光圖像配準算法

石聰聰, 楊學志, 董張玉, 王守峰

(1.合肥工業大學 計算機與信息學院,安徽 合肥 230601; 2.工業安全與應急技術安徽省重點實驗室,安徽 合肥 230601)

隨著高分辨率遙感衛星對地觀測研究的逐步推進,積累的多源遙感數據數量在不斷增加,而遙感圖像配準是實現圖像融合、變化檢測、圖像鑲嵌和目標識別等的前期準備工作,于是對遙感圖像配準的需求大大增加,尤其對于多源遙感衛星圖像的配準研究尤為重要。在多源遙感圖像配準研究中,合成孔徑雷達(synthetic aperture radar,SAR)圖像具有穿透性強、全天候、紋理信息豐富等優點,但其缺乏光譜信息,且目標的微波反射特性導致相同物體的SAR圖像可能呈現不同的表現形式。而可見光圖像富含豐富的光譜信息,目視效果較好,但易受到大氣狀況影響,特別在陰雨天氣時會被云層遮擋導致成像質量較差[1-3]。根據上述SAR圖像與可見光圖像的優劣勢,開展SAR圖像與可見光圖像的配準研究有著重大意義。

現有遙感圖像配準方法基本分為基于區域灰度信息配準與基于特征信息配準兩類。其中,基于區域灰度信息配準算法主要包括:互相關法、互信息法與序列相似度檢測算法等[4]。因為基于區域灰度信息配準算法對灰度變化比較敏感,尤其針對非線性光照變化,將大大降低算法性能,并且計算復雜度較高,抗旋轉性與抗形變性較差[5],所以在SAR圖像與可見光圖像配準研究中較少采用。基于特征信息配準算法中較為常用的算法是文獻[6]提出的尺度不變特征變換算法(scale invariant feature transform,SIFT)。SIFT算法具有尺度不變性、旋轉與仿射不變性,并且對于噪聲也有一定的魯棒性，但在SAR圖像與可見光圖像配準中表現不佳,主要原因是SAR圖像存在較多的乘性相干斑噪聲,導致SAR圖像提取到的特征點質量較差無法達到匹配要求。文獻[7]提出一種基于相位一致性與非線性擴散的改進SIFT算法來抑制SAR圖像的斑點噪聲。文獻[8]提出一種將Harris算子與指數加權平均值(ratio of exponentially weighted averages,ROEWA)結合的改進SIFT算法來提高SAR圖像特征點的穩定性。文獻[9]提出基于非下采樣contourlet變換(non-subsampled contourlet transform,NSCT)與SIFT相結合的遙感圖像配準算法,通過NSCT算法提高算法速度。文獻[10]提出基于非下采樣Shearlet變換(non subsampled shearlet transform,NSST)和加速分割檢測特征(features from accelerated segment test,FAST)結合的配準算法,從而解決圖像配準速度較慢的問題,但只注重了速度提升,提取特征點數量與質量都不夠高,準確率低于傳統SIFT算法,并且只針對同源圖像配準,異源圖像尤其SAR與可見光圖像配準效果不佳。

針對上述問題,本文提出一種基于NSST與改進SIFT算法相結合的SAR圖像與可見光圖像配準算法。首先,為了有效去除SAR圖像的乘性相干斑噪聲,本文采用目前針對SAR圖像濾波效果較好的PPB(probabilistic patch-based)算法[11],在濾除相干斑噪聲的同時保持圖像邊緣信息。然后通過NSST變換提取SAR圖像與可見光圖像的低頻信息圖像。之后對可見光圖像低頻圖像采用SIFT算法提取特征點,對SAR圖像低頻信息圖像采用Harris 算子和 ROEWA 邊緣檢測算法相結合提取特征點,通過快速近似最近鄰搜索(fast library for approximate nearest neighbors algorithm,FLANN)算法對SAR圖像與可見光圖像特征點描述子進行粗匹配得到初始匹配點。最后,采用改進的隨機抽樣一致算法(random sampling consensus algorithm,RANSAC)算法剔除初始匹配結果中的誤匹配點,進一步提升匹配的準確率與速度。

1 本文算法

1.1 PPB濾波

PPB是一種空域濾波方法,該算法在最大似然估計的框架下得到加權平均公式,并定義塊權值的計算公式,通過迭代方法逐步修改先驗信息,最終收斂至最佳去斑結果[12]。

(1)

PPB濾波是通過概率論推導給出了任意噪聲分布下的最優圖塊相似性度量,因此可以在去除加性噪聲與乘性噪聲的同時有效保持邊緣特性。本文選擇PPB濾波可以在SAR圖像進行SIFT提取特征點前有效去除相干斑噪聲的影響,從而提高特征點提取的數量與質量。

1.2 NSST變換提取圖像低頻信息

NSST變換是非正交變換[13],離散化過程主要分為:基于非下采樣金字塔濾波(non-subsampled pyramid,NSP)的多尺度分解和基于改進的剪切波濾波(shear filter,SF)多方向分解[14]。

多尺度分解通過進行NSP得到低、高頻系數分量,之后每層進行NSP都是在上一層次的低頻中進行迭代操作,以得到圖像中的奇異點,之后進行k次反復分解,最終形成大小為1個低頻和k個高頻,形成的高低頻分量大小相同。

多方向分解運用標準的SF器,將偽極化網格系統對應到笛卡爾坐標系統上,之后再經過傅里葉變換實現二維卷積步驟,以此避免標準SF器存在的下采樣步驟,達到平移不變目的。具體操作實現過程為:

(1) 將偽極化網絡系統映射到笛卡爾坐標上。

(2) 采用“Meyer”構建窗函數,形成SF器。

(3) 將k個高頻子圖像和“Meyer”構建的窗函數進行卷積,然后獲取方向子圖像。

NSST離散化過程如圖1所示。

圖1 NSST離散化過程圖

與NSCT不同的是,NSST采用笛卡爾坐標系統,直接運用逆傅里葉變換完成二維卷積操作,避免了下采樣的環節,故NSST平移不變性更強[15]。本文采用NSST提取低頻信息。

1.3 SIFT特征檢測和描述1.3.1 傳統SIFT特征點檢測算法

傳統SIFT算法步驟為:

(1) 尺度空間極值檢測。搜索所有尺度上的圖像位置，通過高斯微分函數來識別潛在的對于尺度和旋轉不變的興趣點。

(2) 關鍵點定位。在每個候選的位置上,通過一個擬合精細的模型來確定位置和尺度，關鍵點的選擇依據于它們的穩定程度。

(3) 方向確定。用直方圖統計鄰域像素的梯度方向,直方圖峰值即為該關鍵點的主方向。將坐標軸旋轉為特征點的主方向,以確保旋轉不變性。

(4) 關鍵點描述。在關鍵點鄰域劃分成的小區域內計算梯度方向和模值,生成梯度方向直方圖,由各個小區域梯度方向直方圖建立關鍵點的特征向量,即為描述子。

差分高斯尺度圖像的像極值檢測如圖2所示。

圖2 尺度空間極值點檢測示意圖

利用特征點鄰域內所有像素點的梯度方向分布特性為特征點指定方向,使特征點具有旋轉不變性。其中:LX=L(x+1,y)-L(x-1,y);Ly=L(x,y+1)-L(x,y-1),那么

(2)

(3)

(2)式、(3)式分別為相應點的梯度模值和梯度方向,L為關鍵點所在的尺度空間值。

1.3.2 改進SIFT特征點檢測算法

由于SAR圖像存在乘性噪聲,SAR圖像在擁有高反射率區域獲取幅值很大的梯度時,傳統SIFT在提取梯度時會出現一定的偏差,影響后續特征點匹配。針對上述問題改進的SIFT算法[8]提出了新的梯度算法,使梯度幅值和方向對斑點噪聲有較好的魯棒性。因此,本文參考該算法提取SAR與可見光圖像特征點,用于后續匹配特征點匹配。

本文采用Harris 算子和 ROEWA 邊緣檢測算法相結合的方法提取特征點。具體步驟為:

(1) 比例算子計算梯度。給定圖像中任一像素點M(a,b),使用對多尺度邊緣信息更加精確的指數加權平均算子,得到像素M點一定范圍內像素點幅度值的指數加權均值,即

(4)

(5)

其中:H為圖像;γ為指數加權的系數,作用相當于傳統SIFT算法中的尺度因子；R、R+、R-為指數加權函數在該方向上的積分范圍。Y方向上的Fy+與Fy-(4)式、(5)式,只需將積分范圍從x軸換至y軸。像素點M(a,b)沿水平方向梯度Gx,γ=log(Fx+/Fx-),沿垂直方向梯度Gy,γ=log(Fy+/Fx-)。

像素點M(a,b)的梯度幅值和梯度方向分別為:

(6)

θγ=arctan(Gy,γ/Gx,γ)

(7)

(2) 建立多尺度SAR-Harris空間。根據求得的梯度按照SAR-Harris尺度空間表達式構建尺度空間,表達式為:

(8)

(3) 在多尺度SAR-Harris空間中檢測極值點。與傳統SIFT相同,對于構建好的SAR-Harris尺度空間,極值點的判定規則仍為與鄰域內26個鄰域點做比較,判斷該點是否為最值。在關鍵點鄰域劃分成的小區域內計算梯度方向和模值,生成梯度方向直方圖,由各個小區域梯度方向直方圖建立關鍵點的特征向量,即為描述子。

1.3.3FLANN算法

傳統SIFT算法在特征點匹配時采用的是基于最近鄰距離匹配算法,對于128維高維特征點描述子,算法復雜度較高,計算量繁重。本文為提高匹配的效率與速度,并保證匹配的精度,引入FLANN算法[16]，利用FLANN算法對特征點間的歐式距離進行特征點初始匹配。

FLANN模型的特征空間通常是一個n維的實向量空間，命名為Rn,其核心是尋找基于歐氏距離的相鄰點。特征點m和n的子向量分別用Sm和Sn表示,則D(m,n)的歐氏距離如下式:

D(m,n)=〈Sm-Sn·Sn-Sm〉

(9)

Rn中的所有D(m,n)都存儲在若干個基于KD(k-dimensional)樹部分的結構中。在整個KD樹中搜索到接近查詢點的最小歐式距離,從而有效地搜索到參考點的最近點,最后得到特征點初始匹配點集。

1.3.4 改進的RANSAC樣一致算法

為了進一步提高匹配效率,本文采用RANSAC剔除初始匹配點對中的誤匹配。傳統RANSAC[17]算法充分利用所有的初始匹配點對,根據一個配準允許的誤差將匹配點對分隔為內點與外點,然后利用內點數據的一致性特點來進行參數估計。但是,如果直接使用RANSAC進行估計,運行效率很低,因此本文改進RANSAC算法來剔除誤匹配點,在傳統RANSAC基礎上,將初始匹配點集根據匹配結果質量由高到低進行排序,并根據特征點初始匹配結果選取參與RANSAC抽樣的點集。計算初始匹配點集的均值與方差,根據離散程度,調整參與后續RANSAC計算的樣本。將匹配度最高的初始匹配點優先采樣,這樣使得最有可能的最佳匹配參數較早地產生。步驟如下:

(1) 對匹配點對的歐式距離點集進行排序。

(2) 從最高品質方程數據集抽取假定的采樣。

(3) 根據從小到大的順序依次在所有數據點上驗證假設。

結束條件是當最優解概率小于設定閾值U時結束,一般U設定為5%。

1.3.5 本文算法步驟

為了得到較多的特征點與匹配點,本文提出了一種有效的SAR圖像與可見光圖像配準算法,其具體實現步驟如下:

(1) 輸入可見光圖像與SAR圖像。

(2) 對SAR圖像進行PPB濾波。

(3) 對可見光圖像與SAR圖像進行NSST變換。

(4) 對低頻圖像通過改進的SIFT提取特征點。

(5) 利用FLANN算法匹配特征點。

(6) 采用改進的RANSAC算法剔除誤匹配點對。

算法流程如圖3所示。

圖3 本文算法框架圖

2 實驗結果與分析

本文通過2組SAR圖像和可見光圖像的配準實驗對提出的算法進行精度和速度的評價,并與傳統SIFT算法和文獻[10]算法作對比。

實驗數據截取于2018年8月份安徽省淮河段遙感圖像。實驗數據如下:SAR圖像采用國產高分三號全極化條帶2(FSII)成像模式的雷達衛星圖像,分辨率為10 m;光學圖像采用國家高分一號全色圖像,分辨率為2 m。匹配結果如圖4、圖5所示。

圖4 第1組配準結果

圖5 第2組配準結果

評價結果見表1所列,本文獲取的SAR圖像特征點是最多的,正確配準率相比SIFT算法與文獻[10]算法均有較大的提升。速度相比文獻[10]略慢是因為SIFT算法相比于FAST算法復雜度較高,運算時間較長,但本文算法速度相比于傳統SIFT算法提升2倍以上,原因是NSST提取低頻信息,降低了后續運算的數據量,并且本文采用FLANN算法與改進的RANSAC算法,大大提升了匹配的運算效率。第1組實驗中,傳統SIFT算法正確率為76%,文獻[10]算法正確率為66%,本文算法正確率是86%;第2組實驗中,傳統SIFT算法正確率為72%,文獻[10]算法正確率為63%,本文算法正確率為88%;針對兩組實驗數據本文算法相比于傳統SIFT算法正確率均提升10%以上。正確率提高的原因是改進的SIFT算法有效地濾除了相干斑噪聲的影響,提取到的SAR圖像特征點有較強的魯棒性,從而保證了配準的精度。

3 結 論

本文針對SAR圖像與可見光圖像配準存在提取特征質量不高、匹配精度不高與耗時較長的問題,提出了一種NSST與改進SIFT算法相結合的配準算法。實驗結果顯示:

(1) 采用PPB濾波對SAR圖像進行預處理,有效地濾除了乘性相干斑噪聲。

(2) 通過NSST變換提取圖像低頻信息,能在保證有效提取穩定特征點的前提下,提高了運算速度。

(3) 采用Harris 算子和 ROEWA 邊緣檢測算法相結合的算法提取特征點,在梯度比例方式下多尺度Harris特征點檢測,得到的SAR圖像特征點魯棒性較高。

(4) 改進的RANSAC算法剔除誤匹配點,進一步提高了匹配正確率并提升了速度。

綜上所述,本文提出的算法在SAR圖像與可見光圖像配準的精度與速度上都比傳統SIFT算法有明顯提升。

但本文僅在步驟上對SIFT算法進行了改進,對于SIFT算法配準內部步驟,比如特征點檢測與描述符描述方面未做改善,因此下一步研究將針對SIFT算法內部步驟進行改進與創新,從而在算法本質上進一步提升配準的速度與精度。