面向可見光和SAR 影像配準的特征點檢測

王麗娜，梁懷丹，王中石，徐 瑞，石廣豐*

（1. 長春理工大學 機電工程學院，吉林 長春 130022；2. 中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033）

1 引言

隨著傳感器技術的發展，傳感器的種類逐漸增加。可見光傳感器技術相對成熟，使得可見光圖像具有成像效果好，分辨率高和易于解讀等優點，但是，可見光傳感器成像容易受到天氣的影響。合成孔徑雷達（Synthetic Aperture Radar，SAR）屬于主動發出微波的成像系統，具有穿透力強、對人造目標尤其是金屬目標十分敏感、能夠有效地識別偽裝和揭露掩蓋等特點，但是，SAR 圖像的可讀性不如可見光圖像［1-2］。將兩種圖像配合使用有助于形成信息互補，可應用于諸多場景，例如，圖像融合，地物目標分類與識別等［3-5］。為了融合異源遙感數據實現對地觀測，需要對圖像進行高精度配準，而特征提取作為圖像配準的前提步驟，其提取精度和特征點的重復率嚴重影響配準結果，因此，研究適用于可見光和SAR 圖像的特征提取方法，提升特征提取精度和重復率，已成為異源遙感圖像處理領域的研究熱點之一。

近年來，在計算機視覺領域出現了許多特征點 檢 測 算 子，典 型 的 算 子 如SIFT［6］、SURF［7］和Harris［8］等。由于可見光和SAR 圖像間的非線性輻射差異和SAR 斑點噪聲的影響，將常規的特征點提取算法直接用于可見光和SAR 圖像提取時效果并不理想，特征點重復率較低，進而降低了配準算法性能［9］。為了克服上述問題，諸多學者在特征提取上做出改進，Ye 等學者結合了Harris-Laplace 和DOG 兩種算子的優勢，提出了Harris-DOG 檢測算子［10］，該算子能夠同時檢測影像間的角點和Blob 點，為影像匹配提供更多、更穩健的特征點。Xiang 等學者對可見光和SAR圖像分別采用不同的梯度計算方式，提取出可見光和SAR 圖像的一致性梯度信息，在此基礎上構造了兩個不同的Harris 尺度空間來提取高度重復的特征點［11］。Zhang 等學者同樣改進了梯度計算方式，利用多尺度Sobel 和多尺度ROEWA算子分別計算可見光和SAR 圖像的梯度來獲得一致性較好的梯度結果，并在此基礎上進行特征點提取，有效地提高了特征點的重復率［12］。Fan等學者提出一種均勻分布的特征點檢測方法UNDSS-Harris［13］，UNDSS-Harris 利 用 非 線 性 擴散濾波來構建非線性擴散尺度空間，較好地保留了邊緣梯度特征；在此基礎上，采用多尺度Harris算子、比例系數和分塊策略，在可見光和SAR 圖像中提取出均勻分布的特征點。保文星等學者提出了一種改進的基于信息熵約束和KAZE 特征提取的預處理算法［14］。該方法利用滑動窗口對整幅遙感圖像進行遍歷，計算出每個窗口的信息熵并形成直方圖，通過閾值設定保留高信息熵以便用于特征提取。總的來說，上述方法的本質仍是基于圖像梯度信息來提取影像間的顯著特征，但可見光和SAR 影像間的灰度差異較大，加之SAR 斑點噪聲的影響，嚴重影響了梯度計算結果，導致特征提取的重復率較低，進而降低了算法的匹配性能。

近年來，頻域特征檢測技術在異源遙感領域中的優勢逐漸突顯出來。比較典型的如相位一致性（Phase Congruency，PC）［15］。該方法不受光照、灰度差異的影響，可大范圍的檢測圖像中的角點、邊緣和紋理等特征［16］。鑒于PC 在特征檢測方面的優勢，其已成為學者們的研究熱點。孫明超等學者基于相位一致性最大矩和相位一致性最小矩的疊加圖進行Harris 特征點提取，獲得了穩定的角點和邊緣點，用于后續的特征匹配［17］。Paul 和Pati 兩位學者結合Gabor 奇濾波器和 多 尺 度Harris 函 數 進 行 特 征 點 檢 測［18］。Li 等學者在相位一致性最大矩和最小矩上分別進行FAST（或Harris）特征點檢測［19］。

諸多學者基于相位一致性提取出影像間的同名特征，但上述方法未充分考慮影像間的非線性輻射差異和SAR 斑點噪聲對特征點提取結果的影響。相位一致性在特征提取和特征描述方面尚有待發掘，算法穩定性有待提升。針對此問題，本文提出了一種基于相位一致性矩特征的Harris 特征點提取算法——MMPC-Harris。首先，對待處理圖像進行包含重疊區域的分塊操作，增加特征點的均勻分布特性；然后，結合相位一致性最大矩和最小矩構建相位一致性多矩圖，通過Harris 算法實現特征的精細提取；最后，通過對多矩圖上特征點進行投票和統計，選取重復出現超過$數的特征點作為最終的特征點。最終的特征點集合中包含了Harris 特征點和在邊緣上提取的Harris 點，該方法保證了特征點的數量和穩定性。

2 相位一致性特征檢測理論

相位一致性是基于頻域信息進行特征提取的理論，最早由Morrone 和Owens 兩位學者提出［20］。早期的相位一致性理論僅適用于一維信號，而圖像為二維信號，為此，Kovesi 在該理論基礎上做出了改進，將其擴展到二維，提出了二維相位一致性特征檢測理論。Kovesi 采用多尺度、多方向的Log Gabor Filter 來計算圖像的局部相位特征。二維Log Gabor Filter 的表達方式為：

其中：Wo(x，y)為隨著濾波器響應變化的加權函數；運算表示符號內代數式的值為正時，符號內的計算結果與符號內代數式的計算結果相等，否則結果為0；N表示估計的噪聲閾值；?是一個小常數，避免分母為零的情況；As，o(x，y)和φs，o(x，y)分別表示PC 的幅值和相角，計算方式如下：

其中，Δφs，o(x，y)為相位差，計算方式如下：

進一步，Kovesi 分析了相位一致性矩隨方向變化的情況，提出利用基于相位一致性度量進行角點特征和邊緣特征的檢測方法［16］。Kovesi 計算任意方向o和尺度s上的PC2值來獲得相位一致性的最大矩M和最小矩m，最終得到影像的角點特征和邊緣特征，M和m具體形式如下：

其中：a，b，c是中間變量，其具體形式如下：

其中，θo表示方向o對應的角度。M反映了邊緣強度信息，可以用于邊緣特征的檢測；m相當于角點檢測子中的角點率，當像素點處的m值較大時，則該像素點是角點的可能性較大，通過設定m的特定閾值來篩選影像的角點特征。

3 基于改進相位一致性的可見光和SAR 影像特征提取

基于相位一致性的最大矩和最小矩信息能夠獲取圖像的邊緣和角點信息。可見，圖像的相位一致性矩信息可以有效表示圖像的特征。本文提出圖像的相位一致性矩特征表示如下：

其中：a，b，c是式（9）～式（11）的中間變量，Mk表示第k個矩特征圖像。進一步可以根據最大矩和最小矩特征將公式（12）描述為：

其中，kt用于控制相位一致性矩的值，取值范圍為：[ -1，1]。若相位一致性多矩圖數量為n，則參數kt以步長h=2n-1 變化。

可見光和SAR 影像間存在明顯的非線性輻射差異，但二者的邊緣相似度極高［21］，因此，考慮先提取出一致性較好的邊緣特征，在邊緣上進行特征點檢測，來增加特征點數量。而相位一致性是一種頻域特征檢測理論，相比于直接利用梯度來提取邊緣，能夠更好地抵抗影像間的非線性輻射差異。鑒于此，本文提出了一種基于相位一致性矩進行特征提取的方法（MMPC-Harris），該方法旨在抵抗SAR 斑點噪聲的影響和影像間的非線性輻射差異，來獲得均勻分布且重復率較高的特征點對，進一步提升配準算法的性能。圖1 給出了算法流程圖。

圖1 本文算法流程圖Fig.1 Flow chart of the proposed method

MMPC-Harris 的具體步驟如下：

（1）分塊處理：將輸入圖像分成Sn×Sm個圖像塊，并在相鄰圖像塊之間增加nop個像素的重疊區域，以防止在分塊邊界處丟失特征信息；

（2）對每個圖像塊構建相位一致性多矩特征圖。通過多次實驗發現，隨著相位一致性多矩圖數量n的增加，特征點重復率有所提高，n超過5之后增加的速度明顯變慢。綜合考慮到算法的計算量，本文實驗選取n=5。在每個相位一致性矩特征圖像上基于Harris 提取特征點，記錄特征點位置和數量。

（3）基于統計原理，投票確定最終的特征點。若某一特征點在多矩圖中出現的次數超過多矩圖數量的一$，則將該特征點放入最終特征提取結果的集合中，并利用其在多矩圖中坐標取平均值作為最終該特征點的位置信息。

（4）將每個圖像塊的特征提取結果合并，構成本文算法最終的特征點提取集合。

為了便于程序實現，參數設置為n=5，h=0.5，kt表示的序列為{-1，-0.5，0，0.5，1}，給出MMPC-Harris 程序邏輯如圖2 所示。

圖2 MMPC-Harris 程序邏輯圖Fig.2 Program logic diagram of MMPC-Harris

下面通過模擬可見光和SAR 圖像進行實驗分析，如圖3 所示。在可見光圖像上分別加入高斯噪聲和斑點噪聲來生成仿真數據，利用仿真圖像作為待處理的可見光和SAR 圖像。

由仿真結果可知，在最小矩上提取的特征點重復率較高，但容易受噪聲的影響，出現了一定的錯誤點對，如圖3（b）。在最大矩上提取的邊緣點的數量較多，能夠保證特征點數量，如圖3（f）。將兩者直接相加作為最終的特征點集，盡管結果中含有穩定的角點和數量較多的邊緣點，但仍存在一定問題，如直接疊加方式難以抵抗噪聲干擾，導致結果中仍存在一些不穩定的特征點，如圖3（g）。而本文算法基于相位一致性多矩特征和統計原理來獲得最終的特征點，以此來抵抗噪聲干擾，剔除了虛假點，進而得到穩定的特征點對，保證了特征點的重復率；再加上分塊處理，獲取均勻分布的特征點，如圖3（h）。

圖3 不同相位一致性矩特征的Harris 檢測結果Fig.3 Harris detection results of different PC feature

4 實驗與分析

本小節對MMPC-Harris 特征點檢測算子的性能進行實驗分析，實驗內容包括三個部分：首先，驗證MMPC-Harris 特征點檢測算子對SAR斑點噪聲的魯棒性；其次，驗證MMPC-Harris 特征點檢測算子對非線性輻射差異的魯棒性；最后，基于一組實測可見光和SAR 圖像驗證MMPC-Harris 特征點檢測算子對整體配準算法性能提升的影響。

4.1 MMPC-Harris 對噪聲魯棒性評估

4.1.1 實驗數據

目前尚且沒有公開的可見光和SAR 數據集用于測試特征點檢測算法的優劣。為了便于計算特征點重復率，驗證本文算法的有效性，本小節實驗部分仍采用仿真數據，仿真數據的生成方式為對高清可見光圖像分別加高斯噪聲和不同級別的斑點噪聲來生成仿真可見光和SAR 圖像，原始高清光學圖像如圖4 所示。

圖4 高清可見光圖像Fig.4 High resolution optical images

高清圖像為長光衛星科技公司拍攝的智利圣地亞哥的機場和港口，拍攝時間為2017 年3月，影像分辨率為1 m/pixel，圖像大小均為1 000 pixel×1 000 pixel。對上述兩組高清光學圖像分別加入高斯噪聲和乘性噪聲所生成仿真光學和SAR 圖像，結果如圖5 所示。

圖5 兩組模擬圖像（左側為可見光圖像，右側為SAR 圖像，L=5）Fig.5 Two sets of simulated images（The left are optical images and the right are SAR images，L=5）

4.1.2 評價方法和評價準則

為驗證本文算法的先進性，選取了典型的特征 點 檢 測 算 法Harris［8］，SAR-Harris［21］和m+MHarris［17］作為對比算法。通過定性和定量兩種方式來評價算法的性能。定性分析通過觀察特征點的分布情況，均勻分布的特征點有利于幾何變換模型的求取。定量分析則以不同SAR 噪聲級別下，特征點重復率R作為評價指標。參考圖像A和待配準圖像B上的一對特征點屬于同名點前提為：

其中：pA(x，y)和pB(x，y)分別表示特征點在參考圖像和待配準圖像中的位置坐標，符號‖ ‖·2為歐式距離測度，d為歐式距離閾值。本文d設置為2，表征若兩點之間的歐式距離≤2 個像素，則這兩個點為一對同名點。R定義為：

其中：Ncor為正確匹配點對數，No和Ns分別為在可見光和SAR 圖像中提取的特征點總數量，R值越大，特征點檢測算子的性能越好。

4.1.3 實驗結果與分析

本實驗通過調整閾值，使得所提取的特征點總數量保持一致，每種算法均提取約600 對特征點，取10 次計算的平均值作為最終實驗結果，以減小誤差的影響。圖6 給出了四種算法對兩組圖像的特征點重復率變化曲線。

圖6 特征點重復率曲線Fig.6 Repeatability rate curve of feature points

由結果可見，MMPC-Harris 在任何SAR 噪聲級別下的特征點重復率均獲得了最高值，說明MMPC-Harris 能在一定程度上抵抗SAR 斑點噪聲的影響，獲得較高的特征點重復率。SARHarris 的效果弱于本文方法，但優于Harris 算法，這是由于SAR-Harris 是在ROEWA 算子提取SAR 信息的基礎上進行的Harris 特征提取，ROEWA 可以有效地抵抗SAR 斑點噪聲，獲得較為理想的邊緣特征，因此，在此基礎上進行Harris 特征提取能夠抵抗噪聲干擾。但是，SARHarris 僅考慮了在SAR 圖像上進行特征提取所遇到的問題，并未對可見光和SAR 這兩種圖像的異源性進行處理，所以，效果略差于本文方法。Harris 算子的性能是最差的，隨噪聲水平的增加，特征點重復率值下降較快，表明Harris 算子容易受到SAR 乘性噪聲影響，不適合用于直接處理SAR 圖像。

4.2 MMPC-Harris 對非線性輻射差異的魯棒性評估

4.2.1 實驗數據

對圖4（a）的列乘以可變系數來模擬影像間的非線性輻射差異，結果如圖7 所示，由圖可見，影像間的同名特征呈現出不同的灰度特性，這種差異增加了同名特征提取的難度。

圖7 模擬非線性輻射差異的圖像Fig.7 Simulated nonlinear radiometric differences images

4.2.2 實驗結果與分析

對比算法和評價指標同4.1 節實驗一致。選取第一組實驗數據的特征提取結果進行對比，結果如圖8 所示。

Harris 和SAR-Harris 算子的特征提取結果分別如圖8（a）和圖8（b）所示，二者基于灰度梯度信息進行特征提取，易受到影像間非線性輻射差異的影響，在可見光圖像中可以檢測到的特征在模擬的非線性輻射差異的圖像中未被檢出，特征點分布不均勻，較容易集中在灰度差異較大的區域。圖8（c）和圖8（d）分別給出了m+M-Harris和MMPC-Harris 的特征提取結果，二者均能克服影像間的非線性輻射差異，特征點分布較均勻，在光學圖像中提取的特征，在對應圖像上仍然能夠被檢測到，這是因為本文方法和m+MHarris 方法是基于PC 進行提取的，而PC 算子對灰度和光照變化不敏感。進一步給出定量分析的結果來驗證本文算子的性能，如表1 所示。

表1 四種算法在非線性輻射差異情況下的重復率Tab.1 Repetition rates of the four methods in the case of nonlinear radiometric differences

圖8 四種算法特征點提取結果Fig.8 Feature point extraction results of four algorithms

四種算子中，MMPC-Harris 的特征點重復率值最高，這是由于本文方法在相位一致性多矩圖上進行投票，剔除了一些不穩定的特征點，故本文算子可以較好地抵抗影像間的非線性輻射差異的影響，獲得更多的同名點對。

4.3 MMPC-Harris 特征點檢測算子的配準性能

MMPC-Harris 可以提升特征點的重復率，進而提升配準算法性能。為了證實這一點，基于一組實測的可見光和SAR 圖像進行配準實驗，選取 了Harris、SAR-Harris 和m+M-Harris 特 征 點檢測算子作為對比算法，所有描述符均采用HOSMI［22］，以 驗 證MMPC-Harris 特 征 點 檢 測 算子對可見光和SAR 圖像配準性能的提升。

4.3.1 實驗數據和評價指標

實驗數據如圖9 所示，左側為在Google Earth 上截取的同一地區的可見光影像，右側為機載SAR 影像，拍攝時間為2017 年7 月。可見光和SAR 圖像的尺寸均為1 741 pixel×1 075 pixel，分辨率為3 m/pixel。拍攝場景為郊區，包含河流、低矮建筑物、農田和道路等。

圖9 可見光和SAR 影像Fig.9 Optical and SAR images

配準實驗采用主觀和客觀兩種評價方式。主觀評價方式為直接給出配準結果，客觀評價指標為均方根誤差（Root Mean Square Error，RMSE）和正確匹配點對數（Number of Correct Matches，NCM）。通過調整閾值，使得本文方法和對比方法均提取約1 200 對特征點。采用平方差之和（Sum of Square Differences，SSD）作為匹配準則，SSD 閾值設置為3 個像素，并利用FSC［23］剔除誤匹配。

4.3.2 實驗結果與分析

利用四種檢測算子的特征提取結果進行配準，結果如圖10 所示，表2 顯示了四種檢測算子的NCM 和RMSE。

表2 四種方法的NCM 和RMSETab.2 NCM and RMSE of the four algorithms

圖10 四種算法的配準結果Fig.10 Registration results of four algorithms

由配準結果可見，四種檢測算子都能完成配準，但配準性能存在差異。Harris 和SAR-Harris是直接利用灰度信息進行特征提取的，所獲得的正確匹配點對分布不夠均勻，這說明直接利用灰度信息進行特征提取難以抵抗影像間的非線性輻射差異。m+M-Harris 和MMPC-Harris 均取得了較好的效果，這說明基于PC 進行特征提取有助于抵抗影像間的非線性輻射差異。

結果表明，與其他特征點檢測算子相比，在描述符一致的情況下，MMPC-Harris 獲得了最多的NCM 和最小的RMSE，這是因為MMPC-Harris 是基于PC 特征進行特征點檢測的，在一定程度上抵抗了影像間的非線性輻射差異，同時，MMPC-Harris 檢測了角點和邊緣上角點，保證了特征點的數量，通過建立相位一致性多矩圖和設計的投票策略，在一定程度上剔除了噪聲的影響，從而獲得大量穩定特征點用于圖像匹配。此外，MMPC-Harris 使用了分塊策略，能夠獲得均勻分布的同名點對，可以更好地適應影像間的幾何形變。總之，MMPC-Harris 可以顯著提高在可見光和SAR 影像間所提取的特征點重復率，進而提升配準精度。

5 結論

本文針對可見光和SAR 影像間的非線性輻射差異和SAR 斑點噪聲導致在影像間提取的特征點重復率較低的問題，提出了一種基于相位一致性的特征點提取算法MMPC-Harris。MMPCHarris 通過計算圖像的相位一致性矩信息，構建了相位一致性多矩圖，在所構建的相位一致性多矩圖上提取Harris 角點，并設計了投票策略，選取了重復出現超過$數的點作為最終的特征點，獲得了穩定的角點和邊緣點。仿真數據的測試結果表明，MMPC-Harris 可以較好地抵抗影像間的非線性輻射差異和SAR 斑點噪聲的影響，有效地提高了特征點的重復率。一組實測可見光和SAR 圖像上的測試結果表明，與其他三種方法對比，MMPC-Harris 的正確匹配點對數分別提高了23、26 和35 對，均方根誤分別降低了12.6%、37.2%和40.8%，能夠有效地提升配準算法性能。但是，MMPC-Harris 不具備旋轉和尺度不變性，下一步工作將針對此問題進行更加深入地研究。