結合多尺度特征與局部采樣描述的多模態圖像配準方法

Research on multimodal image registration method combining multi-scale features and local sampling description

Jia Zhiyou，Wang Guogang （School of Information Enginering，Shenyang Chemical University，Shenyang11O142，China）

Abstract：Aimingatthematching dificultiescausedbytheexistenceofserious geometricdiferencesandnonlinearntensity diference（NID）indiferentmodal images，this paperproposedamultimodal imagealignmentmethodcombining multi-scale featureswithalocalsamplingdescription.Firstly，themethodintroducedanonlineardifusionequationtoconstructanonlinearscalespace，andthen itcombineda phaseconsistencyandorientedFASTandrotatedBRIEF（ORB）algorithm to obtain multi-scalestable feature points.Then，the method proposedarotation-invariant doubleGaussiansamplingdescriptor，which could robustly span the rotation difference of [0^°，360^°） in the presence of NID. Finally，the method introduced an image recoverystrategy.The methodobtainedtheoptimal geometrictransformationmodel through primarymatching，corected the geometricdiferences existingbetween images，andthenperformed secondarymatching toimprovethematchingaccuracy. Experiments on multimodal data sets inremote sensing，medicine，andcomputer visionshowthattheroot-mean-squareerorof the proposed method can reach within 1.5 pixels and the correct matching rate can exceed 98% when there are geometric diferencessuchasscaleandrotation.Theresultsdemonstrate that this methodcanovercometheinfluenceof nonlinearradiation difference between images and achieve high precision registration.

Keywords：multimodalimages registration；nonlinear scale space；phase coherence；double Gausian sampling descriptor; nonlinear radial disparity

0 引言

圖像匹配是計算機視覺領域的一個基礎和關鍵問題，其目的是在兩幅或多幅圖像中提取可靠的特征對應，使之成為圖像融合、圖像檢測、目標跟蹤等多個領域的先決條件。而不同傳感器類型、不同成像時間或視點的多模態圖像存在尺度、旋轉、仿射和非線性輻射（nonlinearintensitydifference，NID）等差異，從而導致匹配性能大幅下降，難以滿足不斷變化的實際應用要求[1]。針對這一難題，專家學者們提出了大量的方法。這些方法大致可劃分為基于模板的匹配方法、基于深度學習的匹配方法和基于特征的匹配方法三類。

基于模板的匹配方法的關鍵是選擇合適的相似性度量，之后利用相似性度量和優化方法來準確估計幾何變換參數，從而驅動配準過程的優化。頻域中的相位相關（PC）2是最廣泛使用的相似性度量。Ye等人[34]提出了定向相位一致性直方圖（HOPC）算法和基于定向梯度通道特征（CFOG）的算法。Fan等人[5提出了基于角度加權定向梯度的像素級特征。此類算法高度依賴先驗信息來粗略地消除幾何扭曲，包括尺度變化和圖像旋轉。盡管這些方法對NID表現出良好的魯棒性，但它們很容易受到幾何扭曲的影響。因此，在圖像存在大幅度旋轉以及尺度等幾何差異時，往往會配準失敗。

深度學習的快速發展為解決多模態圖像問題提供了一種新的方法。為了解決多模態圖像之間顯著的非線性輻射差異，Baruch等人[提出了一種新的卷積神經網絡（CNN）架構。該架構利用連體CNN和雙非權重共享CNN，將生成的特征檢測器與特征描述符緊密耦合，并在VIS-NIR跨模態場景中獲得了良好的結果。ReDFeat[7]將特征檢測和描述的獨立約束與互加權策略重新耦合，提出了具有大接受場和可學習的非極大抑制層的超級檢測器，實現了四模態場景匹配。然而，此類方法大多需要參數估計算法來優化匹配結果，并需要大量樣本數據來獲得模態不變的特征表示，且在非訓練域內的泛化效果仍不理想，尚無法在實際中得到廣泛應用。

基于特征的匹配方法通常檢測圖像之間的顯著特征（如點特征、線特征和區域特征），然后通過描述檢測到的特征來識別對應關系。Moravec[8]、Harris[9]、 LoG^[10] 、FAST[1]SIFT^[12] 是最具代表性的檢測算子。但由于上述算法是利用圖像的梯度信息或強度信息形成的，對于同時存在明顯幾何畸變和NID的多模態圖像，難以獲得優異的匹配性能。

近年來，人們在多模態圖像領域進行了大量的研究，并提出了一系列基于特征的方法來克服多模態圖像的尺度、旋轉、輻射和噪聲等變化，包括輻射不變特征變換（RIFT）[13]、絕對相位一致性梯度直方圖（HAPCG）[14]、一種先進的類 SIFT算法（POS-SIFT）[15]和定向相位一致性局部直方圖（LHOPC）[16]。與基于梯度信息的描述符相比，它們對輻射差異的魯棒性更強。RIFT利用Log-Gabor卷積序列構建了最大索引圖（MIM），實現了MIM的旋轉不變性，提高了多模態圖像特征檢測的穩定性，其缺點是并未考慮圖像尺度問題以及描述子可能會丟失部分空間信息且會增加特征匹配階段的復雜度。HAPCG通過各向異性加權力矩圖和絕對相位一致性方向梯度構造對數極坐標描述子，克服了圖像在尺度差異上的影響，但其構建的對數極坐標描述子對旋轉較為敏感。在涉及旋轉和尺度變化等嚴重幾何扭曲的圖像匹配任務中性能不佳。

針對多模態圖像配準過程中存在旋轉和尺度變化等嚴重幾何扭曲導致配準精度不高的問題，本文提出了一種結合多尺度特征與局部采樣描述的多模態圖像配準方法（combiningmulti-scale featureswithalocal samplingdescription，MS-LS）。該方法提出了一種尺度構建方法和一種魯棒的抗NID特征描述符，以解決配準過程中圖像尺度、旋轉等幾何問題，然后通過初次匹配獲得最優的幾何變換模型，修正圖像在尺度以及旋轉上的差異，再進行二次匹配提升匹配精度。實驗結果表明，所提算法在各類多模態數據集上的匹配效果顯著，優于現有多模態圖像特征匹配算法。

1 MS-LS方法

本文流程如圖1所示，主要包括五個部分：a）引入非線性擴散方程，構建非線性尺度空間；b）在多尺度圖像層中構建相位一致性最大矩圖和最小矩圖，歸一化后采用ORB（orientedFAST and rotated BRIEF）[17]算法檢測得到大量顯著特征點;c）基于特征點引入高斯核函數劃定采樣范圍，構建多層環形采樣結構并為采樣點分配權值，再次引入高斯加權與多方向Log-Gabor濾波結果卷積得到采樣點特征，然后與采樣點權值卷積得到雙重高斯采樣描述符（DGM）；d）采用歐氏距離作為匹配測度，通過DGM描述符進行初次匹配，利用快速樣本共識算法（FSC）完成誤匹配剔除，得到仿射變換矩陣 M;e） 根據 M 修正圖像幾何差異，使圖像對處在同一尺度、方向下，將參考圖像上的特征點映射到感測圖像中，并采用k-d樹策略得到最近鄰特征點，進一步對匹配進行精細化提煉，完成最終匹配。

1.1構建非線性尺度空間

多模態圖像（尤其紅外圖像/電子圖像/SAR圖像）之間存在噪聲、尺度、對比度差異等問題，進一步提升了特征點的識別難度。非線性擴散濾波1是一種針對噪聲的保邊濾波器，在抑制噪聲的同時保持了圖像的重要邊緣信息，可大大提升圖像特征點豐富度。因此采用非線性擴散方程構建非線性尺度空間。

具體而言，先對圖像下采樣得到圖像金字塔，然后在各圖層中引入非線性擴散方程進行濾波。如圖2所示，圖像金字塔由 a_i 和 b_i 兩組逐層疊加組成， i∈{0，1，…，n-1} 。 a₀ 對應原始圖像，對 a₀ 進行1.5倍下采樣得到 b₀ 。然后分別對 a₀ 和 b₀ 進行2倍下采樣，當圖片像素值低于 64×64 時，終止采樣。最后將 ω_a，b 兩組圖像逐層疊加得到尺度層 n∈{0，1，…，s}， s表示最大圖層數目。然后在圖層上引入非線性擴散方程進行濾波。

其中：div表示散度操作符； t 表示時間度量的尺度值； L 為輸入圖像； ablaL 為圖像的梯度值； c（x，y，t） 為擴散函數； k 為對比度因子， k 越小，保留的邊緣信息越多； L^s+1 為擴散后的結果； τ 為擴散的時間步長； I 為單位矩陣； A_l 為沿第 ξ_l 個方向的擴散系數矩陣。其中在擴散計算時，需要將尺度值轉換為時間值，即 t_s= 1/2σ_s²，σ_s 表示尺度， s 表示層數。

1.2 特征檢測

對于金字塔中的每一層圖像，計算相位一致性（PC）圖所生成的加權距圖。二維PC模型可表示為

其中： 為加權函數； A_so（x，y） 為Log-Gabor濾波器對圖像進行的濾波后的特征，其尺度為 方向為 o：Δ?_so（x，y） 為二維相位偏差函數； T 為補償噪聲； ε 是一個小值;1.I防止值為負數，大于0時為自身；否則，該值為0。

為了得到PC圖與方向變化之間的關系，本文對每個方向o 計算一個獨立的 PC（θ_o） ，并分析 PC（θ_o） 隨方向變化的結果。根據矩分析算法[19]，主軸對應最小矩 m_? ，表示特征方向；最大矩 M_? 垂直于主軸，反映特征的顯著性。 m_? 和 M_? 的大小可以計算如下：

其中：

其中 和 c 為相位力矩計算的中間量。

最小矩 m_? 為圖像的角點映射，最大矩 M_? 為圖像的邊緣映射。為了均衡PC圖中角點與邊緣特征。本文對其歸一化處理，計算如下：

此外，在 W 上應用了ORB算法，獲得了大量的顯著特征。圖3給出了一對光學與深度圖像的特征提取結果。可以看出，在基于加權歸一化后的PC圖上可以檢測到大量分布均勻且可靠的角點和邊緣特征點，證明了PC測度對NID的良好不變性。

1.3雙重高斯采樣描述符（DGM）

在本節中，本文提出了一種新的多模態圖像的魯棒特征描述符。盡管多模態圖像于存在嚴重NID的情況下，仍然能處理任何旋轉角度下的圖像。實現流程如圖4所示。具體而言，描述符的構建包括四個步驟：a）引入高斯加權函數，設計特征描述符結構并為采樣點分配權重；b）基于相位一致性距圖構建Log-Gabor特征;c）構造每個采樣點的高斯權特征;d）計算局部方向特征，估計主方向，并重新排序索引特征，將其按特定順序進行積分，生成特征點的旋轉不變特征描述符。圖4（a）為引入高斯加權，劃定采樣范圍;圖4（b）為基于采樣點在多方位Log-Gabor濾波結果引入高斯加權;圖4（c）為特征將局部鄰域的多方向濾波響應與高斯權值相結合得出采樣點向量；圖4（d）為主導方向估計；圖4（e）為形成特征點特征描述符。

1.3.1構建描述符結構

為了魯棒地描述特征點的特征信息，本文采用以特征點為主、結構信息為輔的描述形式。即針對特征點的趨近鄰域引入二維高斯模型，通過積分加權的形式突出特征點的中心作用。具體而言，首先以特征點為中心，引入標準差為 σ 的二維高斯模型，分別以 σ_D 為半徑繪制同心圓， σ_D∈{1/2σ，σ，2σ} 。然后在 1/2σ，σ 處設置均勻采樣點。最后將采樣點與所處位置的高斯權值的乘積作為特征點的特征描述符。特征描述符結構如圖5所示。

其中： σ 表示為 G_DGM（x，y，σ） 方差；圓環半徑 σ_D 由 σ 決定，分別在 1/2σ_?σ 處取得。

其中： DGM 為雙重高斯采樣描述符； SPF 為采樣點特征； n，m

分別為采樣點所在的圈數以及點數。

通過大量實驗，當 m=12 時可得最優結果，最終形成（2m+1）×σ 維描述符，即本文的特征描述子為150維。圖5為構建特征點特征描述符。

1.3.2 構建Log-Gabor特征

由于特征點在PC圖上進行描述并不魯棒，所以本文將特征檢測過程中獲得了多尺度和多方向的濾波結果按方向進行疊加，得到多方向的濾波結果。

其中 {?A_o（x，y） 為 σ_o 方向下疊加的濾波結果。由于 A_o（x，y） 具有對稱性，所以本文僅在 [0^°，180^° ］內構建多方向Log-Gabor濾波器。參考已有研究，將 σ_o 設置為 6

1.3.3 構建采樣點特征（SPF）

為了得到特征點鄰域中不同尺度的區域特征，本文將不同大小的高斯核分配給不同位置的采樣點。通過將疊加多尺度的Log-Gabor濾波結果與采樣點高斯核積分形成特征向量來描述采樣點特征。具體而言，首先確定每個采樣點的采樣區域，以采樣點到特征點的距離 R_s 為采樣半徑建立高斯核。

R_S=σ_D

其中： σ_s 表示 G_SPF（x，y，σ_s） 的方差。

其次，對采樣鄰域分配權值后，積分每層圖像并順序排列形成單個采樣點的采樣特征。最后將所有采樣子區域統計結果連接起來并進行歸一化處理，減少光照的影響。

其中： V_i，j，o 表示采樣點在單方向圖像上的值; （x_p，y_p） 為采樣點的坐標，根據已有研究[20] Ω_a 的經驗值為 0.15，b 的經驗值為 0.35 （20

SPF_n，m=[V_i，j，1;V_i，j，2;…;V_i，j，o]

其中： SPF_n，m 表示第 n 層第 ?_m 個采樣點特征。

1.3.4主導方向估計

經典的SIFT算法采用統計特征點局部像素的梯度方向及大小，然后構造梯度直方圖，以最大值的方向作為主要方向的方法來實現旋轉不變性。然而，此方法應用到相位一致性距圖上并不能得到良好的效果。由于Log-Gabor濾波器的取向角是固定的，當圖像以不同的角度旋轉時，濾波器的初始取向角發生了改變，導致以最大值的方向作為主要方向匹配失敗。

針對這一問題，本文沿用了 RIFT2^[21] 中解決圖像旋轉的方法。通過計算多方向的濾波結果 V ，并將濾波結果中最大范數的索引值V。設為第一層，其余方向濾波結果順序編碼。當圖像發生旋轉時，根據圖層索引值與濾波結果中的最大范數值得到圖像與濾波器之間的旋轉取向角。根據取向角重新編碼濾波器的結果，使其恢復原始對應結果，最終以最大值的方向作為主要方向便可實現旋轉不變性。表1給出了 o=6 時元素索引的修改示例。

計算模板圖像和參考圖像中的每個采樣點的 V_; ，找到最大值 V_o 和主導指數 s， 0

[V_o，s]=argmax（SPF）

通過 s 重新編碼濾波結果。

其中：SPF為重新編碼后的濾波結果，具有旋轉不變性。為提高匹配的穩定性，本文為超過主導峰值 80% 的峰值 V_o 也創建了新的SPF以增強魯棒性。

1.4 二次匹配

在像素為 500×500 的圖像上，利用ORB算法可提取約5000個特征點。然而，通過大量實驗發現，初次匹配只能匹配300～800 個正確匹配對。無法達到高精度匹配的要求，且浪費了大量特征信息。在本節中，本文通過修正圖像之間幾何變化對未匹配的高質量特征點進行重新匹配，以提高匹配性能。

通過快速樣本共識算法（FSC）[22]得到仿射變換矩陣 M ，估計初次匹配尺度和旋轉差。

其中： θ 表示圖像之間的旋轉差異 S_xS_yS_image 為 x 方向與 y 方向以及整體圖像之間的尺度差異。

修正圖像幾何差異，使圖像對處在同一大小、方向下，再將參考圖像上的特征點映射到感測圖像中，采用k-d樹策略得到最近鄰特征點，完成最終匹配。

2 實驗結果

為驗證本文方法的有效性，將其與PSO-SIFT[15]SURF[23]、LNIFT[24]、3MRS[25]、HAPCG[14]、 RIFT2^[21] 當前六種比較先進的方法進行比較實驗。為確保公平，其中參數設置均根據原文獻設置。同時使用同名點匹配數量（numberofcorrectmatches，NCM）均方根誤差（root meansquare error，RMSE）成功率（successrate，SR）以及運行時間（runningtime）四種指標來衡量。本文采用仿射變換作為約束條件，將匹配誤差在5像素內的結果認定為正確匹配，其中匹配同名點數目不能少于4對[13]。

2.1 數據集

本文選擇了多種不同模態圖像數據集作為實驗集，其中包括不同時段的光學圖像、SAR圖像、地圖、紅外圖像、深度圖像、熱成像、CT和晝夜圖像等。數據涵蓋了遙感、醫學、計算機視覺等多個領域。場景包含鄉村、田野、森林、室內、山脈、建筑、街道、城市等。為全面評估算法性能，部分圖片進行了人工旋轉、尺度等幾何變化。每種類型的數據集均包含多個圖像對，總共87個多模態圖像對。樣本數據如圖6所示。

2.2 參數選擇

影響本文算法復雜度與配準性能的參數包括三個，即第一重高斯加權函數的標準差 σ ，高斯環上采樣點的數量 ?_m 以及k-d樹得到的最近鄰特征點數量 K 為確保公平，實驗過程中對被測參數進行修改，其他參數保持不變。本文的最大特征數固定為5000個。表2給出了詳細的參數設置和實驗結果。

在特征描述符中， σ 的大小標志著特征點采樣鄰域的范圍。由于位于第一層的采樣點在 1/2σ 所在的采樣環上，為了使采樣點每次調整時變化大于一個像素點，在調整 σ 時每次以2個像素為一組。當 σ 過小時，則會丟失特征點局部信息。因此，本文將 σ 從16變化到26，當 σ=20 時匹配性能達到最佳。隨著 ?_m 增大，匹配數量逐漸增加，RMSE減小，性能有所提高。但在 m=12 之后，RMSE變化不大。較大的 m 會增加特征向量的維度，降低算法效率。 K 表示在二次配準過程中特征點所對應的正確匹配范圍。隨著 K 的增大，正確匹配數量逐步提升，但較大的搜索范圍則會導致誤差加大，精度降低。實驗表明，當 K 值設置為20時，可以獲得最大的高精度 NCM 。

根據上述分析，綜合考慮算法的時間復雜度和匹配性能，本文設置參數為 σ=20，m=12，K=20 ，并在接下來的實驗中使用此參數。

2.3定性比較實驗

為全方位評估實驗方法，本文對整體數據集進行實驗，并選出各個模態中最具代表性的圖像對進行展示，以全方位評估各算法的魯棒性。光學圖像-熱度圖像對和核磁圖像-熱度圖像對中包含不同強度和類型的非線性強度NID和仿射變換，可用于測試不同模態下圖像整體發生仿射變換時各算法的配準能力。SAR-紅外圖像對中存在大幅度旋轉，光學圖像-CT掃描圖像對、光學圖像-地圖、光學圖像-SAR對、光學圖像-深度圖像中均同時包含NID、圖像平移、尺度變化，可用于評估NID和復雜幾何畸變下的配準性能。針對不同角度的光學圖像，可評估算法在同源圖像下的配準性能。最終將MS-LS與目前比較先進的六種算法POS-SIFT、LNIFT、RIFT2、3MRS、HOPCG、SRIF進行視覺比較。

由圖7可知，SRIF和LNIFT對圖像間非線性輻射差異的穩健性較差，僅在不同角度的光學圖像對上成功提取了少量匹配對。POS-SIFT方法引人了新的梯度方法，在抗模態變化上有一定效果，但當模態變化過大時仍然匹配失敗，僅成功匹配4對圖像。3MRS對圖像進行了二次配準，在圖像匹配精度方面有明顯提升，但是由于在初次匹配時并未消除圖像在尺度及旋轉方面的影響，對于具有尺度、旋轉等幾何變換的4對圖像上匹配失敗。HAPCG在尺度上引入了擴散方程，在圖像尺度變化時具有魯棒性，但在圖像旋轉敏感，僅成功匹配了4對圖像。與前面五種方法相比，RIFT2方法具有相對較好的性能，除了無法匹配具有尺度差異的可見光-熱度圖像對，在其他模態圖像對上均能提取較多的匹配點對。MS-LS在初次匹配階段解決圖像的幾何差異，二次匹配階段基于此進一步提高匹配數量和配準精度。相比之下，MS-LS的表現明顯優于其他所有方法，并且是唯一正確匹配所有圖像對的方法。

2.4定量比較實驗

表3總結了各類算法在整體數據集上的詳細定量結果。綜合各個場景的分析顯示，MS-LS方法在多模態圖像配準任務中表現出卓越的性能。在光學圖像與熱成像中，MS-LS的

RMSE為1.75，顯著低于POS-SIFT的2.92和RIFT2的2.06，降幅分別為 40.4% 和 15.1% ，且SR達 100% 。在NMR圖像與熱成像中，MS-LS以1.85的RMSE優于LNIFT的2.82和RIFT2的 2.56 SAR-IR圖像中，MS-LS的RMSE為O.81，較

POS-SIFT和RIFT2分別降低 68.8% 和 70.5% 。在光學圖像與CT掃描中，MS-LS的RMSE為2.01，低于LNIFT的3.52和RIFT2的2.94。光學圖像與地圖中，MS-LS的RMSE僅為0.50，較POS-SIFT和LNIFT顯著降低 84.5% 和 85.2% 。在不同角度的光學圖像中，MS-LS的RMSE為0.51，較POS-SIFT降低 76.9% 。最后，在光學圖像與SAR的對比中，MS-LS的RMSE為0.81，降幅為 71.7% 。

總體而言，MS-LS在三個指標上都強于其他各類算法。MS-LS得到的NCM是其他幾類算法的幾倍甚至幾十倍。對于RMSE，在經過二次匹配的情況下，精度明顯提升，平均達到1.5個像素以內，幾乎比RIFT2高一倍。在SR方面，MS-LS全部匹配成功，證明了MS-LS算法對各種圖像模態以及圖像具有巨大幾何差異時的出色魯棒性。

2.5 運行時間

表4顯示了本文與其他幾種方法在測試87對多模態圖像的平均運行時間。所有實驗均在相同配置下進行：Windows1064專業版，13th Gen CoreTM i5-13490F，2.50 GHz，32 GBRAM，MATLAB 2022a 開發環境。

由表4可以看出，SRIF、HOPCG在運算速度上優于MS-LS。消耗時間最長的是3MRS，此方法存在二次匹配的過程，且匹配點數巨大，導致時間過長。RIFT2在RIFT的基礎上將原有端到端的環形特征匹配方法改為基于最大值索引值進行特征匹配，大大降低了算法運算時間。SRIF、HOPCG之所以快，是因為SRIF、HOPCG檢測的特征點相對較少，在匹配時無須大量計算。MS-LS方法在保證識別出豐富的同名點對的同時，依然能保持較高的運算效率，可以實現多模態圖像的快速魯棒匹配。

3結束語

針對解決多模態圖像中存在非線性輻射差異以及可能存在圖像比例、旋轉等幾何差異所導致匹配困難且配準精度不高的問題，本文提出了一種結合多尺度特征與局部采樣描述的多模態圖像配準方法，通過大量具有光照、模態、尺度、旋轉、位移和綜合差異的各類多模態圖像對進行了實驗驗證，該方法具有良好的抗圖像幾何形變性能，并能達到高精度匹配。此外，對各種多模態圖像進行了廣泛的定性和定量比較，結果表明MS-

LS優于目前最先進的方法SIFT、POS-SIFT、LNIFT、RIFT2、3MRS、HOPCG、SRIF。但是，由于此算法追求高精度，導致在描述符的構建以及特征匹配環節耗費了大量時間。在特征描述符的構建過程中，針對不同采樣點計算時，重復計算了特征點的近值鄰域部分，導致遍歷時間過長。同時，算法在特征檢測時檢測了大量特征點，導致配準時間過長。未來將考慮在不損失精度的情況下，通過降低特征維度或提取精度更高且重復性更好的特征點以提高所提方法的效率、準確性和魯棒性。

參考文獻：

[1]Zhu Bai，ZhouLiang，Pu Simiao，etal.Advances and challenges in multimodal remote sensing image registration [J].IEEE Journal on MiniaturizationforAirandSpace Systems，2023，4（2）：165-174.

[2]Kovesi P. Phase congruency：a low-level image invariant[J].Psychological Research，2000，64（2）：136-148.

[3]Ye Yuanxin，Shan Jie，BruzzoneL，et al.Robust registration of multimodal remote sensing imagesbased on structural similarity[J]. IEEETrans on Geoscience and Remote Sensing，2017，55 （5）：2941-2958.

[4]Ye Yuanxin，BruzzoneL，Shan Jie，et al.Fast and robust matching for multimodal remote sensing image registration[J]. IEEE Trans on Geoscience and Remote Sensing，2019，57（11）：9059-9070.

[5]Fan Zhongli， Zhang Li，Liu Yuxuan，et al.Exploiting high geopositioningaccuracyof SARdata toobtainaccurate geometric orientationof optical satellite images[J].Remote Sensing，2021，13（17）：3535.

[6]Baruch E B，Keller Y. Joint detection and matching of feature points inmultimodalimages[J].IEEETransonPatternAnalysisand MachineIntelligence，2022，44（10）：6585-6593.

[7]Deng Yuxin，Ma Jiayi. ReDFeat：recoupling detection and descriptionformultimodal featurelearning[J]. IEEETranson lmageProcessing，2022，32：591-602.

[8]Moravec BHP.Obstacle avoidance and navigation inthe real world byaseeingrobot rover[M].Stanford，CA，USA：Stanford University，1980.

[9]Harris C，Stephens M.A combined corner and edge detector[C]// Procofthe4thAlveyVisionConference.1988：147-151.

[10]Lindeberg T. Scale-space theory：a basic tool for analyzing structures atdifferentscales[J].JournalofAppliedStatistics，1994，21（1- 2）：225-270.

[11]RostenE，PorterR，Drummond T.Fasterand better：amachine learningapproachto cornerdetection[J].IEEETrans onPattern Analysisand Machine Intelligence，2010，32（1）：105-119.

[12]Lowe DG.Distinctive image features from scale-invariant keypoints[J]. International JournalofComputerVision，2004，60（2）：91-110.

[13]Li Jiayuan，Hu Qingwu，Ai Mingyao．RIFT：multi-modal image matching based on radiation-variation insensitive featuretransform [J].IEEETranson ImageProcessing，2020，29：3296-3310.

[14］姚永祥，張永軍，萬一，等．顧及各向異性加權力矩與絕對相位 方向的異源影像匹配[J].武漢大學學報：信息科學版，2021，46 （11）：1727-1736.（Yao Yongxiang，ZhangYongjun，Wan Yi，et al.Heterologous images matching considering anisotropic weighted moment and absolute phase orientation[J].Geomatics and Information Science of Wuhan University，2021，46（11）：1727-1736.）

[15]MaWenping，Wen Zelian，Wu Yue，etal.Remotesensingimage registration with modified SIFT and enhanced feature matching[J]. IEEEGeoscience and Remote Sensing Letters，20l7，14（1）：3-7.

[16]YeYuanxin，ShanJie，HaoSiyuan，etal.Alocal phasebased invariant feature for remote sensing image matching[J]. ISPRS Journal ofPhotogrammetryand Remote Sensing，2018，142：205-221.

[17]RubleeE，RabaudV，KonoligeK，etal.ORB：aneffcientalternativetoSIFTorSURF[C]//ProcofInternationalConferenceonComputerVision.Piscataway，NJ：IEEEPress，2011：2564-2571.

[18]PeronaP，Malik J.Scale-space and edge detection using anisotropic diffusion[J]. IEEETransonPattern AnalysisandMachine Intelligence，1990，12（7）：629-639.

[19]HornB.Robot vision[M].[S.I.]：MITPress，1986.

[20]Hou Zhuolu，Liu Yuxuan，Zhang Li． POS-GIFT：a geometric and intensity-invariant feature transformation for multimodal images[J]. InformationFusion，2024，102：102027.

[21]Li Jiayuan，Shi Pengcheng，Hu Qingwu，et al.RIFT2：speeding-up RIFTwith a newrotation-invariance technique[EB/OL]. （2023-03- 01）.https：//arxiv.org/abs/2303.00319.

[22]XiongXin，Jin Guowang，XuQing，etal.Robust registration algorithmforoptical and SAR imagesbased onadjacent self-similarity feature[J].IEEE Trans on Geoscience and Remote Sensing， 2022，60：5233117.

[23]Li Jiayuan，Hu Qingwu，Zhang Yongjun.Multimodal image matching：a scale-invariant algorithm and an open dataset[J]. ISPRS Journal of Photogrammetryand RemoteSensing，2023，204： 77-88.

[24]Li Jiayuan，Xu Wangyi，Shi Pengcheng，et al.LNIFT：locally normalized imageforrotationinvariantmultimodalfeaturematching[J]. IEEETrans on Geoscience and Remote Sensing，2022，60： 5621314.

[25]FanZhongli，LiuYuxian，Liu Yuxuan，etal.3MRS：aneffective coarse-to-fine matching method for multimodal remote sensing imagery [J].Remote Sensing，2022，14（3）：478.

下期要目

? 多模態行人重識別研究綜述

? 語義通信在邊緣算力網絡中應用研究綜述

? 基于同態加密和零知識證明的區塊鏈可擴展隱私保護方案

? HyperledgerFabric并發沖突消除機制

? PMoE：在P-tuning中引入混合專家的參數高效微調框架

? 基于大語言模型的多任務生成式重構對話情緒識別

? 基于完整超圖神經網絡的捆綁推薦模型

? 基于高階鄰域信息交互的自監督異質圖嵌入算法

? 基于超圖和分層頻譜濾波器的序列推薦模型

? 針對圖像指代分割的訓練后量化策略

? 基于強化學習協同進化算法求解柔性作業車間節能調度問題

? 基于信息互補與交叉注意力的跨模態檢索方法

? 基于污點分析的移動端深度學習模型泄露自動分析方法

? 基于GPU的Winograd卷積算法并行化

? 獎勵回溯DQN驅動的多QoS工業網絡時隙調度方法

? 基于QUIC的擁塞控制算法動態切換機制

? 面向物流數據共享的可撤銷屬性加密方案

? 一種具有多級安全目標的動態對稱可搜索加密方案

? 殘差混合注意力與自適應特征融合的腦腫瘤分割

? 融合時空信息與運動信息的骨架行為識別

? 基于雙重擴散模型的圖像恢復模型

? 基于預訓練擴散模型的兩階段高分辨率圖像復原方法

? 基于自學習區域選擇與邊緣聚焦的單目3D檢測