BRIFT： 一種基于二值描述符的多模態圖像匹配方法

許凱凱 郭鵬程 王晶晶

摘要：?????? 針對使用輻射變化不敏感特征變換（RIFT）在最大索引圖（MIM）上計算特征描述符、 進行特征匹配耗費時間長的問題， 提出了基于RIFT的二值描述符算法（BRIFT）。 首先計算圖像的相位一致性并得到MIM， 然后在MIM上通過快速算法計算特征描述符并將其二值化， 最后利用Hamming距離作為距離測度進行匹配。 將存在多種幾何畸變和輻射度變化的異源遙感圖像作為測試數據， 將BRIFT算法分別與SIFT， BRISK， BRIEF， RIFT等方法進行對比， 結果表明， 在略微損失匹配精度的情況下， 所提BRIFT算法能節省約80%～90%的特征描述符計算時間， 節省約50%的特征匹配時間， 實現異源遙感圖像的快速魯棒匹配。

關鍵詞：????? 圖像匹配；? 特征匹配；? 相位一致性；? 最大索引圖；? 二值描述符

中圖分類號：???? ??TJ760；? TP751? ??文章編號：???? ?1673-5048（2023）04-0115-08

文獻標識碼：???? A? ? DOI：? 10.12132/ISSN.1673-5048.2022.0263

0引言

圖像匹配是將由不同傳感器、 在不同時間拍攝的圖像在空間位置上進行對齊配準的過程。 由于不同傳感器成像機理不同， 成像時間、 視角也不同， 因此圖像配準可以提供互補的信息， 被廣泛應用于如地物勘測、 圖像融合、 圖像檢索、 變化檢測、 計算機視覺等方面。 近年來， 隨著紅外、 激光、 SAR等成像技術的快速發展， 產生的海量數據對圖像的快速魯棒配準提出了更高要求。 此外， 由于異源圖像通常由不同傳感器在不同時間獲得， 因此圖像之間存在較大的非線性輻射度差異及時相差異， 導致圖像匹配性能較差。

圖像匹配方法通常分為三類： 基于灰度的圖像匹配方法、 基于特征的圖像匹配方法和基于表示的圖像匹配方法。 基于灰度的圖像匹配方法直接利用圖像的灰度值， 即根據一定的相似性度量方法， 計算模板窗內兩幅圖像灰度值的相似度， 從而將相似度最大的位置作為匹配位置。 常用的相似性度量方法有平方差（Sum of Squared Difference，? SSD）［1］、 互相關（Cross Correlation，? CC）、 歸一化互相關（Normalized Cross Correlation，? NCC）［2］和互信息（Mutual Information，? MI）［3］。 這類方法通常無法用來匹配含有非線性輻射度變化的多模態圖像。 基于表示的圖像匹配方法［4］首先利用機器學習等方法獲得對待匹配區域的解釋表示， 然后借助語義網絡等方法， 實現圖像的配準， 在缺少訓練樣本時或者實時性要求比較高時， 無法實現異源圖像的快速魯棒配準。

基于特征的圖像匹配方法首先在待匹配圖像之間尋找具有顯著特征的點， 如角點、 線交叉點、 邊緣點等， 然后利用特征點及其周圍的像素形成特征點的特征表示， 最后再根據一定的搜索策略在特征表示之間尋找具有匹配關系的特征點。 由于考慮了特征點周圍的統計信息， 并對特征向量進行了歸一化， 因此能抵抗旋轉、 光照和尺度變化。 基于特征的圖像匹配方法中， 尺度不變特征變換（Scale Invariant Feature Transform，? SIFT）［5-7］最早被提出。 SIFT在高斯差分尺度空間（Laplacian of Gaussian，? LoG）中檢測角點， 并利用特征點周圍的梯度信息構造特征點的特征描述， 因此對一般的仿射變換都具有不變性， 但是受限于計算效率問題。? 加速魯棒特征（Speed-up Robust Features，? SURF）［8］和PCA-SIFT［9］以損失一定匹配精度為代價， 通過降低特征描述符的長度以實現對SIFT算法的加速。? BRIEF（Binary Robust Independent Elementary Features）［10］和ORB特征［11］也是以損失匹配精度為代價， 利用二值特征描述符減少描述符的占用空間并利用二值描述符的快速匹配策略加速匹配。? BRISK（Binary Robust Invariant Scalable Keypoints）［12］算法利用環形采樣模式以解決BRIEF［10］算法存在的不能抵抗旋轉差異的問題。? SAR-SIFT［13］利用比率梯度代替差分梯度， 從而增強SAR圖像匹配的魯棒性。 近年來， 國內一些學者提出了多種新的多模圖像匹配方法， LSS［1］利用局部自相似性即圖像塊與周圍區域的相關系數進行匹配， 可以實現具有相同區域模式圖像的匹配。 CFOG［14］利用圖像在多個方向上的變化率（多方向梯度）構造每個像素的特征表示， 可以實現多模圖像匹配。 HOPC［15］和RIFT（Radiation-Variation Insensitive Feature Transform）［16］利用圖像相位一致性提取圖像的特征點， 可以實現具有非線性灰度變化的多模圖像的魯棒匹配， 但是對圖像之間的旋轉差異適應性差且運算量大。 HAPCG［17］利用各向異性加權力矩和絕對相位一致性方向直方圖進行多模圖像匹配， 提高了多模圖像匹配的精度。

總而言之， 基于特征的圖像匹配方法利用了特征點及其周圍像素的統計信息， 在存在光照、 旋轉和尺度差異的圖像匹配上效果較好。 由于多模圖像之間存在非常大的幾何、 灰度、 時相差異， 因此使用SIFT等依賴梯度的方法并不能取得令人滿意的效果。 較新的方法如HOPC［15］和RIFT［16］等不依賴于圖像的梯度信息， 對具有非線性灰度差異的多模圖像匹配效果較好， 但存在計算效率不高、 不利于工程應用的問題。 本文提出的基于RIFT［16］的二值描述符算法（Binary Descriptor for RIFT，? BRIFT）利用相位一致性和RIFT［16］算法中的最大索引圖（Maximum Index Map，? MIM）， 結合BRIEF［10］算法中將特征描述符二值化的思想， 對RIFT算法計算效率不高的問題進行了改進， 將RIFT算法運算速度提高了一個數量級。 所提BRIFT算法首先利用快速算法在MIM上計算二值特征描述符， 然后利用Hamming距離作為測度進行特征匹配， 最后利用隨機采樣一致性算法［18］估算兩幅圖像之間的仿射變換矩陣， 從而剔除誤匹配點， 實現多模圖像的快速魯棒匹配。

1相位一致性及特征描述符的快速計算

1.1相位一致性

使用相位一致性提取特征的思路來源于信號的Fourier分解， 考慮如圖1所示的方波信號和三角波信號及其諧波分量。 在方波信號的階躍位置和三角波信號的波峰波谷位置， 其諧波分量有近似一致的相位， 如諧波分量在方波階躍位置相位均為0， 在三角波波峰波谷的位置相位均為0或者π， 而方波的階躍位置和三角波的波峰波谷一般是信號中具有明顯特征的位置。

相位一致性通過式（1）計算：

式中： ω0（x， y）為一頻率擴展加權函數， 作用是當（x， y）處信號的頻率分布較窄時對該位置進行懲罰， 即信號所包含的頻率范圍越寬， 其對相位一致性的貢獻越大；? Aso（x， y）表示將圖像I與尺度為s、 方向為o的log-Gabor正交濾波器Leven和Lodd卷積的幅度響應， 即

［Eso（x， y）， Oso（x， y）］=［I（x， y）*Leven（x， y， s， o）， I（x， y）*Lodd（x， y， s， o）］

log-Gabor濾波器定義在頻域［19］， 其IFFT的實部對應濾波器的偶對稱部分Leven， 虛部對應濾波器的奇對稱部分Lodd；? ·」是為了防止所包含的部分為負數， 即當所包含的部分為負數時將其置為0；? ε為一個避免分母為零的小的常數；? T為一噪聲閾值， 其作用是提高對含有噪聲信號的特征檢測能力；? ΔΦso為相位偏差函數， 其定義如下：

相比于式（1）中的相位偏差， 該定義下的相位偏差可以提供更好的特征定位能力。

根據式（2）， 為計算相位一致性， 需要將圖像與多個尺度和方向上的log-Gabor濾波器進行卷積， 對于所有方向θo， 相位一致性的協方差矩陣為

根據矩分析理論， 最小矩mψ對應于圖像中的角特征， 最大矩Mψ對應圖像中邊緣線特征。 由于最大矩Mψ圖中非零元素更多， 因此可以檢測到更魯棒的特征。 本算法通過在最大矩圖中執行FAST［20］檢測得到特征點的位置。

1.2最大索引圖及特征描述符快速計算方法

Li等［16］在RIFT算法中指出， 由于相位一致性圖中大部分像素為0， 在相位一致性圖上構造的特征描述符不足以完成多模圖像的魯棒匹配， 因此RIFT在最大索引圖（MIM）上構造特征描述符。 最大索引圖構造方式如圖2所示，

其中：? A1～A6為將原圖像在各尺度濾波結果相加， 得到在不同相角處的相位一致性； MIM為相位一致性最大處所在相角的索引。

在計算相位一致性時， 將圖像與Ns個尺度和No個方向上的log-Gabor正交濾波器對進行卷積， 其幅度響應為Aso， 因此在給定方向o上的相位一致性Ao為最大索引圖定義為所有No個方向中， 相位一致性最大的Ao所在的方向序號。 考察相位一致性的意義可知， 最大索引圖實質上是將相位一致性方向量化到No個方向， 因此MIM（x， y）∈［1， No］。 RIFT算法［16］中通過實驗確定使用Ns=4個尺度和No=6個方向以得到最優的結果。 為了與該算法對比， 所提BRIFT算法使用了相同的參數設置。

RIFT算法使用最大索引圖構造特征描述符， 即對1.1節中檢測到的特征點， 將以特征點為中心的圖像區域切分為若干個block， 統計每個block的直方圖， 將統計得到的直方圖級聯為一特征向量形成對特征點的特征描述。 然而， 統計直方圖至少需要對每個block內的像素進行遍歷， 時間復雜度為O（n）， 當特征點數量比較多時， 該步驟將耗費大量時間。 實際上， 由于MIM（x， y）∈［1， No］， 所以計算直方圖可以通過盒式濾波簡化為No次查表操作， 時間復雜度降低為O（c）， 具體如圖3所示。 首先， 將MIM分解為No個子圖， 每個子圖僅包含相同的相位一致性方向索引。 其次， 將每個子圖與求和濾波器進行卷積， 卷積核的大小與計算直方圖的block的大小一致， 其中i表示方向索引。 因此， 卷積結果（查找表）中每個像素的值就表示以該像素為中心， 大小為block的范圍內， 含有相同相位一致性方向索引像素的個數。 最后， 當需要計算某個block內的直方圖時， 只需要在No個查找表上查找與block中心像素相同位置的元素值， 將這No個結果合在一起， 就構成了該block的直方圖表示。 在實驗部分， 對于含有5 000個特征點的圖像（圖像大小為500×500）， BRIFT算法可以節省約90%的計算時間。

2二值特征描述符

使用二值特征描述符的優勢在于節省特征描述符的存儲空間并加速特征匹配過程。 對于浮點數據類型的描述符， 在描述符長度相同時其占用空間約為二值化特征描述符的4倍。 其次， 浮點類型的特征描述符匹配需要計算浮點向量之間的歐氏距離， 由于現代計算機浮點數據的運算指令周期長于整型數據的運算指令周期， 因此特征匹配耗時更長， 而對于二值化的特征描述符， 特征匹配只需要計算特征描述符之間的Hamming距離， 即只需要將兩個特征描述符進行異或操作即可， 可以大大節省特征匹配耗時。

2.1在MIM上應用BRIEF描述符

BRIEF［10］算法改進特征描述符的方式如下， 對于大小為S×S的像素區域p， 定義測試τ為

式中： I（p， x）為圖像區域p中在位置x=（u， v）T處的圖像灰度值。 通過選擇nd個點對（x， y）， 就構成了區域p上的一個二值測試集， nd就是特征描述符的長度， 其BRIEF描述符定義如下：

BRIEF算法中給出了五種測試點對（x， y）的分布， 并指出當點對（x， y）相對于區域中心均服從高斯分布時， 所形成的二值描述符具有最高的識別率。 然而， 將BRIEF算法直接應用于相位一致性圖或者最大索引圖時， 均未取得期望的結果。 主要原因為： （1）將BRIEF算法應用于相位一致性圖時， 由于相位一致性圖中大部分像素均為0， 因此在給定的nd次測試下， 其結果也大部分為0， 因此形成的特征描述符可分性不高， 不能實現多模圖像的魯棒匹配；? （2）將BRIEF算法應用于最大索引圖時， 由于多模圖像之間非線性灰度差異較大， 因此兩幅圖像在相同測試點對處不一定有相同的相位一致性方向關系；? （3）將BRIEF算法應用于最大索引圖時， 由于受到噪聲等因素的影響， 單個點處的相位一致性方向可能并不準確， 其位置可能發生偏移， 從而造成該位置處的測試失效， 影響最終的匹配性能。

2.2新的二值化描述符

針對2.1節中直接將BRIEF算法應用于最大索引圖所得描述符魯棒性不足， 結合SIFT和RIFT等構造描述符的方式， 利用1.2節中所提的快速算法， 給出一種新的二值描述符構造算法。 對于大小為S×S的像素區域p， 將其劃分為n×n個block， 每個block大小為m×m， 其中m=S/n。 在每一個block上定義測試τ為

式中： O（n）為每個block內相位一致性方向的主方向， 其可以通過1.2節所述方法獲得， 則按照式（13）將區域p上的n×n個測試τ組和起來， 就構成了該區域中心處特征點的特征描述：

利用這種方法構造的特征描述符可以提供更好的魯棒性， 這是因為每個測試都是在一個小的區域內完成的， 單個像素點處相位一致性方向產生的誤差不會對整個小區域相位一致性的主方向產生大的影響。 此外， 由于可以使用1.2節方法快速計算每個block的主方向， 因此即使在p或n較大時， BRIFT算法也仍然可以取得優于RIFT算法的計算效率。

3實驗

3.1數據集

本文實驗數據［21］共包含光學-光學、 紅外-光學、 深度-光學、 地圖-光學、 SAR-光學、 白天-黑夜六組多模圖像， 每組都包含了多個圖像對， 共76對多模圖像數據， 數據集中的部分數據如圖4所示。

該數據集中的數據不僅涵蓋了多傳感器數據、 多時相數據， 還包含了地圖數據；? 圖像的地距分辨率從0.1 m到數百米；? 數據來源有衛星、 無人機等；? 數據區域覆蓋城區、 山地、 海岸等。 因此， 存在非常嚴重的輻射度畸變和局部幾何畸變， 對多模態圖像匹配而言存在巨大挑戰。

為了評估算法性能， 從五個指標對匹配效果與匹配效率進行評估：

（1） 匹配點的個數（Number of Correct Match，? NCM）， 即進行外點剔除后兩幅圖像中匹配點對的數量。 由于每幅圖像匹配點個數易受到外點剔除算法的影響， 因此NCM一般指每組數據的平均匹配點數， 即

式中： k表示該組數據集中圖像對的個數；? NCMi表示第i對圖像匹配點的個數。 實驗中， 對于經過最近鄰搜索得到的匹配點對， 使用文獻［18］中的隨機采樣一致性算法剔除外點。 對于得到的仿射變換矩陣， 計算待匹配圖像中同名點坐標在仿射變換矩陣轉換下的坐標與參考圖中同名點坐標的距離， 將距離小于3像素的匹配點對視為正確匹配點對。

（2） 匹配成功率（Correct Match Ratio，? CMR）。 精確的量化評估需要知道兩幅圖像之間的真實仿射變換矩陣， 然而， 由于受多種因素的影響， 實際的多模態數據集通常不含精確的對應關系， 因此需要在圖像中選取多個均勻分布的點對以獲得近似的仿射變換矩陣。 匹配點越多， 匹配點在圖像上分布越均勻， 得到的近似仿射變換矩陣就越準確。 因此， 當兩幅圖像中的匹配點對非常集中， 或者當匹配點個數少于10時， 認為該匹配結果不正確。

（3） RMSE（Root Mean Square Error）， 其定義如下：

式中： （xi， yi）表示參考圖像與待匹配圖像的同名點坐標; （x′i， y′i）表示待匹配圖像中的同名點坐標經仿射變換矩陣轉換后的坐標。

（4） 匹配點的可分性（Ratio of Repeatability，? RR）， 即進行外點剔除后剩余匹配點對的個數與剔除前的比值， 該指標實際反映的是算法中每個描述符相對于其他描述符的顯著性。

（5） 時間復雜度， 包括特征描述符計算時間與特征匹配時間。

3.2參數選擇

影響BRIFT算法復雜度與匹配性能的參數有4個， 即計算相位一致性使用的log-Gabor濾波器的尺度個數Ns、 方向個數No、 計算特征描述符的區域大小S和每個block的大小m。 RIFT算法通過實驗確定Ns=4， No=6。 使用本算法驗證發現， Ns和No對匹配點數量的影響較小， 如在所有測試的4個方向個數（No=2， 4， 6， 8）中， 匹配點數量分別為340.60， 322.20， 311.90， 284.10， 變化不大， 這是因為本算法實際上將相位一致性量化到兩個方向。 為了與RIFT算法對比， 將No設置為6， 但實際上將No設置得小一點可以獲得更快的速度。

在區域大小S固定的情況下， 每個block的大小m影響計算描述符的復雜度， 也影響特征描述符的長度， 并最終影響匹配時間。 實驗中， 將m分別設置為3， 4， 6， 8， 12， 16， 其結果如表1所示。 從表中可以看出， m越小， 描述符中每一bit的影響就越“局部”， 對區域的描述就更加細致；? 描述符越長， 描述符之間的可區分度也更高， 正確匹配的點數就越多， 其代價是描述符計算時間的增加。 如m=3時， 描述符長度為（S/m）×（S/m）=1 024 bit（占用空間仍遠低于RIFT描述符）， 其描述符計算時間約為m=4時（對應的描述符長度為576 bit）的1.4倍。 另外， m的值不宜設置過大， 除非區域S也非常大， 否則得到的描述過短， 對特征點的描述不精細， 描述符顯著性嚴重降低， 將不足以完成多模圖像的魯棒匹配。 根據實驗結果， 綜合考慮算法的時間復雜度和匹配性能， 將m設置為4。

在block大小固定的情況下， 區域大小S也會影響描述符計算的時間復雜度和匹配性能。 實驗中， 將S分別設置為48， 72， 96， 120， 144， 其結果如表2所示。 可以看到， 隨著區域尺寸的增大， 描述符的長度變得更長， 因此描述符之間的可分性更強， 正確匹配點的個數也在增加， 但相應的描述符的計算時間也增加。 綜合考慮算法的時間復雜度和匹配性能， 本文將S設置為96。

3.3與其他算法對比

圖 5從左到右依次展示了SIFT， BRISK， BRIEF， RIFT， BRIFT算法的運行結果。 從結果來看， 對于多模圖像， 由于圖像對之間存在的非線性灰度差異和時相差異， SIFT算法和BRISK算法在所給的六組多模圖像上均未取得正確的配準結果， 圖中所給出的匹配點對也全部是誤匹配。 直接在MIM上使用BRIEF算法（第三列）在部分多模圖像上可以得到正確的結果， 但由于匹配點數遠少于RIFT和所提BRIFT算法， 因此在另外的一些多模圖像上匹配結果不理想， 如深度-光學、 白天-黑夜數據集。 RIFT算法在所給的六組多模圖像上均取得了較好的配準效果， 但算法運行時間長， 計算量大， 不利于工程應用和實現。 所提BRIFT算法在六組多模圖像數據集上也取得了較好的效果，雖然最終的匹配點對數量略小于RIFT算法，?? 如第三組深度-光學圖像， 但通過這些匹配點對仍能得到正確的仿射變換矩陣， 對配準精度幾乎無損失。

為了對比幾種算法的優劣， 圖6給出了SIFT， BRISK， BRIEF， RIFT， BRIFT在各數據集上匹配點個數（NCM）， 圖7給出了各算法在各數據集上正確匹配圖像個數的實驗結果。 可以看到SIFT算法僅在個別圖像上可以正確匹配， BRISK算法在所有圖像上都未能匹配。 在MIM上使用BRIEF算法， 可以取得相對較好的效果， 但仍不及RIFT和所提BRIFT算法。 RIFT算法在所有的圖像對上都可以匹配成功， 說明使用相位一致性進行多模圖像匹配效果較好。 相比于RIFT算法， 所提BRIFT算法在NCM指標上略遜于RIFT算法， 在各數據集上其平均NCM約為RIFT算法的90.62%， 88.40%， 72.50%， 75.48%， 83.19%， 55.82%， 但正確匹配圖像對的個數卻與RIFT相差不大， 僅在紅外-光學數據集（序號為1的圖像對）和白天-黑夜數據集（序號為12的圖像對）上有兩幅圖像未能正確匹配。 RIFT在這兩對圖像上的表現也同樣不容樂觀， 其NCM僅為20和37， 說明這兩個圖像對之間差異更大， 匹配更具挑戰性。 BRIFT算法NCM指標低于RIFT算法的一個原因是RIFT算法在計算描述符時使用了歸一化策略， 即將所有描述符按其L-1范數進行了歸一化， 因此對非線性灰度變化的適應能力更強， 而所提BRIFT算法使用二值描述符， 沒有歸一化步驟， 因此在非線性灰度變化較大（如第六組白天-黑夜數據）時， 算法性能會出現一定下降。 其次， 由于在匹配時使用雙向匹配策略， RIFT算法描述符在進行歸一化后可分性更強， 而所提BRIFT算法使用的二值描述符受限于描述符的長度， 因此NCM指標不如RIFT。 NCM實際是與描述符長度正相關的， 這一點可以通過增加二值描述符的長度改善， 也可以使用多個大小的block從而形成多種長度的特征描述符進行匹配。 實際上， 對于圖6中的所有圖像對， 都可以通過增大區域S的大小和減小m的大小來構造更長的描述符， 從而達到優于RIFT算法的NCM指標。 如對于未能匹配的紅外-光學數據集中序號為1的圖像對， 如果將S設置為144， 將m設置為3， 此時描述符長度為2 304 bit， 占用空間仍低于RIFT算法， 其NCM可達到73左右， 從而成功匹配， 代價是描述符計算時間增加。

3.4時間測試

圖8顯示了RIFT算法與所提BRIFT算法在各數據集上的運行時長。 從實驗結果可以看出， 所提算法在計算特征描述符時所用時間約為RIFT算法的12.2%， 特征匹配時間約為RIFT算法的53.66%。 因此， 在損失一定的NCM精度下， BRIFT算法使用的時間更少， 可以實現多模圖像的快速魯棒匹配。

4結論

本文提出了一種基于相位一致性和二值描述符的多模圖像匹配方法。 該方法以MIM為基礎， 通過盒式濾波器獲得多模圖像中每個像素點周圍小范圍內相位一致性的主方向， 然后將每個block的主方向根據其范圍量化為1 bit符號， 通過在特征點周圍選取若干個block構成特征點的二值描述符， 然后使用Hamming距離在特征描述符之間進行匹配， 最后通過隨機采樣一致性算法估計兩幅圖像之間的仿射變換矩陣并剔除誤匹配點。 通過實驗確定了BRIFT算法中所需參數的最優值， 并以此為基礎與其他算法特別是RIFT算法進行了對比。 實驗結果表明， 所提方法以損失少量匹配精度為代價， 將RIFT算法的運行速度提升了一個數量級， 提高了算法的執行效率， 實現了多模圖像的快速魯棒匹配。

參考文獻：

［1］ Shechtman E，? Irani M. Matching Local SelfSimilarities across Images and Videos［C］∥IEEE Conference on Computer Vision and Pattern Recognition，? 2007： 1-8.

［2］ Briechle K，? Hanebeck U D. Template Matching Using Fast Normalized Cross Correlation［C］∥ Optical Pattern Recognition XII，? 2001，? 4387： 95-102.

［3］ Chen H M，? Arora M K，? Varshney P K. Mutual InformationBased Image Registration for Remote Sensing Data［J］. International Journal of Remote Sensing，? 2003，? 24（18）： 3701-3706.

［4］ Haskins G，? Kruger U，? Yan P K. Deep Learning in Medical Image Registration： A Survey［J］. Machine Vision and Applications，? 2020，? 31（1）： 1-18.

［5］ Lowe D G. Object Recognition from Local ScaleInvariant Features［C］∥7th IEEE International Conference on Computer Vision，? 1999： 1150-1157.

［6］ Lowe D G. Local Feature View Clustering for 3D Object Recognition［C］∥ IEEE Computer Society Conference on Computer Vision and Pattern Recognition，? 2001.

［7］ Lowe D G. Distinctive Image Features from ScaleInvariant Keypoints［J］. International Journal of Computer Vision，? 2004，? 60（2）： 91-110.

［8］ Bay H，? Ess A，? Tuytelaars T，? et al. SpeededUp Robust Features （SURF）［J］. Computer Vision and Image Understanding，? 2008，? 110（3）： 346-359.

［9］ Ke Y，? Sukthankar R. PCASIFT： A More Distinctive Representation for Local Image Descriptors［C］∥ IEEE Computer Society Conference on Computer Vision and Pattern Recognition，? 2004.

［10］ Calonder M，? Lepetit V，? Ozuysal M，? et al. BRIEF： Computing a Local Binary Descriptor Very Fast［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2012，? 34（7）： 1281-1298.

［11］ Rublee E，? Rabaud V，? Konolige K，? et al. ORB： An Efficient Alternative to SIFT or SURF［C］∥International Conference on Computer Vision，? 2011： 2564-2571.

［12］ Leutenegger S，? Chli M，? Siegwart R Y. BRISK： Binary Robust Invariant Scalable Keypoints［C］∥International Conference on Computer Vision，? 2011： 2548-2555.

［13］ Dellinger F，? Delon J，? Gousseau Y，? et al. SARSIFT： A SIFTLike Algorithm for SAR Images［J］. IEEE Transactions on Geoscience and Remote Sensing，? 2015，? 53（1）： 453-466.

［14］ Ye Y X，? Bruzzone L，? Shan J，? et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration［J］. IEEE Transactions on Geoscience and Remote Sensing，? 2019，? 57（11）： 9059-9070.

［15］ Ye Y X，? Shan J，? Bruzzone L，? et al. Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity［J］. IEEE Transactions on Geoscience and Remote Sensing，? 2017，? 55（5）： 2941-2958.

［16］ Li J Y，? Hu Q W，? Ai M Y. RIFT： MultiModal Image Matching Based on RadiationVariation Insensitive Feature Transform［J］. IEEE Transactions on Image Processing，? 2019，? 29： 3296-3310.

［17］ 姚永祥，? 張永軍，? 萬一，? 等. 顧及各向異性加權力矩與絕對相位方向的異源影像匹配［J］. 武漢大學學報： 信息科學版，? 2021，? 46（11）： 1727-1736.

Yao Yongxiang，? Zhang Yongjun，? Wan Yi，? et al. Heterologous Images Matching Considering Anisotropic Weighted Moment and Absolute Phase Orientation［J］. Geomatics and Information Science of Wuhan University，? 2021，? 46（11）： 1727-1736.（in Chinese）

［18］ Li J Y，? Hu Q W，? Ai M Y. Robust Feature Matching for Geospatial Images via an AffineInvariant Coordinate System［J］. The Photogrammetric Record，? 2017，? 32（159）： 317-331.

［19］ Kovesi P. Image Features from Phase Congruency［J］. Videre： Journal of Computer Vision Research，? 1999，? 1（3）： 1-26.

［20］ Rosten E，? Porter R，? Drummond T. Faster and Better： A Machine Learning Approach to Corner Detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，? 2010，? 32（1）： 105-119.

［21］ Zhang Y J，? Yao Y X，? Wan Yi，? et al.Research Resources［EB/OL］. （2022-03-14） ［2022-11-06］.https：∥skyearth.org/research/.

BRIFT： A Binary Descriptor for MultiModal Image Registration

Xu Kaikai，? Guo Pengcheng*，? Wang Jingjing

（Xian Electronic Engineering Research Institute，? Xian 710100，? China）

[HT]Abstract： Using radiationvariation insensitivity feature transform （RIFT） to calculate feature descriptors and perform feature matching on the maximum index map （MIM） is timeconsuming. To solve this problem，? an algorithm named binary descriptor for RIFT （BRIFT） is proposed. First，? the phase consistency of the image is calculated and the MIM is obtained. Then， the feature descriptor is calculated and binarized through fast algorithm on MIM. Finally，? the descriptor of each feature point is matched based on Hamming distance. Taking the remote sensing images with various geometric distortions and nonlinear radiation distortions as the test data，? the BRIFT algorithm is compared with other feature matching algorithms including SIFT， BRISK， BRIEF， RIFT. The comparison result shows that the proposed BRIFT algorithm can save about 80% to 90% of time consumption of feature descriptor evaluation and about 50% of feature matching time consumption with a slight loss of matching accuracy，? and achieve fast and robust matching of remote sensing images from different sources.

Key words： image matching; feature matching; phase consistency; maximum index map; binary descriptor