面向圖像匹配的局部特征提取研究進展

劉向增，徐雪靈，劉如意，宋建鋒，苗啟廣

(西安電子科技大學 計算機科學與技術學院，陜西 西安 710071)

0 引 言

隨著智能系統與傳感技術的發展，圖像匹配技術已廣泛應用于圖像配準、多模式圖像融合、變化監測、機器人視覺導航、目標跟蹤、3D場景重建等領域。圖像匹配精度易受數據獲取環境(光照、天氣)、平臺姿態(視角、位置、運動狀態)、傳感器成像機理差異(紅外、可見光、雷達)的影響(見圖1)，而實現圖像精確、穩健匹配的關鍵與前提是效局部特征的提取與描述。所謂局部特征是圖像中不同于其鄰域的一種模式，該模式與圖像的某種特性變化相關聯，如灰度、顏色、紋理、結構等。局部特征的表征形式可為顯著點、直線、邊緣，亦可為局部區域塊、深層處理(梯度統計、濾波、卷積)的特征向量描述，因而，圖像局部特征可分為語義性特征和定位性特征兩類:

圖1 同一場景的多模態圖像

(1)語義性特征：具備某種目標屬性的局部特征，如遙感圖像中的直線特征時常對應道路，邊緣對應圖像紋理的分界線，圖像的區域塊特征對應某種特定紋理植被、水域或建筑。

(2)定位性特征：不具備特定的目標屬性含義，但其具備時空幾何穩定性，常用于圖像目標定位與特征追蹤。

鑒于上述定義，語義性特征常用于目標檢測與識別、圖像檢索、目標跟蹤；定位性特征常用于圖像匹配、配準與拼接、視覺導航、3D重建、SLAM等領域。圖像匹配領域中數據獲取的環境(天氣、時間、狀態)不同及傳感器差異使得圖像間存在較大的輻射變化及幾何結構形變，導致一致性局部特征的提取與描述變得異常困難。

圖像匹配應用中高效的局部特征應具有以下性質：

(1)可重復性：同一場景的兩幅待匹配的圖像中提取的局部特征應達到較高的重復率才能滿足特征匹配的高精度對應需求。

(2)獨特性與顯著性：兩幅待匹配圖像中提取的局部特征應反映出圖像中顯著性的結構特征，且其位置與幾何屬性具備獨特性以減少單幅圖像中的自相關性，為提升特征的單應性匹配精度提供保障。

(3)幾何與對比度不變性：局部特征應具備對比度及幾何不變性，即兩幅圖像間發生輻射變化及獲取視角變化時，不變性為局部特征的一致性提供保證。

(4)高效性：局部特征提取在具備上述性質的同時，盡量具有低復雜度運算，以保證實時任務中圖像匹配的高時效性。

上述性質中可重復性與不變性是衡量高效局部特征的最重要的兩個特性，是實現對比度變化與幾何差異條件下穩健與精確圖像匹配的根本保障。圖像局部特征在匹配領域發揮了舉足輕重的作用，原因在于它不但解決了前景與背景的辨識問題，而且可以對目標的任意部分進行定位與多尺度分析，同時在局部區域可將復雜的幾何變化進行簡化，實現快速有效的特征追蹤。

局部特征的研究可以追溯至1954年Attneave提出的形狀信息會集中至高曲率的控制點。該領域的研究已近70年，難以詳細介紹所有的工作進展，文中主要針對常用的典型算法與模型進行歸類與分析，主要從傳統特征檢測與描述設計、經典機器學習的特征定位與生成、現代深度局部特征學習等三個方面與讀者進行分享，為相關研究人員提供比較全面的參考。

文中第一節主要介紹基于傳統特征設計的局部特征提取方法與基本流程，為后續基于學習的模型設計提供基礎；接著第二節展示了經典機器學習的特征定位與生成，為復雜環境下局部特征的自動檢測與生成提供新思路；結合當前流行的深度學習，第三節對深度局部特征的學習模型進行的簡介與分析；隨后，第四節針對不同應用對當前流行的算法模型進行了概述；最后，第五節給出了結論。

1 傳統局部特征

深度學習興起之前，傳統局部特征設計在圖像匹配領域占據著至關重要的位置，甚至當今在某些特定環境下，傳統局部特征的匹配效果依然優于深度學習方法。本節通過局部特征在圖像匹配的應用，介紹傳統局部特征的發展及典型成果，為理解后續基于學習方法的局部特征提取提供理論性基礎。通常圖像匹配的流程可分為特征檢測、描述與匹配三部分，具體實現流程如圖2所示，因此，本節分別從特征檢測、特征描述兩方面對傳統局部特征設計進行回顧與總結，并對相關典型算法及其應用進行討論。

圖2 圖像匹配中傳統局部特征檢測與描述

1.1 局部特征檢測

傳統局部特征檢測是通過手工特征檢測方法設計，利用特定的計算準則直接從圖像中將特征進行定位與提取的過程。此類特征主要包括點特征、塊特征、區域特征、線特征，典型的代表性算法如圖3所示。

圖3 傳統代表性局部特征檢測方法

(1)作為最重要的局部特征，點特征是進行特征匹配的關鍵，是通過分析圖像局部灰度的變化而提取的，可分為基于輪廓曲率、基于梯度變化、基于灰度分布三類。

輪廓曲率：目標輪廓的交叉點或結合點通常可反映信號的雙向的變化，因此，利用輪廓曲率的極值可定位點特征。為精確定位曲率點的尺度信息，文獻為應對尺度的變化提出了曲率圖的尺度空間表示。Zhu等提出了非線性點特征檢測方法，建立了特征點檢測的一系列標準，克服了曲率近似及高斯濾波的問題。

梯度變化：為改進Moravec提出的基于塊自相關的計算方法，Harris等提出了通過分析圖像的局部二階矩矩陣(自相關矩陣)，構建窗口平移信息量變化函數對角點特征精確檢測的經典方法，具體函數如下：

(1)

其中，

I

,

I

為

I

(

x

,

y

)的偏導數。

F

=det(

M

)-

α

·trace(

M

)

(2)

其中，det(

M

)與trace(

M

)分別為矩陣的行列式和跡，

α

的取值范圍為0

.

04～0

.

06。為減少噪聲的影響，通常提前對圖像進行高斯濾波。

Harris算子具有旋轉與對比度不變性(見圖4)，但缺乏尺度不變性。

圖4 Harris角點檢測示例

Mikolajczuk與Schmid將Harris算子融入高斯尺度空間實現特征檢測的尺度不變性，二階矩矩陣改為如下形式：

(3)

其中，

L

為高斯平滑后微分圖像，

σ

為局部微分尺度，

σ

為積分尺度。文章進一步考慮了各向異性的高斯仿射尺度空間，實現了角點檢測的仿射不變性。另外，Beaudet利用Hessian矩陣(式4)行列式的最大值定位點特征。

圖5 DoG極值點檢測

(4)

為實現點特征的多尺度檢測并減輕計算復雜度，Lowe提出的SIFT算法中設計了DoG(高斯差分)算子：

D

(

x

,

y

,

σ

)=

L

(

x

,

y

,

kσ

)-

L

(

x

,

y

,

σ

)

(5)

L

(

x

,

y

,

σ

)=

G

(

x

,

y

,

kσ

)*

I

(

x

,

y

)

(6)

通過搜尋DoG空間層與尺度層的極值點提取關鍵點，然后利用邊界效應去除和重定位，實現點特征的亞像素定位。

灰度值分布：為滿足點特征快速提取的要求，文獻提出SUSAN(最小核值相似區)算子，通過計算圓域內與中心點灰度值相近的數量，若小于某一閾值，則該中心點被檢測為特征點。近來，文獻提出了FAST算子，通過統計固定半徑圓域內灰度值大于或小于中心點的數量，若大于某一閾值，則將中心點作為特征點。

(2)作為點特征的補充，斑點特征可反映內容一致性局部區域，通常為具有邊界的近似圓斑。常見方法有高斯拉普拉斯尺度極值：

(7)

Hessian矩陣(式4)行列式與跡同時極值法(DoH)，為實現斑點特征的尺度不變性，文獻[12]提出了Hessian-Laplace，效果如圖6所示。

圖6 LoG與Hessian-Laplace斑點檢測

(3)可反映圖像結構性信息的另一類重要特征為線特征，如Hough變換將圖像中的直線檢測問題轉化為極坐標參數空間中通過某點最多正交曲線的問題。為提升直線檢測的效率，Morel等提出了LSD，實現了圖像中線特征的快速檢測。

(4)區域特征是反映局部紋理或內容一致性區域的特征，較斑點特征的范圍更廣。常見的區域特征有顯著性特征、最大穩定極值區域特征、仿射不變區域特征。Kadir等將顯著性特征定義為局部復雜性或不可預見性，通過灰度概率分布信息熵的尺度空間極值確定特征的區域范圍。作者進一步考慮尺度空間及橢圓區域形狀參數實現了顯著性區域的仿射不變性。Matas等通過比較區域邊界內外的灰度值實現最大穩定極值區域特征(MSER)檢測。為實現仿射不變區域特征提取，文獻[12]提出了Hessian-Affine區域檢測方法，將Hessian矩陣的特征值作為橢圓區域的參數進行穩定性估計，進而確定區域邊界。

上述局部特征檢測方法，鑒于對比度及幾何變化的影響，點特征和區域特征應用比較廣泛。為實現較好的匹配效果，通常將多種特征進行組合檢測。

1.2 局部特征描述

局部特征提取后，實現復雜環境下特征間穩健匹配的關鍵是如何對局部特征進行精確描述。特征描述子是對圖像局部特征的定量化數學描述，反映了其局部領域內的灰度、紋理或結構特性。理想的描述子應具備噪聲、對比度、幾何變化的不變性。特征描述方法主要分為梯度分布統計與局部二值化描述兩類。

梯度分布統計描述：該方法通過某種規則統計特征點鄰域的梯度分布，并生成描述向量。經典的方法如梯度方向直方圖(HoG)，對梯度的方向進行直方圖統計：

圖7 HoG:梯度直方圖統計描述

(8)

θ

(

x

,

y

)=arctan(

L

/L

)

(9)

局部特征描述的里程碑工作采用梯度直方圖統計的思想對特征點進行SIFT向量描述，實現同模態圖像的穩定匹配。Bay等提出了SURF，利用Haar小波響應替代梯度并通過積分圖像提升了描述子生成效率。Alcantarilla將SURF算法擴展至非線性尺度空間，提出KAZE進一步提升了描述子的匹配精度，隨后將快速顯式擴散嵌入到金字塔框架，實現了KAZE的加速計算。Abdel-Hakim等將顏色信息融入描述子，提出了CSIFT。Morel等通過生成不同視角的圖像并提取ASIFT向量，實現了全仿射不變性匹配同時增加了算法復雜度。Arandjelovi′c等利用Hellinger核均方根替代歐氏距離，提出RootSIFT提升了特征匹配的效果。Dong等提出了DSP-SIFT，通過特征塊尺寸與梯度方向的池化，提升了描述子的匹配性能。Hassner通過對特征點的多尺度SIFT子空間表示，提出SLS實現了良好的匹配效果。

局部二值化描述：為滿足移動與嵌入式設備的高效特征匹配及實時性任務(VSLAM)需求，研究人員提出了二值化特征描述(見表1)，利用Hamming距離對描述子進行快速匹配。

表1 典型二值化描述子

Ojala等首次提出了局部二值模式(LBP)，通過比較特征點與其鄰域內像素的灰度值，若其值大則該位置為1，反之為0。為解決平坦區域描述子的不穩定問題，Heikkil?等將SIFT中的梯度信息更替為LBP，提出了CS-LBP。隨后，Chen等通過改變編碼的位數，提出了RLBP，并應用于紋理分類。Calonder等于2010年利用特征點鄰域的隨機分布構建BRIEF描述子，隨后Rublee等通過FAST角點檢測進行矩估計實現特征方向不變描述(ORB)。Leutenegger等設計了圍繞特征點的四個同心環采樣模式，提出了BRISK二值特征描述方法，通過尺度金字塔實現了尺度不變性。Alahi等模仿人眼對中央凹區具備高分辨，對周邊低分辨的視覺感知的采樣模式，提出了FREAK描述方法。受LIOP對灰度信息進行排序的啟發，Choi等提出了灰度排序二值化特征描述(BIO)，該方法有效緩解了灰度排序導致的誤差。

傳統局部特征描述主要對特征鄰域內梯度或灰度分布進行簡單統計，對同模式圖像特征匹配效果良好，然而對于多模式圖像及細節變化較大的圖像依然效果欠佳甚至失效，因此，近來研究人員逐漸將學習的方法應用于局部特征的提取與描述。

2 經典學習型局部特征

基于經典學習方法的局部特征提取可歸結為兩類：一是通過對傳統局部特征描述的自適應學習，將特征投影至學習出的低維空間，實現局部特征的自動檢測與描述；二是通過監督學習，依據特征的可匹配性與重復性構建特征分類器實現特征自適應提取。本節從學習型特征檢測與描述兩方面進行介紹。

2.1 學習型局部特征檢測

最初，文獻[25,45-46]利用經典學習方法進行加速傳統局部特征的檢測。Hartmann等訓練隨機森林分類器對DoG檢測的特征進行可匹配性預測，進而提升SFM中匹配的效率。為抵抗天氣、季節、時間引起的光照變化影響，Verdie等提出了時不變學習檢測器(TILDE)，該方法將分段線性函數作為回歸器獲取的特征點在可靠性方面高于SIFT和SURF，然而該方法不具備度不變性。

2.2 學習型局部特征描述

早期，Ke等利用主成分分析(PCA)將梯度圖像投影至新的空間構建PCA-SIFT，實現了SIFT的降維處理，提升了匹配速度。隨后，Lepetit等利用隨機樹、Babenko等通過boosting方法對匹配與非匹配特征進行表達學習。近來，Brown等利用可操縱濾波或梯度方向映射對傳統局部特征進行空間池化，并通過線性或非線性變換對特征進行降維(見圖8)。為應對由視角變化引起的仿射扭曲，Wang等將PCA應用于輸入圖像塊的仿射變換集合，通過線性空間到點的映射獲取特征的仿射子空間表達。對于較復雜的非剛體變換，Simo-Serra等基于擴散幾何，利用熱擴散原理對圖像塊構建非剛體扭曲與光照不變描述子DaLI，利用PCA對特征降維保證描述子的緊湊性。

圖8 空間池化與特征嵌入優化的描述子學習

學習型二值化描述子的研究主要針對特定應用，如人臉識別、運動恢復結構(SFM)、3D重建，包括LDAHash，D-BRIEF，RI-LBD，BinBoost，RFD，BOLD等算法。Strecha等利用線性判別分析(LDA)最小化類內與類間距離比計算投影矩陣，然后對閾值化投影生成二值化描述子(LDAHash)。D-BRIEF則通過學習圖像塊與判別子空間的線性投影映射對圖像塊進行二值化。

圖9 TcovDet特征點檢測流程

近來，Duan等提出一種旋轉不變二值化描述子的學習方法(RI-LBD)，該方法先將圖像塊映射至旋轉二值模式，再學習塊的方向與二值化投影矩陣。受BRIFF的啟發，Trzcinski等利用弱分類器對圖像梯度進行池化，通過提升二值化哈希函數進行二值化描述子生成。Fan等提出了接受域描述子(RFD)，依據區域的獨特性或相關性進行的選取。Balntas等通過對圖像塊的輕微擾動自適應調節度量，進而生成二值化在線學習描述子(BOLD)，其自適應性描述過程同樣適用于其他二值化描述子。

基于經典學習的描述子利用學習的思想從特征匹配性、投影空間、幾何擾動自適應等方面增加了傳統局部特征提取與描述的靈活性，在一定程度上提升了匹配的效率。

3 深度學習型局部特征

經典機器學習型局部特征實現了傳統局部特征的降維與自適應空間投影，然而其本質并非自動學習的抽象特征。深度學習的興起使得非線性自適應局部特征學習成為可能，該方法利用多層級聯非線性映射將輸入圖像直接進行特征提取，不依賴傳統特征設計。本節從深度學習特征檢測、深度學習特征描述、一體化特征檢測與描述三方面進行介紹。

3.1 深度學習局部特征檢測

與傳統局部特征提取方法類似，Lenc等提出CovDet，通過學習圖像塊與變換之間的映射將特征檢測轉化為回歸問題。利用最小化損失函數使映射函數滿足協變性約束：

φ

(

gx

)=

gφ

(

x

),

x

∈

X

,

g

∈

G

(10)

函數

φ

是由卷積神經網絡(CNN)學習而得，最終給出三種特征檢測器，前兩種具備平移不變性，第三種具備旋轉不變性。作者將三種檢測器應用于整幅圖像將置信度超過某一閾值時作為特征點輸出。作為CovDet的拓展，TcovDet(見圖10)則將函數

φ

作為變換預測網絡進行學習，將變換推廣為仿射變換，實現了良好的特征檢測。Savinov等將特征檢測轉化為函數響應的學習問題，通過建立圖像塊與實數之間的映射并對其進行排序提取特征點。隨后，Mishkin等首次利用深度學習模型進行仿射協變區域檢測，考慮可匹配性與幾何精確性的平衡設計硬負常量損失函數：

圖10 Superpoint特征檢測與描述自監督學習流程

(11)

(12)

該模型提取的仿射區域在圖像檢索方面獲得了良好的匹配效果。Laguna等提出淺層多尺度架構融合傳統與學習的CNN濾波，通過傳統對特征進行定位、排序，利用CNN濾波實現多尺度特征檢測。

3.2 深度學習局部特征描述

特征檢測之后如何對其進行穩健的描述是后續特征匹配的關鍵。本節主要討論基于深度學習模型的特征描述，從深度特征描述、度量學習、損失函數設計三個方面進行介紹。

深度特征描述：AlexNet在ImageNet的性能提升掀開了深度學習在視覺鄰域研究的熱潮，因此，早期研究人員直接將AlexNet提取的特征圖作為圖像描述子應用于圖像匹配。Fischer等最早將AlexNet的中間響應層作為特征，以MSER區域為描述范圍構建描述子學習模型PhilippNet并應用于3D特征點之間的匹配。隨后，Paulin直接以AlexNet為深度特征提取模型，構建塊卷積核網絡(patch-CKN)進行快速的塊特征描述。上述文獻均以歐氏距離度量深度特征描述子的相似性，為應對圖像間的復雜變化，研究人員對相似性度量進行了深入研究。

度量學習：2015年Han等將描述子與度量進行聯合學習提出了MatchNet模型(見表2)，該模型通過多層CNN與空間池化進行描述子計算，利用三層全卷積層進行度量學習，結合交叉熵損失將匹配問題轉化為分類問題。Zagoruyko等提出了Deepcompare，設計了孿生、偽孿生、雙通道、空間池化孿生、雙流多分辨等多種網絡，并對其進行了比較，最終給出雙通道網絡性能最優。

表2 基于孿生神經網絡局部特征學習模型

損失函數設計：為比較圖像塊之間的相似性，大多文獻通過計算CNN描述子之間的距離進行判斷，然而CNN特征由于不同的損失函數定義存在差異。本節主要從逐段損失、三元組損失、全局損失等進行討論。Jahrer等首次將逐段損失應用于描述子的學習，Simo-Serra等提出DeepDesc挖掘最難的正負樣本提升網絡的性能。Choy等針對幾何對應提出了通用對應網絡(UCN)，利用卷積空間變換實現精確的幾何對應，模型中采用的一致性對比損失如下：

(13)

其中，

m

為超參數。Balntas等提出利用三元組損失訓練描述子匹配模型PN-Net(見圖11)，其中

P

,

N

分別表示正負樣本。Mishchu等提出HardNet，該模型通過簡單的三元組損失最大化正樣本與負樣本之間的距離：

(15)

TGLoss等將三元組損失替換為全局損失，在保證匹配塊距離與非匹配塊距離分布方差之和較小的情況下最大化匹配塊距離與非匹配塊距離分布均值之和。L2-Net設計的全局損失考慮了三個方面：最小化匹配描述子之間的距離、最小化描述子內部的相關性、最大化描述子中間特征圖的相似性。

3.3 一體化特征檢測與描述

近來，端到端一體化特征檢測與描述模型成為局部特征學習的研究熱點。Yi等首次提出了端到端特征檢測與描述模型LIFT，該模型由三部分組成：檢測器、方向估計器、描述子生成器，并由兩個空間變換相關聯。第一個空間變換實現檢測器提取圖像塊由大及小的剪切；第二個空間變換根據方向估計器對剪切后的圖像進行旋轉，其中檢測器采用TILDE，描述子則采用DeepDesc進行計算。

深度局部特征(DELF)利用ResNet50提取深度特征，基于視覺注意進行特征點篩選，最后通過PCA實現描述子的降維，成功應用于大規模的圖像檢索。DeTone針對多視角問題提出了特征點檢測與描述自監督訓練模型SuperPoint，對于輸入圖像可由單通道同時實現特征點定位與描述(見圖10)。首先利用合成數據訓練特征檢測器，然后通過單應性自適應生成偽特征點，進而訓練SuperPoint網絡，其中特征點檢測采用交叉熵損失，特征點描述采用合頁損失。

Dusmanu等用一個CNN實現特征檢測與描述雙重角色(D2-Net)，其流程如圖11所示，(

i

,

j

)處的描述子由多層特征圖組成，特征點檢測通過層內與層間軟件測分值的非極大值抑制獲得，網絡訓練的損失函數采用特征檢測與描述聯合的三元組損失。Luo等同時考慮視覺表征與特征之間的幾何關系提出了ContextDesc，該模型通過幾何上下文編碼器將特征點的幾何關系進行編碼，利用視覺上下文編碼器對局部特征及區域特征進行編碼，最終構建出128維描述子。Sarlin提出了基于注意力的上下文聚合機制SuperGlue(見圖12)，首先通過關鍵點編碼器將特征點位置及其描述子映射為同一個向量，然后通過自注意和交叉注意層進一步轉化為更為穩健的表征，最后經過優化匹配給出分數矩陣并由Sinkhorn算法得到特征匹配關系。該模型利用SuperPoint+SuperGlue實現了室內與室外數據的良好匹配效果，其性能超越了D2-Net與ContextDesc。隨后，Sun等基于SuperGlue提出了由粗到細的匹配策略，通過Transformer中的自注意與交叉注意層進行特征變換(LoFTR)，再由置信矩陣得到初步對應關系；細匹配階段再利用LoFTR進行特征變換，最后由相關系數矩陣給出匹配關系。

圖11 D2-Net檢測與描述流程

圖12 SuperGlue實現架構圖

上述基于深度學習的局部特征提取與描述方法，通過不同的模型構建、損失函數設計、匹配策略研究實現了較為靈活的特征提取與描述，部分模型的性能已經超越傳統局部特征，為不同應用需求提供了諸多選擇。

4 局部特征性能分析與比較

本節主要討論傳統局部特征、深度學習局部特征的性能比較，為不同應用提供思路。

4.1 傳統局部特征比較

早期，Heinly等對多種傳統特征檢測與描述方法(Harris，MSER，FAST，BRIEF，ORB，BRISK，SURF，SIFT)在牛津數據集(模糊、光照、視角等變化)上從回憶率、重復率、正確匹配率等方面進行了分析與比較。當圖像間不存在幾何變化時，BRIEF的性能優于ORB，BRISK，SIFT；當圖像間存在旋轉變化時，ORB的性能優于BRIEF和BRISK；當圖像間存在復雜的幾何變化時，SIFT的表現最優。

Mishkin等提出了范圍更廣的寬基線立體匹配數據集，包含幾何、光照、傳感器、外觀、多模態等變化，通過對多種檢測器及描述子進行測試，實驗結果表明Hessian-affine具備最優的檢測性能，SIFT及其改進DAISY具有最佳的描述子表現。Sun等提出了基于圖像定位評價的購物中心場景數據集，對BRIEF，SURF，SIFT，COV，RootSIFT等局部特征提取方法進行了比較，通過COV檢測與RootSIFT描述獲得了最佳性能。

4.2 深度學習局部特征比較

近來，隨著深度學習在局部特征提取的應用，研究人員對學習方法與傳統方法進行了應用性能的比較，如文獻[56,81-82]。

Zhang等將傳統特征檢測方法與FAST、TILDE、CovDet、TCovDet在多種數據集上進行了分析比較，結果表明TCovDet在特征重復率方面優于CovDet和TILDE，這兩種方法均優于SIFT，SURF，MSER，Harris Laplace，Hessian affine，FAST等檢測器。在匹配性能方面，TCovDet與SIFT分別在不同的數據集上獲得了最佳表現。為解決在不同的數據集上對多種檢測與描述方法的不一致問題，Balntas等提出了新的基準數據集HPatches，該數據集包含大量適合描述子訓練與測試的新數據，并清晰定義了在匹配、檢索、分類等方面的評價協議。作者對SIFT、RSIFT (RootSIFT)、BRIEF、ORB、BBoost、Deep-Compare(DC)、DeepDesc、TFeat、L2-Net、HardNet(HNet)等進行了全面評價(見圖13)，結果表明L2-Net與HNet在不同任務上獲得了最優的性能表現，TFeat在塊證實與匹配方面優于傳統局部特征檢測與描述方法。此外，Lenc等基于HPatches數據集專門針對特征檢測方法進行了評價，提出了改進的特征檢測重復率計算方法(見圖14)，在5類數據集上對11種檢測方法進行測試，統計結果顯示TILDE有較高的特征檢測重復率，然而在視角變化情況下Hessian affine的重復率達到最高，某些情況下TCovDet的特征重復率依然最優。

圖13 Hpatches數據集上不同方法在證實、匹配、檢索等任務的精度比較

圖14 Hpatches數據集上不同特征檢測方法的重復率比較

文獻[88]對最新的基于深度學習的一體化特征檢測與描述方法(D2Net，R2D2，DISK，Sparse-NCNet，DRCNet，LoFTR)進行了分析與比較，結果表明LoFTR在單應矩陣估計及姿態估計的性能最優。

4.3 局部特征提取方法應用建議

通過前兩節的比較與分析，對比較具體的應用給出如下建議：

(1)一般情況下傳統局部特征提取方法較基于學習的方法計算復雜度低，簡單場景下特征檢測可采用Harris、FAST、DoG等檢測器，特征描述可采用SURF、BRIFF、ORB等描述子；

(2)含有較大對比度、幾何變換建議采用SIFT、Hessian affine等傳統局部特征提取方法，亦可采用TILDE、TCovDet、SuperPoint等特征檢測方法；

(3)復雜場景下的局部特征描述與匹配建議采用RootSIFT、L2-Net、D2Net、ContextDesc、SuperGlue、LoFTR等方法。

在較復雜的情況下(不同模態、不同時相、不同視角等)，也可將多種方法組合使用。

5 結束語

該文針對圖像匹配的應用對局部特征的研究進展進行了總結與分析，主要從傳統局部特征設計、經典機器學習局部特征提取模型構建、深度學習局部特征挖掘等三個方面對局部特征的檢測與描述展開介紹與討論，分析了典型代表算法的基本原理及優勢，通過多篇文獻的比較結果對具體的應用給出了相應的建議。目前，局部特征提取仍存在諸多挑戰，如多模態、多時相導致的局部特征不一致；多視角造成的幾何變換過大，局部特征不穩定。因此，如何利用深度學習領域最新研究成果，構建跨模態、多時相、寬動態條件下穩健的局部特征提取模型，實現圖像匹配、視覺導航、SLAM等領域的更廣范圍的應用是今后研究的主要方向。