基于特征點的影像匹配

（武漢大學遙感信息工程學院，武漢,430079）

基于特征點的影像匹配

馮莞舒

（武漢大學遙感信息工程學院，武漢,430079）

在數字攝影測量中，影像匹配代替了傳統的人工觀測，來達到自動確定同名像點的目的。影像匹配的理論與實踐，是實現自動立體量測的關鍵，也是數字攝影測量的重要研究課題之一。本文中對基于特征點的影像匹配思路及特征點的提取與匹配中所涉及到的各種算法進行說明，并通過實驗對算法展開分析。

特征點；提取；匹配；影像

0 引言

隨著現代技術發展的不斷推進，影像匹配技術已成為影像處理與信息獲取領域中一項重要的技術，并在國防、科技、工農業與日常生活中都發揮著越來越重要的作用。目前已經提出的影像匹配主要可分為基于灰度的匹配和基于特征的匹配兩大類。基于灰度的匹配是以待定點為中心的窗口內，以影像的灰度分布為影像匹配的基礎。其計算量比較大，匹配速度較慢，若待匹配的點位于低反差區內，匹配的成功率不高。此外，在很多應用場合，影像匹配不一定用于地形測繪目的，也不一定要生成秘籍的DEM（或DSM）網格點。

基于特征的匹配方法有效的避免了基于灰度匹配的缺點，該方法不是直接利用灰度信息進行匹配，而是在影像灰度的基礎上提取特征點、線或面，然后在紋理基礎上進行匹配。其大大壓縮了匹配的信息量，提高了匹配的速度，且特征的匹配度量值對位置變化比較敏感，提高了影像匹配的精度。此外，特征受噪聲的影響小，對灰度變化、影像形變以及遮擋等都有較好的適應能力。

在目前基于特征的匹配方法中，由于特征點具有穩定性、旋轉不變性等特點，同時在利用特征點進行匹配運算時不會損失影像中的重要灰度信息，因而基于特征點的匹配方法應用較為廣泛。在本文中就基于特征點的影像匹配的各種實現方式進行研究，并通過實驗結果對實施效果進行比較。

1 基本思想

在基于特征點的影像匹配方法中，主要的內容分為兩個部分：特征點提取與特征點匹配。首先采用特征點提取算子對左影像進行特征點提取，常用的提取方法有Moravec算子、Forstner算子、Harris角點提取算法等多種算子。各種特征點提取算子的特點及適用情況不同，這將在下部分中進行分別闡述。然后根據左影像中已得到的特征點對右影像進行點匹配，常用的相似性測度包括相關系數（矢量夾角）、協方差函數（矢量投影）、相關函數（矢量數積）、差平方和（差矢量模）和差絕對值和（差矢量分量絕對值和），其中相關系數的匹配應用最為常見。

影像匹配中為了得到較好的精度，會用到金字塔影像結構，采用由粗到細的策略對匹配點進行搜索。將上一層影像的特征點匹配結果傳到下一層作為初始值，并考慮對粗差的剔除和改正，分辨率逐漸提高，搜索區域逐漸變小，最后用原始分辨率影像進行相關。金字塔影像結構在影像匹配中的應用非常廣泛，也可以只用原始影像（相當于只有一層的“金字塔”影像）。

2 特征點提取

通常進行特征點提取時，采用Moravec算子、Forstner算子及Harris算子三種方法，不同方法有各自的提取特點。對Moravec算子、Forstner算子、Harris角點提取算法分別進行程序實現。調整算法中各項參數的數值，使得提取出的特征點數目大致相當，以便于對三種算法有一個縱向比較。觀察算子的特征點提取效果，結合其原理可對算子各自特點進行分析。

其中Moravec算子計算興趣值的窗口尺寸設為5，提取極值點的窗口設為30，經驗閾值設為1500。在相同參數條件下對圖像和旋轉90°后的圖像分別提取特征點，得到的結果如圖1所示。分析可知Moravec算子具有如下特點：

（1）Moravec算子原理上較為簡單，提取速度較快；

（2）由于響應值是自相關的最小值而不是差值，算子對邊緣比較敏感；

（3）不是旋轉不變的，當影像發生旋轉時，檢測出的特征點具有較低的重復率；

（4）對噪聲也比較敏感。

圖1 Moravec算子提取特征點

在實驗中，Forstner算子興趣窗口設為5，抑制窗口為30。旋轉90°前后的兩幅影像的特征點提取效果對比如下圖2所示，觀察提取效果可知：

（1）對比特征點數等級相近的Moravec算子與Harris算子可知，Forstner算子對邊緣點提取效果較好，對于影像中操場上半部分的邊緣點也能較完整的提取出來；

（2）Forstner算子提取的特征點定位精度高，且能給出特征點的類型；

（3）Forstner算子可以在一定程度上保持旋轉不變性，對于一些紋理特征明顯的區域能夠在旋轉后保持特征點位置不發生變化；

（4）原理復雜，與其余算法相比提取速度慢。

圖2 Forstner算子提取特征點

在實驗中，Harris角點提取算法中高斯窗口為3，卷積模版的取0.8，閾值為3000。旋轉90°前后的兩幅影像的特征點提取效果對比如下圖3所示，可知Harris算子的特點有：

（1）通過差分運算和自相關矩陣來檢測角點，能反映象素點在任意方向上的灰度強度變化，因而能夠有效的區分角點和邊緣，使得算子具有旋轉不變性；

（2）對梯度值進行高斯平滑濾波，在一定程度上抑制了噪聲的影響；

（3）分析效果圖像可知，相比較于Moravec算子與Forstner算子，Harris算子提取的點分布較不均勻。在紋理信息豐富的區域提取的特征點分布較為密集，而在紋理信息匱乏的區域幾乎沒有特征點分布。

圖3 Harris角點提取效果

綜上可知，Moravec算子原理簡單，Forstner算子過程復雜但提取精度高。Harris算子復雜程度介于前兩者之間，其抗噪性、旋轉不變性均較好，而且Harris算子提取的特征點較Moraec算子與Forstner算子的分布均勻更有利于影像的匹配。因而在實際中，Harris算子的應用最為廣泛。在本次實驗中亦選用Harris算子進行影像匹配操作。

3 特征點匹配

3.1金字塔影像結構

金字塔算法基本思想是用不同帶寬的低通濾波器對原始影像進行低通濾波，將原始圖像分解成許多不同空間分辨率的子圖像。低分辨率的子圖像在上層，高分辨率的子圖像在下層，最下層是原始分辨率的影像，從而形成一個金字塔形狀。

金字塔算法采用逐次低通濾波和增大采樣間隔的方式來實現影像分層，其中包括兩像元平均、三像元平均、四像元平均等多種實現方式。以兩像元平均為例，一頻道是取采樣間隔為的原始影像灰度數據；二頻道是采樣間隔為、灰度值為一頻道中相鄰兩像元灰度平均值；三頻道是間隔為、灰度值為二頻道中相鄰兩像元灰度平均值，以此類推。在實驗中對要匹配的影像對采用兩像元平均生成三層金字塔結構如下圖4所示。

圖4 金字塔影像結構

采用金字塔影像結構進行匹配的基本思想是：從金字塔的最高層（分辨率最低）開始，對左右影像進行特征點匹配，找到同名點的粗略位置作為預測值，對下一層子影像利用高頻信息進行精確相關，最后達到原始分辨率。

3.2特征點匹配方法

在匹配操作的實現部分，可使用相關系數（或其它相似性度量方法）作為匹配測度。在左影像上以一個特征點為中心建立目標窗口，然后在右影上按照一定的準則確定一個大于目標窗口的搜索窗口。利用目標窗口對搜索窗口進行遍歷計算相關系數。

在本文中主要考慮了兩種方法。

方法一：對右影像也進行相應的特征點提取，利用左影像的特征點對右影像搜索窗口內的特征點進行遍歷，尋找相關系數最大的點，若最大相關系數大于設定的閾值，則可認為兩特征點匹配。

該方法匹配速度較快，當用于匹配的影像對間僅存在單一方向的偏移量時，匹配效果非常好。但在實際中兩幅影像由于存在各種誤差導致的形變，其偏移量往往不是單一方向的，不能保證提取的特征點相應位置都絕對一致，因而會導致特征點損失和誤判現象。

方法二：右影像不進行特征點提取，對右影像搜索窗口內的所有點均求取與左影像相應特征點的相關系數，取相關系數最大且大于預設閾值的右影像點為特征點。該方法的實現相對于方法一要慢，但在多數條件下適用，匹配效果比較穩定，精度更高。

不管采用哪種方法，在匹配過程中需要注意同名點的唯一性，一個右影像特征點只可與一個左影像點相對應。在提取特征點的算法中都會進行抑制局部非最大，使特征點分布均勻的步驟，但在紋理信息豐富的區域仍會存在特征點分布密集的情況，在進行點匹配時可能會有一個以上的左影像特征點與右影像同一點相匹配。針對這種情況，在實驗中對右影像建立內存空間記錄點標記情況，未匹配的點標記值為0，匹配點則記為1。

3.3匹配結果及分析

在影像匹配的實施環節，采用VC6.0環境下基于MFC的編程實現特征點提取與匹配。添加CBmpFile類來實現對bmp文件的信息獲取、讀取，顯示、保存等操作；建立CRightView類來實現左右影像同時顯示與操作；建立CFunction類來封裝三種特征點提取算法、構建金字塔結構以及利用相關系數進行影像匹配的算法。

在實驗中，采用方法二，對左影像利用Harris算子提取到125個特征點，根據左影像特征點對右影像搜索窗口內的所有點計算相關性，最后得到118個匹配點。為了使效果更加直觀，將匹配點設置為紅色，其匹配前后的左右影像如下圖5所示。分析前后結果可知，影像同名點提取與匹配效果較好。

圖5 影像匹配

4 結束語

本文通過對特征點提取算子與特征點匹配方法進行列舉、分析與實驗驗證，對基于特征點的影像匹配方法有了較為完整與系統的說明。目前來說，影像匹配技術在圖像鑲嵌、圖像融合、動態跟蹤與軍事偵查等領域的應用都十分廣泛。隨著計算機軟硬件技術、網絡通信技術與軟件研發應用能力的飛速發展，影像匹配將向實時、高效、智能化地完成海量遙感影像的高精度匹配方向發展。

[1] 謝萍.基于Harris角點與SIFT特征的近景影像匹配[D].長沙:中南大學地球科學與信息物理學院,2011.

[2] 張祖勛,張劍清.數字攝影測量學[M].武漢:武漢大學出版社,2012

[3] 田慧云.基于特征點的立體影像匹配[D].北京:北京建筑工程學院, 2008

[4] 李峰,周源華.采用金字塔分解的最小二乘影像匹配算法[J].上海交通大學學報,1999,33(5):513-519.

[5] 全斌,劉二洋.金字塔影像結構在影像匹配中的應用[J].測繪通報, 2010(3):10-34

[6] 李健,劉鳳德,趙利平.基于影像特征點、線整體匹配的DSM自動生成[J].測繪科學,2007,32(4):96-97

[7] 鄭悅,程紅,孫文邦,蘇清賀.遙感影像匹配技術研究[J].電子設計工程,2011,19(20):97-101

Feature based image matching

Feng Guanshu
(Remote Sensing Information Engineering College of Wuhan University,Wuhan,430079)

In digital photogrammetry,image matching instead of the traditional manual observations,to automatically determine the corresponding image points to.The theory and practice of image matching,is the key to realize automatic stereo measurement of digital photogrammetry,is also one of the important research topics.A description of the feature point based image matching method and feature point matching algorithms and involved in this paper,and the results of the algorithm.

Feature extraction;image matching