基于改進SURF算法的紅外圖像拼接

夏磊 胡欣宇 岳亞偉 薛曉琴

摘 要：加速魯棒特征（SURF）算法因其配準精度較高而被廣泛應用，但該算法采用固定閾值、單向匹配規則進行特征點匹配，無法滿足紅外圖像多變性的特點。因此，在SURF算法基礎上提出基于雙向匹配策略的自適應閾值配準算法，即參考圖像與待配準圖像的特征點，分別通過相似性度量準則找到其在對應圖像上的匹配點，并將匹配過程中所求最近距離點與次近距離點的最小比值作為匹配閾值。實驗采用兩幅及多幅圖像對改進SURF算法的性能進行驗證。結果表明，改進SURF算法在保持高實時性的基礎上，配準精度較傳統SURF算法提升約10%。

關鍵詞：紅外圖像;SURF;雙向匹配;自適應閾值;圖像拼接;特征點

中圖分類號：TP399文獻標識碼：A文章編號：2095-1302（2020）06-00-04

0 引 言

紅外圖像是由成像設備捕捉目標和背景向外輻射的能量差而形成的[1]。因其成像的特殊性，使其具有突出優勢：可全天候采集;具有很強的穿透能力，可透過霧、霾及大氣而探測目標;每個像素點的灰度值基本保持穩定[2]。

基于以上優勢，紅外圖像被廣泛應用于航天、航空、航海等軍事及民用醫療領域，如弱小紅外目標跟蹤和識別探測、紅外預警、環視掃描與紅外線探傷等[3]。而在實際應用中，紅外圖像存在視角窄、分辨率低等多種限制因素。為解決上述問題，獲得更寬視角的紅外圖像，需采用紅外圖像拼接

技術。

圖像拼接包含圖像配準和圖像融合兩大關鍵技術[4]。其中，圖像配準為圖像拼接技術的核心，對圖像拼接的成功率和運行速度有直接影響[5]?；赟URF（Speed Up Robust Features）算法的較高配準精度與高實時特性[6]，本文采用SURF算法進行紅外圖像特征點提取。自SURF算法興起以來，大量學者對特征點檢測和特征點提純進行了改進[7-10]，而特征點粗匹配中的誤匹配情況未得到顯著改善。紅外圖像為灰度圖像，具有分辨率較低、噪聲較高的特點，導致特征點檢測時，可能出現較多偽特征點，從而增加誤匹配率。特征點誤匹配率的增加會影響特征點提純的時間，使圖像配準的實時性降低。本文針對SURF特征點誤匹配率高的問題，提出基于雙向匹配策略的自適應閾值配準算法。

1 改進SURF算法的紅外圖像配準

基于SURF算法的紅外圖像配準包含檢測圖像特征點、確定特征點主方向、生成特征點描述符及特征點匹配模塊。

1.1 檢測圖像特征點

SURF算法通過Hessian矩陣行列式的局部極大值來檢測圖像的特征點。在尺度因子σ（下文所見σ均為尺度因子）下，圖像中任意像素點X=（x， y）的Hessian矩陣可表示為：

式中，Lxx（X， σ）表示二階高斯偏導數與圖像的卷積結果，其他同理可求。

SURF算法使用方塊濾波器近似代替二階高斯濾波。設方塊濾波器在圖像中任意像素點X=（x， y）進行濾波后的結果為Dxx，Dyy和Dxy，Hessian矩陣的行列式可表示為：

式中，w的值取決于σ，w的取值對實際檢測特征點的影響較小，一般取w=0.9。Hessian矩陣的行列式可表示為：

在求得圖像每個像素點的Hessian矩陣行列式后，設定閾值，篩選方塊濾波響應。將篩選得到的點與同層8個鄰域像素點及上、下相鄰兩層對應的18個像素點進行比較，可得圖像特征點，如圖1所示。

1.2 確定特征點主方向

SURF算法特征點主方向是通過特征點鄰域像素點的Haar小波響應確定的，具體步驟：計算以特征點為中心，以6σ為半徑的鄰域內像素點的Haar小波響應;利用60°的窗口對該圓形鄰域遍歷，得到6個扇形區域，分別計算6個扇形區域內像素點的Haar小波響應累加值，得到6個方向矢量;6個方向矢量最大值的方向即為特征點的主方向。

1.3 生成特征點描述符

SURF特征點描述符同樣通過特征點鄰域內像素點的Haar小波響應求得，具體步驟如下：

（1）沿著每個特征點主方向分別構造以特征點為中心，大小為20σ×20σ的正方形區域;

（2）將步驟（1）中構造的正方形區域等分為16份，即得到16個子區域，然后在每個子區域中按照5×5的間隔進行采樣，對每個采樣點分別計算相對特征點主方向的水平Haar小波響應和垂直Haar小波響應，并將其記為dx和dy;

（3）將步驟（2）求得的每個子區域采樣點的dx和dy進行求和運算，可以得到該子區域的Σdx，Σ|dx|，Σdy，Σ|dy|，每個子區域可得到一個4維向量，因此一個特征點將形成16×4=64維的特征向量。

1.4 特征點匹配

傳統的SURF算法進行特征點匹配時采用距離準則進行相似性度量。設參考圖像任一特征點p的描述向量為D1，待配準圖像任一特征點q的描述向量為D2。則這兩點之間的距離可采用式（4）所示的相似性度量公式進行計算：

式中：dis表示采用歐氏距離所求的兩點間距離;n為特征點描述向量的維數。由式（4）可以得到待配準圖像上每個特征點對應于參考圖像上的最近距離點與次近距離點，并記錄最近距離值與次近距離值。之后由式（5）確定參考圖像上的最近距離點是否為待配準圖像上的匹配點。

式中，T為比值閾值，通常取0.5～0.7，本文取T=0.6。

改進SURF采用基于雙向匹配策略的自適應閾值匹配算法，使其對多種應用場景下的紅外圖像具有普適性。所謂雙向匹配策略，即將參考圖像與待配準圖像的特征點分別通過相似性度量準則找到其在對應圖像中的匹配點，然后比較所求的兩個匹配點集，這兩個匹配點集中相同的部分即為匹配結果。自適應閾值的計算步驟如下：

（1）求取待配準圖像相對參考圖像的匹配點集，根據

式（4）和式（5），計算待配準圖像中所有特征點對應于參考圖像特征點的距離比，記錄比值屬于[0.5，0.7]區間的匹配點，得到集合Q，相對應的比值集記為A;

（2）求取參考圖像相對待配準圖像的匹配點集，根據

式（4）和式（5），計算參考圖像各特征點對應于待配準圖像特征點的距離比，記錄比值屬于[0.5，0.7]區間的匹配點，得到集合P，相對應的比值集記為B;

（3）求以上2個匹配點集的公共子集，將集合P與集合Q的交集記為R，并選取A與B中對應比值的最小值作為交集R中匹配點的比值集，記為V;

（4）求自適應閾值，比值集V的最小值即為特征點匹配的自適應閾值。

2 實驗結果及分析

2.1 實驗環境及總體流程

驗證改進SURF算法性能的實驗環境為8G內存的PC機、Windows 7操作系統、英特爾奔騰雙3.1 GHz的CPU與Matlab 2016b開發工具。在實驗流程中，首先對待拼接的若干幅紅外圖像進行預處理，然后提取紅外圖像的特征點，采用固定閾值單向匹配算法和自適應閾值雙向匹配算法完成特征點的匹配，采用RANSAC算法求取兩幅紅外圖像的變換模型，最后采用加權平均法進行圖像融合，即可完成兩幅圖像的拼接。實驗整體流程如圖2所示。

2.2 實驗結果及分析

實驗采用配準時間和均方根誤差（Root Mean Square Error，RMSE）作為衡量指標[11]，對算法性能進行定量分析。配準時間由程序運行時間獲取，均方根誤差的計算公式

如下：

式中：pi和q'i分別表示匹配點在變換前后的坐標;M為兩幅圖像之間的變換矩陣;f（q'i， M）表示q'i經矩陣M變換后的實際坐標;k為最終匹配點的對數。

2.2.1 兩幅紅外圖像拼接

對不同視角和不同時相下采集的紅外圖像進行拼接實驗。

（1）分別采用固定閾值單向匹配算法和自適應閾值雙向匹配算法對不同視角紅外圖像進行拼接實驗。圖3（a）、圖3（b）為不同視角拍攝的紅外圖像，圖3（c）為采用固定閾值單向匹配算法得到的配準、拼接結果，圖3（d）為采用自適應閾值雙向匹配算法得到的配準、拼接結果。表1為兩種配準算法的定量結果。

（2）分別采用固定閾值單向匹配算法和自適應閾值雙向匹配算法對不同時相紅外圖像進行拼接實驗。圖4（a）、圖4（b）為不同時相拍攝的紅外圖像，圖4（c）為采用固定閾值單向匹配算法得到的配準、拼接結果，圖4（d）為采用自適應閾值雙向匹配算法得到的配準、拼接結果。表2為兩種配準算法的定量結果。

觀察圖3和圖4可以發現，不同視角和不同時相的兩幅紅外圖像分別采用固定閾值單向匹配和自適應閾值雙向匹配算法的配準結果相差甚微，拼接效果均達到了理想視覺效果。分析表1和表2可知，相對于固定閾值單向匹配算法，采用自適應閾值雙向匹配可縮短配準時間，同時降低RMSE。實驗結果表明，改進SURF算法可較大幅度降低特征點誤匹配率。由于改進SURF算法具有誤匹配率低的特點，在采用RANSAC算法求取兩幅紅外圖像的變換模型時會有更多的正確匹配點對，從而減少迭代次數，縮短配準時間。

2.2.2 多幅紅外圖像拼接

對5幅及6幅紅外圖像分別采用固定閾值單向匹配和自適應閾值雙向匹配進行圖像配準。實驗時，通過兩兩拼接得到最終的拼接結果。其中，圖5（a）為5幅待拼接圖像，

圖6（a）為6幅待拼接圖像。圖5（b）和圖6（b）分別為5幅、6幅紅外圖像采用2種配準算法的拼接結果（由于2種配準算法的拼接結果相差甚微，本文只展示1個拼接結果）。表3、表4分別為5幅、6幅紅外圖像配準的定量對比結果。

觀察圖5（b）的拼接結果發現，拼接圖像中的建筑物、路燈、橋和樹渾然一體，達到無縫拼接的效果。由圖6（b）的拼接結果觀察得到，圖中拼接縫均可平滑過渡，得到一幅寬視角圖。但由于待拼接圖像存在大尺度縮放，使得拼接圖像出現模糊。由表3與表4可得，相對于固定閾值單向匹配算法，采用自適應閾值雙向匹配的配準時間縮短，且RMSE有一定程度的降低。因此，改進SURF算法可有效提高紅外圖像配準精度，并一定程度上降低紅外圖像配準時間。

3 結 語

本文基于改進SURF算法對紅外圖像進行配準，以達到紅外圖像拼接的目標。針對傳統固定閾值匹配算法存在的特征點匹配率低的問題，提出了一種基于雙向匹配策略的自適應閾值配準算法，即參考圖像與待配準圖像的特征點，分別通過相似性度量準則找到其在對應圖像上的匹配點，并將匹配過程中求得的最近距離點與次近距離點的最小比值作為匹配閾值。對兩幅及多幅紅外圖像進行拼接實驗，驗證了所提算法的有效性。實驗結果表明，所提出的自適應閾值雙向匹配算法在保持高實時性的基礎上，具有較高的配準精度。

參考文獻

[1]王菲.一種改進的紅外圖像配準拼接算法研究[D].蘭州：蘭州大學，2015.

[2]陸園，張明.基于SIFT算法的紅外圖像拼接方法改進[J].計算機系統應用，2015，24（8）：165-170.

[3]吳成東，張潤，劉寶德，等.基于無人機航拍圖像拼接算法的優化[J].沈陽建筑大學學報（自然科學版），2015，31（1）：182-192.

[4]溫紅艷.遙感圖像拼接算法研究[D].武漢：華中科技大學，2009.

[5]王茜.無人機遙感農田全景圖像拼接技術研究[D].楊凌：西北農林科技大學，2017.

[6]胡同喜，牛雪峰，譚洋，等.基于SURF算法的無人機遙感影像拼接技術[J].測繪通報，2015（1）：55-58.

[7]曹芳，王小攀，朱永豐，等.基于CGXR特征和改進融合策略的圖像拼接算法[J].測繪與空間地理信息，2016，39（5）：94-97.

[8]谷雨，周陽，任剛，等.結合最佳縫合線和多分辨率融合的圖像拼接[J].中國圖象圖形學報，2018，22（6）：842-851.

[9]朱慶輝，尚媛園，邵珠宏，等.局部特征及視覺一致性的柱面全景拼接算法[J].中國圖象圖形學報，2018，21（11）：1523-1529.

[10]樊佩琦，吳誠，楊瑞宇，等.一種基于BRISK改進的SURF紅外圖像拼接方法[J].紅外技術，2018，40（1）：27-33.