一種基于SIFT的圖像拼接方法

大唯機電安裝工程（蘇州）有限公司 張 博

隨著計算機技術的發展，圖像處理在許多行業得到了廣泛的應用，圖像拼接技術可以方便快速的獲得寬視域的圖像。本文基于OpenCV計算機視覺庫和SIFT圖像匹配算法，采用C++開發語言，實現了圖像的快速拼接。實驗結果表明：采用SIFT算法進行圖像拼接，通過加權融合消除了拼接的裂縫現象，達到了預期的拼接效果。

圖像拼接技術在圖像處理領域占有重要的地位，它在無人機影像處理、醫學圖像處理以及安防監控有著廣泛的應用，具有良好的研究前景。圖像拼接的任務是將一幅或者多幅具有部分相同特征點的圖像組合在一起，形成一幅新的圖像。所形成的新的圖像具有更寬的視域，具有一定的研究價值。

1 SIFT算法

1.1 簡介

尺度不變特征變換(Scale Invariant Feature Transform，SIFT)利用128維的特征向量來表示圖像中檢測到的特征點。因此，經過SIFT算法，圖像被表示為128維的特征向量集。這個特征向量集既能夠使圖像經過旋轉、縮放以及平移仍然保持不變，又能夠在光照和投影變換下具有較高的魯棒性。其實質是在圖像的不同尺度空間中尋找關鍵點，并得到關鍵點的方向。其步驟可以大致分為以下五步。

（1）建立高斯差分金字塔，對不同分組中的圖像采用降采樣，使用不同尺度的高斯核對原始圖像在不同圖像層上進行卷積，進而生成高斯金字塔。然后在高斯金字塔中將相鄰的兩幅圖像相減生成高斯差分金字塔(DOG)。

（2）關鍵點的初步確定，關鍵點是由DOG空間中的局部極大、極小值點組成，通過在高斯金字塔中某一層圖像的領域中比較同組的相鄰兩幅圖像完成關鍵點的初始定位。

（3）為了準確確定關鍵點的位置和尺度，采用三維二次函數在檢測到的初步極值點附近對三個變量進行二階泰勒展開，以獲得精確點。

（4）為關鍵點賦予主方向，為了使特征描述子具備旋轉不變性，需要利用圖像的局部特征為每個關鍵點給定一個參考方向。通過采用對圖像求取梯度的方式來計算出圖像的局部穩定方向。計算在DOG空間中所確定的關鍵點對應在高斯金字塔中3σ鄰域窗口中像素的梯度和方向分布。

（5）在對于在高斯差分金字塔中檢測到的關鍵點，計算高斯金字塔圖像構建關鍵點描述符，通過以上步驟，我們找到了一張圖片中的關鍵點，擁有三個信息：位置x，y、尺度以及主方向。為了將兩張圖片中的同一關鍵點匹配起來，需要構建一個描述符，這個描述符就是一個128維的向量。

1.2 SIFT算法優缺點

SIFT缺點：

（1）速度慢，實時性不高。

（2）對模糊圖像和平滑邊緣圖像無效。

SIFT算法的優點有：

（1）SIFT算法找到的圖像特征是局部的，對于旋轉、縮小放大和對比度變化具有較高的適應性，對拍攝角度的改變、錯切變換以及附加噪聲也有較好的效果。

（2）精確性性好，特征點豐富，達到精確匹配。

（3）多量性，即使是少數目標也能產生豐富的特征向量。

1.3 SIFT算法應用場景

SIFT算法是古老而經典的算法，時至今日，其研究價值還有很大。其應用場景有很多，以下列舉幾種SIFT算法應用典型場合：

物體識別

機器人定位與導航

圖像拼接

三維建模

手勢識別

視頻跟蹤

筆記鑒定

指紋與人臉識別

2 基于SIFT的圖像拼接

圖像拼接廣泛應用于實際場景中，如無人機影像處理、遙感圖像等。非常貼近于我們日常生活的一個例子就是，當你用你的手機對某一場景拍照，但你不可能一次拍下所有你想拍的東西，所以你要從左到右拍幾張照片來記錄所有你想拍的東西。這時，我們利用圖像拼接技術將圖片拼接成一幅寬視域的圖片。

利用SIFT算法實現圖像拼接是一種非常常用的方法，采用SIFT進行圖像拼接可以達到較高的精確度和穩定性。下面詳細描述拼接的主要步驟。

特征點提取和匹配：

對于不同的圖像，由于圖像的元素都不同，每幅圖像都有自己獨特的特征。因此找出圖像的特征點是圖像拼接的首要任務。

圖像拼接中有很多特征檢測算法可以使用，如sift、surf、Harris角點和ORB等。本文將利用SIFT算法來進行圖像拼接，采用SIFT進行圖像拼接雖然速度比較慢，但是可以找到精確的特征點，可以達到較高的精確度和穩定性。如圖1、圖2所示。

圖1 拼接左圖

圖2 拼接右圖

首先我們使用SIFT算法進行特征點的提取和描述，如圖3所示。

圖3 特征點檢測匹配

在不同的條件下，如光照、對比度、拍攝角度等，用同一相機或不同相機拍攝某一地點，所得到的圖像，其角度、尺度、變形等大都不同。為了順利完成圖像拼接，需要對兩幅圖像進行配準，盡可能的縮小要拼接圖像的差異，如圖4所示。

圖4 圖像配準

接下來進行圖像拷貝，拷貝即將要匹配的左邊圖片直接拷貝在已經獲得的匹配標準圖中，結果如圖5所示。

圖5 圖像拷貝

可以看出拼接好的圖像存在明顯的裂縫，原因是所用的拼接圖像是在不同的時間拍攝，光照存在著明顯的差異。這里我們采用前面所述的加權融合進行處理，結果如圖6所示。

圖6 圖像融合

可以看到，經過融合處理的圖像看不到拼接的痕跡，兩圖過渡自然，達到了預期的拼接效果。

基于OpenCV利用傳統的經典SIFT算法完成特征檢測，進而進行圖像配準、融合。實驗結果表明：采用SIFT算法進行圖像拼接，通過加權融合消除了拼接的裂縫現象，達到了預期的拼接效果。