基于改進特征點檢測的全景圖像拼接方法

鄭 宇，張曉燕（通信作者）

（廈門大學嘉庚學院信息科學與技術學院 福建 漳州 363105）

0 引言

近年來，隨著互聯網、物聯網的快速發展，對具有較大視域全景圖像的需求也越來越迫切，全景圖拼接技術也得到了迅速發展。蘭紅等[1]提出了一種針對優化SIFT算法的全景圖拼接技術，他們通過結合圖像單元信息投影熵原理提取分塊圖像特征，依據投影熵矢量歐氏距離進行特征匹配，最后利用改進的隨機抽樣一致性算法刪除誤匹配的方法進行技術優化；沈鵬[2]提出了一種基于SIFT特征的全景圖拼接技術，通過加入面向柱面投影的圖像邊緣鋸齒消除算法來提高圖像質量；劉旭[3]提出了一種基于SIFT和RANSAC的全景圖拼接算法，結合了距離、角度、隨機抽樣性等特性，并將匹配階段分為粗細兩個階段進行，采用了漸進漸出的融合算法。雖然近些年涌現了很多關于全景圖像拼接的方法，但是對準確度高、低性能開銷、速度快的相關算法研究仍然是研究熱點。

本文提出了一種基于改進特征點檢測的全景圖拼接算法。通過對Harris角點檢測方法加入自適應閾值算法進行改進，實現圖像特征提取的優化，再利用改進的加權RANSAC算法進行誤匹配對剔除，通過空間變化法對拼接融合后產生的局部畸變進行幾何校正處理，提高了全景圖拼接的效率和準確性。

1 改進特征點檢測

圖像特征點檢測方法主要有SIFT、SURF、Harris、ORB等方法。其中Harris角點檢測于1988年被提出，在圖像特征匹配中較為常用。傳統Harris角點檢測算法在提取角點質量與速度上都有一些局限性[4]，本文對Harris角點檢測算法進行了如下改進：

（1）計算圖像在x、y方向上的梯度Ix、Iy，分別求出x、y方向上的梯度乘積，并對和Ixy進行高斯加權。在此過程中我們去除梯度較小的點，只對梯度幅度比較大的像素點進行計算提取，減少了偽關鍵點的干擾。

（2）由于Harris算法用于提取角點的閾值是固定的，故存在忽略有效像素點的可能性。為此提出自適應閾值設置方法，提高檢測算法的精確性，避免偽角點的產生。

根據公式（1）計算出每個像素的響應值R：

其中w為窗口函數，代表了窗口下每個像素點的權重，一般采用高斯函數，表示越靠近所選點，其權值越大。Ix和Iy分別為x和y坐標下的像素位置。k一般取0.04-0.06。

對響應值進行判定的閾值T求解如下：

設置迭代終止值K及迭代開始值A0,A0取R值矩陣中最大值Rmax與最小值Rmin的平均值，即公式（2）：

使用A0對R值矩陣中的各個像素點進行分類，其中大于A0的分為T1區域，小于A0的分為T0區域。計算T0和T1兩個區域中像素的平均值ρ1和ρ2，并通過公式（3）獲取ρ值：

求出ρ與A0的差的絕對值，若小于預先設置的K即停止迭代，輸出閾值A0。若大于預先設置的K，則將A0的值等于ρ，并進行重復迭代，直到取得符合條件的閾值即暫停。

使用不同的算法進行特征提取，結果如圖1所示。

圖1 不同特征提取效果對比

從直觀的對比結果可以看出，本文改進的Harris角檢測算法在識別的精度上明顯優于原算法以及其他算法，可以精確提取絕大部分的關鍵點，尤其是減少了偽特征點的干擾，能夠有效提高圖像匹配的準確性。

本文還對四種特征提取方法的時間開銷進行對比，結果如表1所示。

表1 不同算法時間開銷對比

從表1可以看出，本文改進的Harris算法在時間性能開銷上有顯著提升，明顯較快。

2 誤匹配點剔除

對特征點進行匹配后通常會存在較多誤匹配對[5]，影響后續拼接效果。采用改進RANSAC算法進行誤匹配點剔除，得到精確匹配結果。

RANSAC算法的實現如公式（4）所示：

式中（x,y）、（x',y'）為待拼接圖像的角點位置，s為尺度參數，H為變換矩陣，其中H共有9個未知參數，使用奇異值的分解方法來計算圖片的變換矩陣。

在傳統的RANSAC算法中，每次選取的樣本點都是隨機的，但是每一對匹配的程度都不一樣，因此需要增大產生合適單應矩陣模型的可能性。為此我們提出根據不同特征點匹配度給予不同的權重，匹配程度越大的點賦予更大的權重。具體公式如下：

其中W表示權重，λ1表示像素點與最優匹配點間的歐式距離，λ2表示像素點與其次匹配點間的歐式距離。而λ1與λ2的比值與匹配的正確率成反比，比值越小正確率越高。為此應當賦予更大的權重。

3 圖像拼接

全景圖拼接的主要實現方法是依次不斷地將前一張圖片和后一張圖片進行匹配拼接，直至完成所有圖像，其過程如圖2所示：

圖2 拼接過程

為了提高拼接結果，我們加入了基于加權平均法的圖像融合這一步驟，消除圖像匹配后產生的縫合痕跡。加權平均法的圖像融合原理如式（6）：

在相同像素點對灰度值賦予權重值，融合圖像的灰度值為兩圖灰度值加權之和。加權平均法融合實現速度快，完成的圖像自然清晰，達到更好的視覺效果。

4 實驗結果分析

基于上述方法獲得的全景圖如圖3所示，該圖中存在的徑向畸變嚴重影響了全景圖的效果，本文采用空間變換法改進全景圖結果，基本流程如圖4所示：

圖3 幾何畸變的全景圖

圖4 幾何畸變校正流程圖

對畸變圖像建立校正函數為：

其中gu（x，y）為幾何畸變圖像，gv（x，y）為基準幾何坐標的圖像。由于計算的（u，v）不是每次都剛好在畸變圖像的像素中心上，采用雙線性內插進行處理[6]，再基于公式8對每個像素進行校正輸出，其中α和β為雙線性內插權值。

經過幾何畸變矯正之后的全景圖如圖5所示，可以看出全景圖的質量得到明顯改進。

圖5 輸出的拼接全景圖

我們將基于SIFT特征的圖像拼接結果與本文算法結果進行對比，結果如圖6所示：

圖6 SIFT特征拼接與本文算法結果比較

可以看出，圖6（a）中存在明顯的拼接縫隙，色彩誤差以及畸變。而上述問題在本文改進的技術中并未出現且自然美觀，如圖6(b)所示。

5 總結

本文通過對Harris角點檢測算法進行自適應閾值改進，提高了特征點提取的準確性，采用加權RANSAC算法剔除誤匹配對以提高匹配效果，并對拼接后圖像進行幾何畸變校正得到高質量的全景圖。本文算法簡單高效，能夠獲得較好的拼接結果，在一定程度上提高了拼接算法的精度和速度。