基于角點檢測與特征點配準的圖像拼接算法?

李養勝 李 俊

（陜西工業職業技術學院 咸陽 712000）

1 引言

圖像拼接在全景圖像導航、機器人、智能交通、公共安全和工業視覺檢測等領域有著廣泛的應用［1］。圖像拼接的主要過程為：圖像預處理、圖像角點檢測、圖像配準、建立變換模型、統一坐標變換和圖像融合；算法基本上可以分為兩類：基于頻域的方法（相位相關方法）和基于時域的方法［2］。本研究的對象是背景相對復雜，特征雜亂微弱的軸承目標，且圖像重疊區域較少，在此背景下，本文展開針對圖像準確拼接研究。

在圖像拼接方面，國內研究人員已經取得了一定研究成果，如張瑩［3］提出基于ORB算法和OECF模型的快速圖像拼接算法，利用SIFT算法提取特征點，再用ORB算法獲取特征點的二進制碼串描述子進行匹配，而后通過投影變換模型獲取參數，最后估計攝像機的光電轉換函數，利用模型參數對拼接圖像進行色彩調整，解決了多幅圖像拼接中顏色不一致的問題。但是，此技術未充分考慮復雜背景的干擾，往往影響了拼接準確性。陳月［4］提出了基于SIFT特征矢量圖的快速圖像拼接系統，首先結合相位相關算法，確定待拼接圖像的重疊區域，限定SIFT特征點檢測范圍；然后考慮特征點的空間位置信息，構建SIFT特征矢量圖像，以便在特征匹配時限制匹配點的搜索范圍，快速獲得匹配點。然而，這種技術未考慮重疊區域較少的情況，當待拼接圖像重疊區域較少時，往往不能達到準確拼接的目的。

為達到提高算法拼接準確度的目的，本研究提出基于角點檢測與特征點配準的圖像拼接算法。利用輸入圖像得Hessian矩陣來構建尺度空間，通過積分圖像轉換，設計基于surf的角點檢測算子，精準定位圖像拼接參考點的目的。然后，根據角點匹配參數，推導計算出單應性矩陣，進行兩幅圖像間拼接轉換處理，進一步精確并全自動化圖像拼接結果。最后，基于軟件開發環境VS2015實現算法，并系統集成。最后，測試了所提算法的拼接性能。

2 本文圖像拼接算法

背景相對復雜，特征雜亂微弱的軸承目標，且圖像重疊區域較少。首先，基于圖像采集器，分別讀取兩幀帶有少量重疊的軸承目標圖像，作為待拼接的他對象。然后基于角點檢測與圖像配準的圖像拼接算法。首先，根據圖像Hessian矩陣，構建尺度空間，通過積分圖像轉換，設計基于surf的角點檢測算子，精確定位角點，達到精準定位圖像拼接參考點的目的。然后，根據角點匹配參數，推導計算出單應性矩陣，進行兩幅圖像間拼接轉換處理，進一步精確并全自動化圖像拼接結果。最后進行功能測試和穩定性測試，實驗驗證本系統算法，本文算法流程如圖1所示。待處理圖像如圖2所示，可見軸承目標特征微弱，背景復雜，且重疊部分較少。

2.1 基于surf的角點檢測算子

圖1 本文圖像算法過程

圖像拼接準確的前提是準確檢測到圖像重疊區域的角點，而角點往往具有不明顯性，本研究基于Hessian矩陣和積分圖像，設計出基于surf的角點檢測算子。SURF算法是對SIFT算法的一種改進，SURF算法對積分圖像進行操作，卷積只和前一幅圖像有關，其降采樣的方法是申請增加圖像核的尺寸，SURF算法允許尺度空間多層圖像同時被處理，不需對圖像進行二次抽樣，從而提高算法性能［5～7］。首先構建Hessian矩陣：

式中f（z，y）代表圖像函數，x，y代表橫、縱坐標，H矩陣判別式為

其中，g代表H矩陣的特征值和判別式，可以利用判定結果的符號將所有點分類，根據判別式取值正負，來判別該點是或不是極值點，用圖像像素l（x，y）代替函數值f（x，y），選用二階標準高斯函數作為濾波器，通過特定核間的卷積計算二階偏導數，這樣便能計算出H矩陣的三個矩陣元素的值，從而計算出H矩陣［8］。

圖2 待處理原圖

圖像尺度空間代表圖像在不同解析度下的表示，表述為一個圖像金字塔，其中輸入圖像函數反復與高斯函數的核卷積并反復對其進行二次抽樣，SURF算法申請增加圖像核的尺寸，允許尺度空間多層圖像同時被處理。經過Hessian矩陣處理的像素點與其3維領域26個點進行大小比較，若該像素點為26個點中的最大值或者最小值，則判為特征點［9］。

采用本研究角點檢測算子，處理圖2，得圖3，角點定位在圖像重疊區域的特征點，可見本研究角點檢測準確。

2.2 基于單應性矩陣的圖像配準

得到圖像重疊區域角點后，需進行配準，本研究采用單應性矩陣，完成圖像拼接。矩陣重要作用是將空間中的點變換到另一個空間中，單應性變換是圖像矩陣變換其中一種方法，單應性變換的目標是通過給定的幾個點（通常是4對點）來得到單應性矩陣，下面是單應性矩陣的推導過程［10］：

矩陣H將拼接前圖像上的一個點坐標（x，y，1）映射成拼接后圖像上點坐標(x1，y1，1)，進一步展開：

一般所選取的角點是相對于其領域表現出來具有某種奇異性的像素點，特征點往往容易被提取到，但是特征點所包含的信息相對較少，只能反映出其在圖像中的位置坐標信息［11～12］。本研究進一步精確化角點匹配，推導H矩陣參數，完成圖像拼接：

式中H矩陣代表單應性變換參數，后續實驗中詳細給出。最后采用本研究算法，結合特征點檢測和單應性配準，完成圖像拼接。采用本節算法，結合上節特征點檢測結果，處理圖2，得到圖4，位圖像配準結果，可見配準準確；得到圖5，為圖像拼接結果，可見拼接準確。

圖3 角點檢測結果

圖4 圖像配準結果

圖5 圖像拼接結果

3 實驗與討論

為了體現本文算法的優勢，將拼接性能較好的技術-文獻［3］、文獻［4］設為對照組，本文系統基于VS平臺開發實現，軟件界面見圖6（a）。算法實驗參數如：h11=3.2431，h21=3.7504，h31=14.2226，h21=2.8158，h22=1.5170，h23=12.7276，h31=22.0293，h32=24.0287，h33=21.0323。

待拼接圖像，如圖6（b）所示，圖像重疊區域少，背景復雜，本研究基于surf進行角點檢測，根據單應性矩陣變換，進一步準確角點配準，如圖7所示，可見本研究，重疊區域角點檢測和配準正確，如圖8所示，可見本研究，拼接正確。

圖6 本次實驗的軟件與測試對象

而利用對照組文獻［3］技術，利用SIFT算法提取特征點，通過投影變換模型獲取參數，利用模型參數對拼接圖像進行色彩調整。但是，此技術未充分考慮復雜背景的干擾，往往影響了拼接準確性，如圖9所示，可見存在拼接失誤。

圖7 本研究角點配準圖

圖8 本文算法的拼接結果

圖9 文獻［3］算法的拼接結果

利用對照組文獻［4］技術，首先結合相位相關算法，限定SIFT特征點檢測范圍；構建SIFT特征矢量圖像，快速獲得匹配點，然而，這種技術未考慮重疊區域較少的情況，當待拼接圖像重疊區域較少時，往往不能達到準確拼接的目的，如圖10所示，可見存在拼接失誤。

圖10 文獻［4］的拼接結果

4 結語

為了解決當前圖像拼接算法在背景復雜和重疊區域較少的情況下，導致算法拼接不準確的問題，本文分別從角點檢測與單應性配準的角度出發，提出了基于角點檢測與圖像配準的圖像拼接算法。根據圖像Hessian矩陣，構建尺度空間和圖像轉換，設計基于surf的角點檢測算子，精確定位角點。根據單應性矩陣計算，進行圖像拼接。最后，基于VS實現算法，并系統集成，達到準確圖像拼接的目的。實驗結果表明：本文拼接算法具有更高準確度。

［1］A.Laraqui，A.Baataoui，A.Saaidi.Image mosaicing us?ing voronoi diagram［J］.Multimedia Tools and Applica?tions，2017，76（6）：8803-8826.

［2］Zhicheng Wang，Yufei Chen，Zewei Zhu.An automatic panoramic image mosaic method based on graph model［J］.Multimedia Tools and Applications，2016，75（5）：2725-2740.

［3］張瑩.基于ORB算法和OECF模型的快速圖像拼接研究［J］. 計算機工程與應用，2017，13（21）：71-76.

［4］陳月，基于SIFT特征矢量圖的快速圖像拼接方法［J］.吉林大學學報（理學版），2017，8（15）：42-47.

［5］Anto A.Micheal，K.Vani，S.Sanjeevi.Automatic Graben Detection in Lunar Images Using Hessian Technique［J］.Journal of the Indian Society of Remote Sensing，2014，42（2）：445-451.

［6］詹曙，王少武，蔣建國.基于尺度限制SURF的圖像配準［J］. 電 子 測 量 與 儀 器 學 報 ，2013，27（10）：963-967.

［7］顧漪，王保平.基于旋轉SURF算子的圖像配準新方法［J］.計算機測量與控制，2017，25（7）：197-201

［8］楊加東.一種基于圖像展開與拼接的精密軸承表面缺陷光學檢測方法［J］. 機床與液壓，2017，16（4）：181-185.

［9］孫苗苗.基于圖像拼接和幀間差分輸電線路圖像分割方法［J］. 紅外技術，2017，17（12）：47-50.

［10］李玉峰.基于區域分塊與尺度不變特征變換的圖像拼接算法［J］. 光學精密工程，2016，16（4）：181-185.

［11］Zong-yan Li，Li-mei Song，Jiang-tao Xi.A stereo matching algorithm based on SIFT feature and homogra?phy matrix［J］.Optoelectronics Letters，2015，11（5）：390-394.

［12］陳月.圖像局部特征自適應的快速SIFT圖像拼接方法［J］. 中國光學，2016，20（12）：71-76.