基于特征點的圖像配準方法研究*

陳丹淇, 趙 迪

(1 上海機電工程研究所, 上海 201000; 2 上海衛星工程研究所, 上海 201000)

基于特征點的圖像配準方法研究*

陳丹淇1, 趙 迪2

(1 上海機電工程研究所, 上海 201000; 2 上海衛星工程研究所, 上海 201000)

圖像配準是將不同條件下(時間、傳感設備、氣候、角度等)得到的兩幅或者多幅圖像進行匹配、疊加的過程。通常,每種配準技術都是針對某一類具體應用的,有一定的局限性。文中提出了一種融合的、基于特征點的圖像配準方法,首先采用小波變換和USAN區域特性相結合的角點檢測方法,然后利用互相關和RANSAC相結合的方法進行特征點匹配,最后采用薄板樣條法求解點變換矩陣。通過這種方法可以彌補不同配準方法的不足,提高配準精度。通過對人物、景物等大量圖像進行實驗分析,證明此算法具有很好的配準精度、環境適應性和實時性。

融合;圖像配準;角點;特征點匹配

0 基于特征點的圖像配準方法

圖像配準實際上就是將不同時間、不同成像模式、不同視場下獲得的兩幅或多幅圖像進行空間幾何變換的過程。也就是說,要將兩幅圖像中對應于同一空間位置的兩個點聯系起來,尋找到一種空間變換關系,使得經過變換后的兩幅圖像差異性最小。

特征點作為圖像的關鍵特性,包含了圖像的高層信號信息,對光照、噪音的抗干擾能力較強。因此,基于特征點的圖像配準算法是文中的研究重點,其算法流程圖可見圖1。

1 基于小波變換和USAN區域特性的角點檢測

1.1 基于小波變換多尺度積的邊緣檢測方法

設:

(1)

M2j代表了梯度向量模,反映了f(x,y)·θ(x,y)在點(x,y)上灰度變化的劇烈程度。M2j沿著A2j取極大值點對應著f(x,y)的突變點,也就是圖像的邊緣位置。

通過小波變換得到了圖像的邊緣位置,但是該方法易受噪聲影響,因此引入小波變換多尺度積判別準則如式(2)。

(2)

由此可以得到邊緣點的判決條件:

1)點f(x,y)是M2j的局部極大值,且M2j>T,T為閾值。

從圖2可以看出,加入多尺度積后,可以有效抑制噪聲的影響,提高邊緣檢測的精度。

1.2 邊緣連接

利用小波變換進行邊緣檢測之后,會存在毛草邊緣和短小的邊緣點。為了去除這些噪聲影響,同時為角點檢測提供有效的邊緣結構,文中利用像素梯度向量模和方向角來進行邊緣連接。也就是說,如果像素(m,n)在像素(x,y)的鄰域內且他們滿足以下條件,就可以把兩個像素連接起來:

(3)

通過以上公式可以得到邊緣鏈數組,對于邊緣鏈小于某一閾值(5到15)將被作為噪聲邊緣去除,由圖3可以看出,通過邊緣連接后,可以去除掉短小且沒有使用價值的邊緣信息,并使邊緣得到平滑。

1.3 基于曲率的角點檢測

根據角點的特性可知,位于光滑曲線上的點,其左右兩邊曲線所形成的夾角接近于零;而在角點處,其左右兩邊曲線會形成一個夾角。因此只有當某點左右兩邊直線之間的夾角在某一個范圍內,文中選擇[π/4,π/2],則認為這個點為角點。

1.4USAN區域特性去除偽角點

基于曲率的角點檢測方法比較簡單快速,但會產生很多偽角點,因此文中采用USAN區域特性去除這些噪聲點。

將位于圓形窗口模板中心的待檢測像素點稱為核心點。當核心點在角點處時,USAN區域最小,而相反USAN區域最大。通過此種方法可以有效去除偽角點,如圖4。

1.5 基于小波變換和USAN區域特性檢測實驗結果

本算法由于作用在小波變換多尺度邊緣檢測的基礎上,因而具有一定的抗噪聲,同時基于曲率局部極大值進行角點判定,受角度旋轉的影響較小。

2 基于互相關和RANSAC算法相結合的特征點匹配

2.1 基于互相關的特征點匹配

假設p=(px,py)和q=(qx,qy)分別是待配準圖和參考圖像上的特征點。則p和q相似程度的歸一化互相關公式如下:

py)-u1][f2(x+px,y+py)-u2]}

(4)

按照上述條件,逐點對兩幅圖像的特征點集進行判斷,可初步建立控制點對之間的匹配關系。

2.2RANSAC(RandomSampleConsensus)算法

運用互相關算法實現粗匹配之后,采用RANSAC方法進行修正,以得到精確的匹配。

算法執行步驟如下:

1)隨機提取N對特征點,文中N=4;

2)根據變換模型求解變換參數,采用投影變換;

3)在剩余的特征點對中計算符合變換模型的特征點對的個數,記作K;

4)不斷的循環以上步驟,最大循環次數為1 000,同時記錄K值最大時相對應的變換參數;

5)依據最優變換參數,對特征點對進行修正,得出匹配結果。

在誤匹配點數目接近一半的情況下,RANSAC算法仍然可以得到正確的結果,具有很好的魯棒性。

2.3 基于互相關和RANSAC相結合的特征點匹配實驗結果

圖6是采用基于互相關的特征點匹配的算法,其中分別用紅、黃、藍、粉4種顏色標記了誤匹配點對的位置。圖7是RANSAC法修正后的結果,可以看出經過RANSAC法修正后,誤匹配點的錯誤的運動趨勢得到了修正,為點變換矩陣的求解提供了精確的匹配結果。

3 薄板樣條法求解點變換矩陣

薄板樣條(TPS)圖像匹配算法能夠將空間變換分解為一個全局仿射變換和一個局部非仿射變換。

此算法在考慮到全局幾何變換的同時,考慮到了局部畸變,因此有較高的精確度。求解參數為(m+3)個,便可以得出圖像間的變換矩陣。

4 文中實驗結果

從試驗結果可以看出,文中提出的基于特征點的圖像配準方法具有良好的抗干擾性和環境適應性,能夠在噪音環境下達到良好的配準標準(圖8);能夠適應旋轉縮小的環境變化,在手動旋轉圖片和真實拍攝圖片上都可以達到良好的試驗結果(圖8、圖9);能夠適應不同角度真實環境變化,并有較好的抗干擾性能,在部分內容發生變化的情況下,依然能夠保持良好的配準精度(圖10)。同時,文中提出的配準方法工作機理較為簡單,計算速率較高,具有良好的實時性能。

5 總結

文中在角點檢測中將小波變換和USAN區域特性很好的結合到了一起,有很高的準確性,并具備一定的抗噪性和旋轉不變性。同時,提出了基于互相關及RANSAC相結合的算法,獲得精度很高的匹配結果。最后采用薄板樣條法求解點變換矩陣,不但考慮到了

全局的仿射變換,而且考慮到局部的非仿射變換,具有很高的精確度。

文中的整個配準過程完全是自動完成的,通過大量的實驗結果證明了文中提出配準方法具有廣泛的適用性和良好的配準效果。

[1] XU Peng, YAO Dezhong. A study on medical image registration by mutual information with pyramid Data structure[J]. Computers in Biology and Medicine, 2007(37): 320-327.

[2] PENG Daiqiang, LIU Jian, TIAN Jinwen, et al. Transformation model estimation of image registration Via least square support vector machines[J]. Pattern Recognition Letters, 2006(27): 1397-1404.

[4] HERIC Dusan, ZAZULA Damjan. Combined edge detection using wavelet transform and signal registration[J]. Image and Vision Computing, 2007,25(5): 652-662.

[5] BENTOUTOUA Y, TALEBB N, KPALMAC K, et al. A Feature-based approach to automated registration of remotely sensed images[C]// Proceedings of 2006 2nd International Conference on Information and Communication Technologies. New York: IEEE, 2006.

[6] THUNUGUNTLA Saikiran S, GUNTURK Bahadir K. Feature-based image registration in log-polar domain[C]// Proceedings of ICASSP’05. New York: IEEE, 2005.

版權聲明

凡稿件被本刊錄用，即視為作者同意將該論文的復制權、發行權、信息網絡傳播權、翻譯權、匯編權等權利在全世界范圍內轉讓給本刊。本刊已許可中文科技期刊數據庫(維普)、萬方數據數字化期刊群和中國知網(中國學術期刊(光盤版)電子雜志社)在其各自的系列數據庫產品中以數字化方式復制、匯編、發行及在信息網絡傳播本刊全文。作者著作權使用費和稿酬一并支付(即包括印刷版、光盤版和網絡版各種使用方式的報酬)。如作者對本聲明持有異議，請在投稿時說明。

本刊編輯部

ImageRegistrationBasedonFeature

CHEN Danqi1, ZHAO Di2

(1 Shanghai Electro-mechanical Engineering Institute, Shanghai 201000, China; 2 Shanghai Institute of Satellite Engineering, Shanghai 201000, China)

Image registration is a process of matching and superimposing two or more images obtained under different conditions (time, sensing equipment, climate, angle, etc. ). Typically, each registration technique is specific to a particular class of application, with some limitations. An fusion image registration algorithm based on feature is presented in this thesis. Firstly, the corner detection method is combined with wavelet transform and USAN regional features. Then, the feature points are matched by cross correlation and RANSAC(Random Sample Consensus). Finally, the thin-plate spline algorithm is adopted. This method can make up for the shortcomings of different registration methods to improve the accuracy. Through experiments on a large number of images, such as characters and scenes, it is proved that the algorithm has good registration accuracy, environmental adaptability and real-time.

fusion; image registration; corner; feature points matching

TP751;TP391.41

A

2016-07-28

陳丹淇(1986-),女,內蒙古扎蘭屯人,工程師,碩士,研究方向:圖像與語音處理。