基于圖像點(diǎn)特征的拼接技術(shù)研究

周美麗，郭建峰

（延安大學(xué) 陜西 延安 716000）

日常生活中，人們總希望能拍攝出場(chǎng)景范圍大，分辨率高的圖象。但由于各種限制，兩者很難同時(shí)滿(mǎn)足。若照片場(chǎng)景范圍較大，則分辨率就會(huì)較低，反之若對(duì)分辨率要求高，則拍攝場(chǎng)景范圍自然就會(huì)縮小。而圖像拼接技術(shù)就可以有效地解決這個(gè)問(wèn)題。國(guó)外早在1996年Hueng Yueng Shun和Richard Szeliski[就提出了一種模型，它是基于運(yùn)動(dòng)的全景圖像拼接，具體操作是先計(jì)算出拼接圖像間的幾何變換，再進(jìn)行融合。到了2000年，Shmuel Peleg及其團(tuán)隊(duì)提出了另一種模型——自適應(yīng)圖像拼接模型，而首次出現(xiàn)SIFT算法是在在2003年ICCV大會(huì)上Brown提出的，他使用SIFT算法進(jìn)行圖像拼接，該算法能夠自動(dòng)拼接過(guò)程，并且證明有良好的效果。Brown的此次發(fā)言再次掀起了人們研究圖像拼接技術(shù)的興趣。近年來(lái),我國(guó)的圖像拼接技術(shù)同樣取得了較好的成績(jī)。1996年，鐘力等人提出進(jìn)行圖像匹配時(shí)參照兩列像素的灰度比值，最后拼接圖像時(shí)采用加權(quán)融合的方法。李躍等人在2001年,對(duì)電路圖采用模板進(jìn)行圖像匹配，從而實(shí)現(xiàn)拼接。2007年，李寒等人在國(guó)內(nèi)成功使用SIFT特征點(diǎn)進(jìn)行圖像拼接，此算法有效突破了在光照和尺度下的局限。目前，圖像拼接技術(shù)已經(jīng)取得許多可喜成果，并且應(yīng)用已逐步擴(kuò)展到航天航空、工業(yè)領(lǐng)域、醫(yī)學(xué)圖像等領(lǐng)域。

1 數(shù)字圖像拼接流程圖

典型的基于特征點(diǎn)[1]的數(shù)字圖像拼接系統(tǒng)主要包含以下步驟：開(kāi)始先對(duì)圖像進(jìn)行預(yù)處理、然后提取圖像特征、并且根據(jù)特征進(jìn)行匹配、尋找最優(yōu)的匹配點(diǎn)對(duì)、變換模型參數(shù)估計(jì)、最后進(jìn)行圖像融合。總體如框圖4所示。

圖1 像拼接系統(tǒng)的構(gòu)成Fig.1 Image mosaicing system

圖像拼接適用于多幅圖像，為了簡(jiǎn)化步驟，這里只研究?jī)煞鶊D像的拼接問(wèn)題，其與多幅圖像原理一樣。在兩幅圖像中任選一幅圖像為參考圖像不做任何處理，則另一幅圖像是待拼接圖像需要進(jìn)行變換，然后投影到參考圖像的坐標(biāo)系中進(jìn)行比較，最后進(jìn)行圖像的融合。在上圖1系統(tǒng)中圖像預(yù)處理主要是對(duì)數(shù)字圖像進(jìn)行基本處理，如直方圖處理、高斯濾波處理等，通過(guò)對(duì)圖像進(jìn)行變換，如快速傅立葉變換，Gabor變換[1]，小波變換等，得到圖像的匹配模板。特征提取即提取圖像的角點(diǎn)特征。特征匹配部分此處為角點(diǎn)匹配，即找出唯一對(duì)應(yīng)角點(diǎn)，本文采用歸一化互相關(guān)及誤差平方和的辦法來(lái)匹配，初步找出所有可能正確的匹配角點(diǎn)，然后采用RANSAC算法進(jìn)行處理確定最優(yōu)匹配點(diǎn)對(duì)，刪除不滿(mǎn)足要求的點(diǎn)對(duì)，最終留下來(lái)的點(diǎn)對(duì)就是所需點(diǎn)；變換模型參數(shù)估計(jì)也稱(chēng)做映射模型（Mapping Model）參數(shù)估計(jì)，即是將輸入圖像向參考圖像映射的坐標(biāo)變換函數(shù)；圖像融合模塊是圖像拼接的最后一個(gè)步驟，在此過(guò)程中需要消除圖像拼接之后產(chǎn)生的拼接線。本文所要進(jìn)行拼接的圖像如圖2和圖3所示。

圖2 為參考圖片圖Fig.2 Reference image map

圖3 為待拼接圖片F(xiàn)ig.3 Photo stitching

2 圖像特征點(diǎn)的提取

圖像特征點(diǎn)通常包括線交叉點(diǎn)、拐角、邊界線曲率最大點(diǎn)、封閉曲線的質(zhì)心點(diǎn)等，本文主要討論采用Harris角點(diǎn)來(lái)實(shí)現(xiàn)圖像拼接。Harris角點(diǎn)檢測(cè)算法擁有很多優(yōu)點(diǎn)[2]：計(jì)算量小；具有較高的穩(wěn)定性和魯棒性；能夠準(zhǔn)確對(duì)經(jīng)過(guò)任意旋轉(zhuǎn)、灰度改變后的圖像提取角點(diǎn)。基于以上幾點(diǎn)，本文采用Harris角點(diǎn)法來(lái)提取圖像的特征點(diǎn)，如式（1）：

其中，M為矩陣，Ix和Iy分別為圖像I在X，Y方向上的一階導(dǎo)數(shù)，k為高斯模板，CRF的局部極大值點(diǎn)就是角點(diǎn)[3]。圖像拼接過(guò)程中，為了得到匹配的特征點(diǎn)才進(jìn)行角點(diǎn)檢測(cè)，因此要求角點(diǎn)檢測(cè)算法所檢測(cè)到的角點(diǎn)中，匹配點(diǎn)對(duì)比例盡可能大。所謂角點(diǎn)匹配通俗的講就是在圖1和圖2中找出唯一對(duì)應(yīng)角點(diǎn)，這是自動(dòng)匹配的關(guān)鍵步驟。常用的角點(diǎn)匹配方法有兩種：即不相似測(cè)度SSD和相似測(cè)度NCC，本文采用的是相似測(cè)度NCC[4]來(lái)完成特征點(diǎn)匹配，如式（2）：

采用NCC匹配方法，有效排除了其它信息的干擾，進(jìn)行角點(diǎn)初始匹配過(guò)程中，由于物體的獨(dú)立運(yùn)動(dòng)和噪聲的干擾，難免會(huì)造成一定的錯(cuò)誤匹配.本文針對(duì)這個(gè)問(wèn)題提出了改進(jìn)的算法，用來(lái)消除錯(cuò)誤匹配。這種改進(jìn)的特征匹配對(duì)縮放或角度旋轉(zhuǎn)程度小的圖像非常有效。如式（3）、式（4）：

如果在兩幅圖像中的對(duì)應(yīng)特征點(diǎn)滿(mǎn)足這一條件，就是一個(gè)有效的匹配對(duì)，反之，則是誤匹配對(duì)。采用這種方法處理完所有的初始匹配點(diǎn)對(duì)后，就可以得到所有合適的匹配點(diǎn)對(duì)。本文進(jìn)一步采用RANSAC算法再次消除誤匹配[5]，從而得到精確度更高的匹配點(diǎn)對(duì)。如圖4和圖5所示即為提取特征點(diǎn)圖像。

圖4 對(duì)圖1提取特征點(diǎn)Fig.4 The points of Fig 1 extraction

圖5 對(duì)圖2提取特征點(diǎn)Fig.5 The points of Fig 2 extraction

3 圖像融合

整個(gè)圖像拼接處理過(guò)程當(dāng)中的最后一個(gè)步驟是圖像融合（Image Blending），圖像融合就是把匹配后的兩幅圖像根據(jù)對(duì)應(yīng)的位置合并為一幅圖像。圖像融合的目的是要消除圖像中較強(qiáng)的光或間斷的色彩。常用算法有：平均值法、加權(quán)平均法、歐式距離法[8]，本文進(jìn)行圖像融合采取的是加權(quán)平均法。為了要使拼接區(qū)域不出現(xiàn)明顯間斷，消除拼接線，采用加權(quán)平均算法[9]，如式（5）：

產(chǎn)生加權(quán)平均的作用為了使用圖像實(shí)現(xiàn)平滑過(guò)渡的效果，使顏色慢慢過(guò)渡，避免圖像模糊不清或出現(xiàn)明顯的邊界，其中，d為漸變因子，它的取值為重疊區(qū)圖像寬度的倒數(shù)，I11（x，y）為參考圖像中重疊部分，I22（x，y）是待匹配圖像中的重疊部分，融合后為 I（x，y）。

有了可靠的的圖像特征點(diǎn)對(duì)，就可以對(duì)整個(gè)圖像進(jìn)行拼接處理。圖像拼接的目的是要消除拼接縫。實(shí)際操作中，通常對(duì)重疊區(qū)域角點(diǎn)采用加權(quán)平滑方法[6]，從而實(shí)現(xiàn)平滑過(guò)渡。如圖6所示。

圖6 消除拼接縫原理Fig.6 The elimination of seam diagram

拼接后圖像重疊部分象素點(diǎn)的灰度值GrayLevel由拼接前具有相同重疊區(qū)域圖像中對(duì)應(yīng)點(diǎn)的灰度值LGrayLevel和RGrayLevel加權(quán)平均得到，其數(shù)學(xué)模型如式（6）所示：

其中：k是漸變因子，滿(mǎn)足0＜k＜l，由左邊圖像的重疊部分慢慢過(guò)渡到右邊圖像重疊部分的平滑拼接，是通過(guò)k由1漸變至0實(shí)現(xiàn)的，其漸變方向?yàn)閺淖蟮接摇Ｏ聢D中陰影部分是圖像待匹配的重疊區(qū)域，左圖中重疊部分中的一點(diǎn)LGrayLevel與右圖中對(duì)應(yīng)點(diǎn)RGrayLevel在拼接時(shí)重疊，當(dāng)把二者合二為一時(shí)，重疊的LGrayLevel與RGrayLevel就變成了一點(diǎn)Graylevel，從而實(shí)現(xiàn)過(guò)渡時(shí)能夠保持平滑。如圖7所示為圖像融合后的效果圖。

圖7 是拼接后圖像Fig.7 The mosaic image

4 結(jié)束語(yǔ)

通過(guò)上述實(shí)驗(yàn)可以看出采用本文所建立的圖像拼接模型可以對(duì)圖像進(jìn)行很好的拼接。把拼接后的圖像與原圖進(jìn)行比對(duì)，幾乎肉眼觀察不到二者的差別。這一系統(tǒng)模型是在VC++6.0平臺(tái)下構(gòu)建的，它具備界面制作簡(jiǎn)單、運(yùn)行速度良好等優(yōu)點(diǎn)，可廣泛用于圖像修復(fù)領(lǐng)域。

[1]Chale A，Naghdy G，Mertins A，Sketch-based image matching using angular partitioning systems[J].IEEE Transactions on Man and Cybernetics，Part A，2005，35（1）:28-41.

[2]章毓晉，圖像工程，圖像處理[M].2版.北京：清華大學(xué)出版社，2005.

[3]胡社教，葛西旺，陳宗海.基于角點(diǎn)特征的KLT跟蹤全景圖像拼接算法[J].系統(tǒng)仿真學(xué)報(bào)，2007，19（8）:1742-1744.HU She-jiao，GE Xi-wang，CHENG Zong-hai.The stitching algorithm based on the image feature point of tracking KLT panoramic[J].Journal of System Simulation，2007，19（8）:1742-1744.

[4]李曉娟.圖像拼接技術(shù)研究[D].西安：西安電子科技大學(xué)，2007.

[5]陸方杰.基于特征的數(shù)字圖像拼接技術(shù)研究[D].杭州：浙江大學(xué)，2007.

[5]Sevket Gumustekin.An introduction to image mosaicing.[EB/OL].（2008-03-20）http://www.iyte.edu.tr/eee/sevgum/research/mosaicing99/.

[6]李寒，牛紀(jì)禎，郭禾.基于特征點(diǎn)的全自動(dòng)無(wú)縫圖像拼接方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2007，28（9）:2083-2085.LI Han，NIU JI-zhen，GUO He.The mosaic method of Automatic seamless image based on feature points[J].Computer Engineering and Design，2007，28（9）:2083-2085.

[7]Szeliski R，Video mosaic for Virtual Environments[J].IEEE Computer Graphics and Applications，1996，16 （2）：22-30.

[8]Harris C，Stephens M.A combined corner and edge detector，Proceedings Fourth Alvey Vision Conference[J].Manchester，1988:147-151.

[9]徐餛.穩(wěn)健的圖像拼接算法研究[D].南昌：南昌大學(xué)，2005.

[10]葛西旺.一種精確的圖像拼接方法[J].安徽建筑工業(yè)學(xué)院學(xué)報(bào)，2007，15（1）:69-72.GE Xi-wang.An accurate method for image mosaic[J].Journal of Anhui Construction Industry Institute，2007，15（1）:69-72.