顏色傳遞在圖像拼接中的應(yīng)用

許可可，朱文球，鄧劉昭蘆，鐘海

（湖南工業(yè)大學(xué)計(jì)算機(jī)與通信學(xué)院，湖南株洲412007）

顏色傳遞在圖像拼接中的應(yīng)用

許可可，朱文球，鄧劉昭蘆，鐘海

（湖南工業(yè)大學(xué)計(jì)算機(jī)與通信學(xué)院，湖南株洲412007）

針對(duì)圖像拼接技術(shù)中存在拼接縫的問(wèn)題，將一種直接在RGB顏色空間中進(jìn)行顏色傳遞的算法應(yīng)用于圖像拼接技術(shù)中，實(shí)現(xiàn)拼接縫的消除。首先利用Harris角點(diǎn)檢測(cè)器提取圖像的特征點(diǎn)，并用BRISK描述子對(duì)特征點(diǎn)進(jìn)行二進(jìn)制比特串描述；然后利用漢明距離對(duì)特征點(diǎn)進(jìn)行匹配，用RANSAC算法求出變換矩陣，再用高斯加權(quán)法進(jìn)行融合；最后使用顏色傳遞算法對(duì)拼接圖像進(jìn)行色度調(diào)整。試驗(yàn)表明，該算法對(duì)圖像拼接縫的消除具有較好的效果。

拼接縫；顏色傳遞；圖像拼接

0 引言

圖像拼接技術(shù)[1]是將同一場(chǎng)景中的多幅具有重疊區(qū)域的圖像進(jìn)行預(yù)處理和配準(zhǔn)，然后融合成一幅大型的、能夠更全面描述場(chǎng)景內(nèi)容的圖像的過(guò)程。圖像拼接與人們生活和工作息息相關(guān)，在宇宙空間探測(cè)、遙感測(cè)量、醫(yī)學(xué)圖像處理、視頻監(jiān)控、虛擬現(xiàn)實(shí)、軍事等領(lǐng)域都有廣泛的應(yīng)用。圖像配準(zhǔn)和圖像融合是圖像拼接的關(guān)鍵步驟，圖像配準(zhǔn)又包括特征提取、特征描述和特征匹配。由于待拼接圖像中的場(chǎng)景顏色會(huì)因光照、相機(jī)性能和個(gè)人拍照技術(shù)產(chǎn)生變化，從而在拼接圖像上產(chǎn)生拼接縫，因此研究消除拼接縫方法[2-4]具有重要意義。

E. Reinhard等人[5]中最早提出顏色傳遞算法，該算法先將RGB顏色空間轉(zhuǎn)換到Lab顏色空間，然后在Lab顏色空間中使用顏色傳遞算法提取一幅圖像的顏色特征并傳遞給另一幅圖像，使2幅圖像具有相似的色彩，再將Lab顏色空間轉(zhuǎn)換到RGB顏色空間。A. Toet等人[6]將顏色傳遞算法引入到圖像融合中，取得了較好的效果。文獻(xiàn)[7]中將顏色傳遞算法引入到圖像匹配中，該方法針對(duì)曝光和顏色差異明顯的待匹配圖，用顏色傳遞算法將色彩效果好的圖像的顏色特征傳遞給有問(wèn)題的圖像。然而，顏色傳遞算法在圖像拼接中還沒(méi)有得到較好的應(yīng)用，本文利用一種直接在RGB顏色空間中進(jìn)行顏色傳遞的算法來(lái)消除圖像拼接縫。

1 圖像配準(zhǔn)

圖像配準(zhǔn)是圖像拼接中的核心技術(shù)，本文采用經(jīng)典的Harris角點(diǎn)檢測(cè)算法提取特征點(diǎn)，特征描述采用快速的二進(jìn)制描述子——BRISK算子，利用漢明距離進(jìn)行特征匹配，并用RANSAC算法計(jì)算出2幅圖像間的變換矩陣。

1.1 特征提取

Harris算子[8]以目標(biāo)像素點(diǎn)為中心選取一個(gè)方形區(qū)域，將該區(qū)域分別沿上下左右4個(gè)方向移動(dòng)，并分別計(jì)算這4個(gè)方向的灰度變化，可得到該像素點(diǎn)的相關(guān)矩陣M，即

式中：wx,y為高斯函數(shù)；Ix和Iy分別表示在點(diǎn)（x,y）處沿水平x方向和垂直y方向的微分。

相關(guān)矩陣M是二階實(shí)對(duì)稱(chēng)矩陣，因此有2個(gè)特征向量。相關(guān)矩陣的2個(gè)特征向量與該矩陣的主曲率成正比，將這2個(gè)特征值分別表征像素點(diǎn)的灰度值變化最快和最慢的方向。由于求解特征向量的計(jì)算量較大，而特征值之和即為矩陣的跡，特征值之積即為矩陣的行列式，因此Harris角點(diǎn)響應(yīng)可用用式（2）表示為

式中：det(M)表示相關(guān)矩陣M的行列式；trace(M)表示M的跡；k是修正值（一般取0.04～0.06）；Corner表示像素點(diǎn)的角點(diǎn)響應(yīng)，當(dāng)某一像素點(diǎn)是局部極大值時(shí)則將該點(diǎn)作為特征點(diǎn)。

1.2 特征描述

采用BRISK[9]二進(jìn)制字符串來(lái)描述特征點(diǎn)，該描述子采用的采樣模式是以特征點(diǎn)為中心的4個(gè)同心圓上均勻分布的60個(gè)點(diǎn)（包括中心點(diǎn)）。為了避免受噪聲干擾，需先對(duì)這些點(diǎn)進(jìn)行平滑濾波。由60個(gè)點(diǎn)兩兩組合可以構(gòu)成=1 770個(gè)點(diǎn)對(duì)，通過(guò)距離門(mén)限的約束構(gòu)造短距離點(diǎn)對(duì)和長(zhǎng)距離點(diǎn)對(duì)，短距離點(diǎn)對(duì)用于生成二進(jìn)制描述符，長(zhǎng)距離點(diǎn)對(duì)用于計(jì)算特征方向。設(shè)（Pi,Pj）為一對(duì)采樣點(diǎn)，Pi和Pj均為像素點(diǎn)的灰度值，S為短距離點(diǎn)對(duì)構(gòu)成的集合，L為長(zhǎng)距離點(diǎn)對(duì)構(gòu)成的集合，A為所有采樣點(diǎn)對(duì)集合。S和L的定義如下：

由于長(zhǎng)距離采樣點(diǎn)對(duì)中包含了較多的角度信息，為了實(shí)現(xiàn)旋轉(zhuǎn)不變性，BRISK首先計(jì)算點(diǎn)對(duì)的梯度然后通過(guò)集合L計(jì)算出總體模式在x, y方向的梯度gx和gy，得到總體模式方向g，最后將60個(gè)采樣點(diǎn)通過(guò)特殊的反正切函數(shù)求出gx和gy之間的角度，將采樣模式旋轉(zhuǎn)角度。

將短距離采樣點(diǎn)對(duì)進(jìn)行如下運(yùn)算，便構(gòu)成了二進(jìn)制描述子，即

1.3 特征匹配

對(duì)于二進(jìn)制描述子的匹配，用漢明距離來(lái)衡量匹配程度，然后通過(guò)RANSAC（random sample consensus，隨機(jī)抽樣一致）計(jì)算2幅圖像的變換矩陣。

在信息論中，2個(gè)長(zhǎng)度相等的字符串之間的漢明距離定義為2個(gè)字符串中對(duì)應(yīng)位置字符不同的數(shù)量。漢明距離能反映2個(gè)字符串之間的差異，因此在圖像處理中可以作為2個(gè)二值特征之間的相似程度的一種客觀(guān)依據(jù)，將其用于判斷2幅圖像中的特征點(diǎn)是否匹配。2個(gè)長(zhǎng)度為n的二值特征和之間的漢明距離d(x, y)可用式（6）表示為

RANSAC算法通過(guò)隨機(jī)選取一組數(shù)據(jù)點(diǎn)樣本估計(jì)初始模型，在一定誤差范圍內(nèi)符合該模型的點(diǎn)稱(chēng)為內(nèi)點(diǎn)，不符合的則為外點(diǎn)。一個(gè)模型的內(nèi)點(diǎn)越多、外點(diǎn)越少，表示該模型越能準(zhǔn)確地計(jì)算圖像之間的變換關(guān)系。隨機(jī)選擇N組數(shù)據(jù)分別擬合模型，按照評(píng)選標(biāo)準(zhǔn)進(jìn)行篩選，找出最優(yōu)的模型。RANSAC算法在求解變換矩陣的同時(shí)，也去除了誤匹配點(diǎn)。

2 圖像融合

對(duì)2幅圖像的重疊區(qū)域用非線(xiàn)性的高斯加權(quán)函數(shù)進(jìn)行融合。因?yàn)楦咚狗植嫉母怕拭芏群瘮?shù)是一種鐘形曲線(xiàn)，越靠近中心的點(diǎn)值越大，越遠(yuǎn)離中心的點(diǎn)值越小，利用這一特點(diǎn)將其作為一種分配權(quán)值的方法。

概率函數(shù)P(x)的計(jì)算公式為

對(duì)于圖像f1(x,y)和圖像f2(x,y)，設(shè)它們的重疊區(qū)域?yàn)镠，圖像f1(x,y)在H區(qū)域的像素均值和方差分別為u1和，圖像f2(x,y)中H區(qū)域的像素均值和方差分別為u2和。則像素p（p為像素的灰度值）在圖像f1(x,y)中的概率P1(p)和在圖像f2(x,y)中的概率P2(p)可由式（7）～（8）計(jì)算而得。

將P1(p)和P2(p)作為權(quán)值，在融合區(qū)域f(x,y)的計(jì)算式為

為了使得權(quán)值和為1，對(duì)權(quán)值進(jìn)行歸一化可得融合函數(shù)為

3 圖像色度調(diào)整

色度調(diào)整通過(guò)顏色傳遞算法來(lái)實(shí)現(xiàn)，從待拼接的2幅圖像中選取其中一幅作為參考圖像，以拼接圖作為目標(biāo)圖像，將參考圖像的顏色特征傳遞給目標(biāo)圖像，使2幅圖像具有相似的色彩。由于圖像在RGB顏色空間中，像素值是一個(gè)三維隨機(jī)變量，因此3個(gè)變量之間的相關(guān)性可用協(xié)方差估計(jì)，再通過(guò)平移、縮放、旋轉(zhuǎn)變換改變圖像的顏色[10]。設(shè)src表示源圖像，tgt表示目標(biāo)圖像，算法的步驟如下。

1）分別求源圖像與目標(biāo)圖像RGB顏色空間中三通道的平均值和協(xié)方差矩陣，和表示源圖像和目標(biāo)圖像中R通道、G通道、B通道的像素平均值；表示源圖像與目標(biāo)圖像的協(xié)方差矩陣。

2）利用SVD算法分解協(xié)方差矩陣Covsrc和Covtgt，公式為

3）利用下式求出像素的變換矩陣，

式中：Usrc, Utgt為步驟2）中利用SVD奇異值分解而得的正交矩陣；為Utgt的逆矩陣；為步驟2）中利用SVD奇異值分解而得的對(duì)角矩陣中的特征向量。

圖1 在RGB顏色空間的色彩傳遞Fig.1 Color transfer in RGB color space

4 試驗(yàn)結(jié)果與分析

算法過(guò)程如圖2所示。為了驗(yàn)證本算法的有效性，進(jìn)行了大量的試驗(yàn)，試驗(yàn)平臺(tái)為Windows操作系統(tǒng)，CPU為Intel Core2 ，2.2 GHz，內(nèi)存2 GB，編程環(huán)境為Matlab。試驗(yàn)結(jié)果表明算法取得了良好的拼接效果。由于篇幅有限，只給出一組試驗(yàn)過(guò)程圖，并對(duì)圖像進(jìn)行主觀(guān)評(píng)價(jià)。

圖2 圖像拼接過(guò)程圖Fig.2Process diagram of image mosaic

圖3是同一時(shí)刻同一相機(jī)在湖南工業(yè)大學(xué)拍攝的2幅圖像，但由于角度不同，光線(xiàn)發(fā)生微妙變化，因此圖像存在細(xì)微的顏色差異。將這2幅圖作為待拼接的圖像，大小均為500×384像素。Harris角點(diǎn)提取2幅圖像的特征點(diǎn)數(shù)分別為933和941，匹配點(diǎn)數(shù)為214對(duì)，匹配效果如圖4所示。

圖5為初始拼接效果，其中圖5b為拼接圖5a的局部放大效果，紅色實(shí)線(xiàn)標(biāo)記處為拼接縫。圖6為使用顏色傳遞算法后的拼接效果，以圖3a作為源圖像，以圖5a作為目標(biāo)圖像，使用顏色傳遞算法提取源圖像中的顏色特征，傳遞給目標(biāo)圖像。由以上試驗(yàn)結(jié)果可看出，圖5中存在較明顯的拼接縫，而圖6使用顏色傳遞算法對(duì)初始拼接圖的顏色進(jìn)行調(diào)整，基本上消除了拼接縫。因此，顏色傳遞算法對(duì)于消除圖像拼接縫的具有較高的應(yīng)用價(jià)值。

圖3 待拼接的兩幅圖Fig.3 Two original images

圖4 匹配效果圖Fig.4 Matching result

圖5 初始拼接效果圖Fig. 5 The result of initial mosaic

圖6 色度調(diào)整效果圖Fig.6 The result after color adjustment

5 結(jié)語(yǔ)

針對(duì)圖像拼接易產(chǎn)生拼接縫的問(wèn)題，將顏色傳遞算法引入到圖像拼接中，用于消除拼接縫。本文方法是，先對(duì)圖像進(jìn)行配準(zhǔn)和融合，再對(duì)融合后的圖像使用顏色傳遞算法進(jìn)行色度調(diào)整，以待拼接圖像的顏色來(lái)修正已拼接的圖像，使拼接圖像實(shí)現(xiàn)色彩上的平滑過(guò)渡，并通過(guò)試驗(yàn)證明了將顏色傳遞應(yīng)用于圖像拼接中的有效性。

[1]徐止喜. 基于匹配的圖像拼接關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué)，2013. Xu Zhixi. The Key Technology and Implementation of Image Mosaic Based on Matching[D]. Chengdu ：University of Electronic Science and Technology of China，2013.

[2]周春江，徐麗華. 遙感影像鑲嵌中拼接縫消除方法研究[J]. 西南大學(xué)學(xué)報(bào)，2010，32(9)：136-140. Zhou Chunjiang，Xu Lihua. Study on Seam-Line Removal Under Mosaicking of Remote Sensing Images[J]. Journal of Southwest University ，2010，32(9)：136-140.

[3]程紅，鄭悅，孫文邦. 基于相鄰像素灰度改正比的遙感圖像拼接縫消除[J]. 電光與控制，2014，21(5)：73-77. Cheng Hong，Zheng Yue，Sun Wenbang. Seamline Removal for Remote Sensing Images Based on Gray Correction-Ratio of Adjoined Pixels[J]. Electronics Optics & Control，2014，21(5)：73-77.

[4]李海超，郝勝勇，朱琦. 多片遙感圖像的快速無(wú)縫拼接方法[J]. 紅外與激光工程，2011，40(7)：1381-1386. Li Haichao，Hao Shengyong，Zhu Qi. Fast Seamless Mosaic Algorithm for Multiple Remote Sensing Images[J]. Infrared and Laser Engineering，2011，40(7)：1381-1386.

[5]Reinhard E，Ashikhmin M，Gooch B，et al. Color Transfer Between Images[J]. IEEE Computer Graphics and Applications，2001，21(5)：34-41.

[6]Toet A. Natural Colour Mapping for Multiband Nightvision Imagery[J]. Information Fusion，2003，4(3)：155-166.

[7]李曉潔. 基于區(qū)域匹配的圖像顏色傳遞[D]. 濟(jì)南：山東大學(xué)，2011. Li Xiaojie. Local Color Transfer Based on Region Matching [D]. Ji’Nan ：Shandong University，2011.

[8]Harris C，Stephens M. A Combined Corner and Edge Detector[C]//Proceedings of 4th Alvey Vision Conference. London：BMAV，1988：147-151.

[9]Calonder M，Lepetit V，Strecha C，et al. Brief：Binary Robust Independent Elementary Features[C]// Proceedings of 11th European Conference on Computer Vision.Berlin：Springer-Verlag，2010：778-792.

[10] Xiao X，Ma L. Color Transfer in Correlated Color Space [C]//Proceedings of the 2006 ACM International Conference on Virtual Reality Continuum and Its Applications. Hong Kong：ACM SIGGRAPH，2006：305-309.

（責(zé)任編輯：申劍）

Color Transfer in Image Mosaic

Xu Keke，Zhu Wenqiu，Deng Liuzhaolu，Zhong Hai
（School of Computer and Communication，Hunan University of Technology，Zhuzhou Hunan 412007，China）

Aiming at the problem of the seam-line in image mosaic, a color transfer algorithm directly in RGB color space is applied to image mosaic technology and to eliminate the seam-line. Firstly, Harris is used to extract feature points and BRISK descriptor is used for binary bitstring description of the points; Then Hamming distance is used to match feature points and RANSAC algorithm to calculate transformation matrix, and the method of gaussian-weighted is used for fusing image; Finally, by means of the color transfer algorithm, adjusts the color of stitching image. Experiments show that the algorithm has a good effect in eliminate image seam-line.

seam-line；color transfer；image mosaic

TP391

A

1673-9833(2014)05-0074-05

10.3969/j.issn.1673-9833.2014.05.015

2014-05-24

國(guó)家自然科學(xué)基金資助項(xiàng)目（61170102），湖南省教育廳科學(xué)研究基金資助項(xiàng)目（12A039），湖南省自然科學(xué)基金資助項(xiàng)目（11JJ3070）

許可可（1989-），女，湖南衡陽(yáng)人，湖南工業(yè)大學(xué)碩士生，主要研究方向?yàn)閿?shù)字圖像處理， E-mail：496030690@qq.com