一種基于膨脹的漸進漸出圖像融合算法

陳為龍，郭 黎

(1.四川師范大學可視化計算與虛擬現實四川省重點實驗室，四川 成都 610068;2.四川師范大學數字媒體系，四川 成都 610068;3.湖北民族學院信息工程學院，湖北 恩施 445000)

1 引言

數字圖像拼接通常是指將具有重疊區的多幅數字圖像或多幀視頻圖像進行拼接處理，獲得一幅寬視場圖像或者動態全景圖。該技術主要包括兩個步驟：圖像配準[1]和圖像融合[2～4]。圖像配準的目的是能夠找到一個中間變換，使數字圖像序列之間相互重疊部分的坐標點能夠對準。各幅圖像配準后，就可以進行圖像的拼接。但由于灰度差異等原因，拼接后的圖像很容易出現拼接接縫和亮度差異，所以在圖像拼接后要進行圖像融合。

目前，數字圖像拼接技術已被廣泛應用于軍事和民用領域(虛擬現實、衛星遙感、視頻監控等)，受到國內外越來越多的關注。邵向鑫等[5]提出了一種基于邊緣擴展相位相關的圖像拼接算法，可以簡化圖像拼接中的計算復雜度。張琳等[6]提出一種全局拼接算法，該算法應用于航拍圖像的拼接，可以有效地提高拼接效果。余宏生等[7]對數字圖像拼接以及融合方法及其研究進展做了全面的介紹。Szeliski R[8]提出了加權平均法對圖像進行融合，取得了較好的效果。總體來說，為了滿足視覺需要，拼接后的圖像應該滿足一些基本條件，如色度和亮度一致、無明顯拼接痕跡、沒有由于運動物體引起的“鬼影”等。

本文主要針對多幅圖像不同區域進行拼接的情況，對拼接過程中的圖像融合問題進行了分析，并由此提出了改進的圖像融合算法。本文第1節主要討論了對多幅圖像不同區域進行拼接存在的問題；第2節針對第1節中的問題提出了“基于膨脹的漸進漸出”圖像融合算法；第3節對提出的融合算法進行了實驗；第4節對全文進行了總結。

2 圖像拼接以及存在的問題

2.1 多幅圖像相同區域的拼接

多幅圖像相同區域的拼接主要包括圖像配準和圖像融合兩個部分。首先，通過圖像配準得到兩幅圖像重疊區域的位置和范圍，由此進行圖像拼接。但此時，因為兩幅圖像重疊區域的不同(色度、亮度等的不一致)以及拼接痕跡的存在，需要對拼接后圖像的重疊區域進行融合處理，使得兩幅拼接圖像在重疊區域過渡更加自然平滑，拼接后的圖像更像一個整體。

2.2 多幅圖像不同區域的拼接

如上所述是對多幅圖像的相同區域進行拼接，在很多情況下，也需要對多幅圖像的不同區域進行拼接，如圖1所示。

Figure 1 Three frames of a low-resolution video圖1 視頻中的前后三幀圖像

圖1展現的是一個視頻的前后三幀，小球是運動物體(被一根木棍帶動)。從視頻中可以看出，在每幀視頻中都存在運動物體的“鬼影”現象(箭頭所指區域)，嚴重影響了觀看效果。為了消除“鬼影”現象，可以使用如下的圖像拼接的方法：(1)對圖像中的運動物體(小球)進行分割，得到運動的小球(不包含鬼影部分)；(2)對多幀圖像進行差分得到靜止的背景圖像；(3)將得到的運動小球與靜止背景進行拼接(包括融合處理)，得到一幅不包含鬼影的圖像。

此例需要對多幅圖像的不同區域進行拼接。其中，“鬼影”現象是由于時間超分辨率重建所引起，影響運動物體觀賞效果不局限于“鬼影”現象，也可以是其它形變以及噪聲等現象，處理方法相同，不影響討論。

3 圖像融合算法及其改進

3.1 傳統的漸進漸出圖像融合方法

在對多幅圖像進行拼接時，拼接邊緣通常會產生明顯的拼接痕跡，給人一種假象的感覺。為了使拼接區域平滑而且沒有縫合線，可以采用“漸進漸出”算法對拼接后的圖像進行融合處理[2～4]，使顏色逐漸過渡，且避免圖像模糊和縫合線。該方法的主要思想是：在兩幅拼接圖像的重疊區域緩慢過渡，即將圖像重疊的區域的像素值按一定的權值相加合成新的圖像。在圖2中，兩幅圖像a、b在區間[X1,X2]上重疊，令加權系數為σ=i/(X2-X1)，其中0 ≤i≤X2-X1，X2-X1為重疊區域的寬度。

Figure 2 Overlapping area and weighted graduation圖2 重疊區域及加權漸變

假設I1(x，y)、I2(x，y)、I(x，y)分別表示變換后的第一幅圖像、第二幅圖像、融合圖像在點(x，y)處的像素值，則融合圖像中的各點的像素值可按下式確定：

其中，R1表示第一幅圖像中去掉重疊部分剩下的圖像區域對應像素值；R3表示第一幅圖像和第二幅圖像重疊的圖像區域對應像素值；R2表示第二幅圖像中去掉重疊部分剩下的圖像區域對應像素值。

3.2 基于膨脹的漸進漸出融合算法

在2.2節提到的拼接方法中，也涉及到圖像融合，但面對的情況與3.1節所述的融合算法有些不同，如圖3所示。

圖3中，五邊形圖形是運動物體，長方形是背景。我們的目的是將運動物體拼接在背景上，在運動物體與背景交界的邊緣，通常會產生明顯的拼接痕跡，我們想采用“漸進漸出”的方法進行融合處理，使它們的邊界部分過渡更為平滑。但此時有個問題，運動物體已經分割出來，它和背景之間沒有重疊區域，就不能用之前介紹的漸進漸出的方法。為了解決該問題，我們針對實際情況，提出了一種“基于膨脹的漸進漸出”融合方法。

Figure 3 Illustration of image mosaic圖3 圖像拼接示意圖

此時的物體是不規則的形狀，為了進行各個方向的漸進漸出處理，我們提出了如下方法:

(1)找出膨脹之前的物體沿垂直方向的最大點Y2和最小點Y1；

(2)找出膨脹之前的物體沿水平方向的最大點X2和最小點X1；

(3)如果一個重疊點位于Y2和Y1之間，也同時位于X2和X1之間的，對該點進行水平和垂直方向的漸進漸出處理；

(4)如果一個重疊點位于Y2和Y1之間，但不位于X2和X1之間的，對該點進行水平方向的漸進漸出處理；

(5)如果一個重疊點位于X2和X1之間，但不位于Y2和Y1之間的，對該點進行垂直方向的漸進漸出處理；

(6)其它重疊點不作處理(在采用我們的方法處理后，仍然有一些點未被處理，這些點既不位于X2和X1之間，也不位于Y2和Y1之間)。

通過以上方法，我們基本能對所有的重疊點進行融合處理。當然，此時可能還剩余一些點沒做處理，但不管目標是什么形狀，未被處理的點都是極少數，可以忽略不計，并不影響總體效果，原因如下：對于被處理到的點，不管圖形是什么形狀，采用的融合處理方法都一樣(漸進漸出方法)，所以不同之處僅在于未被處理到的點。考慮到在實際處理中，膨脹算子一般都不會很大，在此情況下，不管是什么形狀，未被處理的點的數量都是很少的，為了實現的簡便，我們忽略這些點，不會影響實際效果。

Figure 4 Illustration of our improved fade-in and fade-out image mosaic method based on expansion圖4 改進的漸進漸出算法示意圖

4 實驗

為了進一步驗證本文所提出算法的有效性，我們進行了如下實驗來說明。

4.1 實驗1

為了消除圖1中“鬼影”現象以及帶動球運動的木棍，我們需要對這多幀圖像進行拼接。圖5a是對圖1a的運動部分進行分割并與背景拼接的結果。此時沒進行漸進漸出融合處理。可以看出，此時存在兩個主要問題：(1)乒乓球有殘缺(分割過度所致)；(2)球和背景有明顯的拼接痕跡，感覺不是一個自然的整體，而像是貼上去的，這是由于在球和背景的交接處，灰度變化太大，過度不自然導致的。圖5b是在圖5a的拼接基礎上，同時進行漸進漸出融合處理的情況，可以看到此時已經能得到較好的效果。但因為在融合處理的過程中，需要進行膨脹操作,所以球右下方的一部分影子以及右上方的一小段木棍被包含了進來。但從總體上分析，我們提出的融合算法確實能取得更好的拼接效果。

Figure 5 Comparison of the two reconstruction effect圖5 拼接效果圖

為了進一步驗證本文所提出算法的有效性，對實驗結果進行了峰值信噪比PSNR對比，未進行融合的結果和本文方法融合結果分別與原始圖片進行PSNR計算，未進行融合處理的PSNR值為31.01，使用本文的漸進漸出法融合后的圖像PSNR值為32.09。從PSNR的對比可以看出本文算法對效果的提升。但是，因為運動物體體積偏小，所以PSNR的提升不是很明顯，在后面實驗二中會看到PSNR更明顯的提升。

4.2 實驗2

圖6a是包含目標物體和噪聲的圖像，圖像的左半部分被噪聲污染；圖6b是純背景圖像，我們的目的是將圖6a中的目標物與圖6b拼接，由此得到一幅無噪聲的圖像；圖6c是拼接后的效果圖，此時沒有進行漸進漸出融合處理；圖6d是使用我們提出的漸進漸出方法融合后的拼接圖像。

Figure 6 Effect of image mosaicing圖6 圖像拼接效果

在圖6c中，存在明顯的拼接痕跡，這是因為在分割的時候將書本在背景上產生的部分陰影也包含進去了(圖6a中紅色箭頭所指區域)，而純背景圖像并沒有陰影，這就導致了拼接圖像灰度的跳變，使得拼接后的圖像有明顯的拼接痕跡。而從圖6d可以看到，采用我們提出的方法融合后的圖像更自然，效果更好。

同樣，對實驗結果進行了PSNR對比，未進行融合的結果和本文方法融合結果分別與原始圖片進行PSNR計算，未進行融合處理的PSNR值為31.36，使用本文的漸進漸出法融合后的圖像PSNR值為33.12。從PSNR的對比可以看出本文算法對效果的提升。

5 結束語

在對多幅圖像的不同區域進行拼接時，需要涉及到圖像分割、配準以及圖像融合等方法。本文以場景中的目標物體和背景區域作為拼接對象，當目標物體分割出來后，它和背景之間就沒有了重疊區域，不能用傳統的“漸進漸出”方法進行融合。為了解決此問題，文中提出了一種“基于膨脹的漸進漸出”圖像融合算法，該算法在對圖像融合時結合形態學方法，大幅度提高了拼接圖像的效果。文中實驗也表明了本文所提出的算法能大大提高圖像的拼接質量。

[1] Zitova B, J Flusser. Image registration methods:A survey[J]. Image and Vision Computing, 2003, 21(10):977-1000.

[2] Zhang Chao-wei, Zhou Yan, Wu Si-li. Automatic mosaic of surveillance images based on SIFT feature matching[J].Computer Applications, 2008, 28(1):191-194. (in Chinese)

[3] Yao Wei, Hu Mao-hai, Qin Xuan. Improved image mosaic algorithm based on feature point matching[J]. Infrared Technology, 2010, 32 (5):288-290. (in Chinese)

[4] Zhang Wei, Liu Wei, Pu Jie-xin. An image mosaic method based on SIFT and region selecting[J]. Microelectronics & Computer, 2010, 27(6):205-207. (in Chinese)

[5] Shao Xiang-xin, Guo Shu-xu, Wang Lang. Image mosaic algorithm based on extended phase correlation of edge[J]. Journal of Jilin University(Information Science Edition), 2010, 28(1):95-99. (in Chinese)

[6] Zhang Lin, Chu Long-xian. Aerial image mosaic algorithms research based on global mosaic[J]. Computer Simulation, 2012, 29(4):282-286. (in Chinese)

[7] Yu Hong-sheng, Jin Wei-qi. Evolvement of research on digital image mosaics methods[J]. Infrared Technology, 2009, 31(6):348-353. (in Chinese)

[8] Szeliski R. Video mosaics for virtual environment[J]. IEEE Computer Graphics and Applications, 1996, 16(2):22-30.

附中文參考文獻：

[2] 張朝偉, 周焰, 吳思勵. 基于SIFT特征匹配的監控圖像自動拼接[J]. 計算機應用, 2008, 28(1):191-194.

[3] 姚偉, 胡茂海, 秦晅. 改進的基于特征點匹配的圖像拼接算法[J]. 紅外技術, 2010, 32 (5):288-290.

[4] 張煒, 劉偉, 普杰信. 一種基于SIFT和區域選擇的圖像拼接方法[J]. 微電子學與計算機, 2010, 27(6):205-207.

[5] 邵向鑫, 郭樹旭, 王朗. 基于邊緣擴展相位相關的圖像拼接算法[J]. 吉林大學學報(信息科學版), 2010, 28(1):95-99.

[6] 張琳,褚龍現. 基于全局拼接的航拍圖像拼接算法研究[J]. 計算機仿真, 2012, 29(4):282-286.

[7] 余宏生, 金偉其. 數字圖像拼接方法研究進展[J]. 紅外技術, 2009, 31(6):348-353.