基于歸一化互信息和金字塔分解優(yōu)化的圖像配準(zhǔn)算法研究

劉曉慧，楊新鋒

基于歸一化互信息和金字塔分解優(yōu)化的圖像配準(zhǔn)算法研究

劉曉慧，楊新鋒

針對紅外和可見光圖像的特點(diǎn)，提出了一種改進(jìn)的以歸一化互信息為相似性測度的異源圖像配準(zhǔn)方法。為了提高算法的效率，采用金字塔分解法對該算法進(jìn)行了優(yōu)化。以紅外和可見光圖像的配準(zhǔn)作為驗(yàn)證實(shí)驗(yàn)，證明了該算法的有效性。關(guān)鍵詞：多源圖像；圖像配準(zhǔn)；互信息；金字塔分解

0 引言

圖像融合[1]的概念起源于二十世紀(jì)七十年代后期，是將多個傳感器在同一時間或不同的時間獲取的關(guān)于某個具體場景的圖像或圖像序列信息、加以綜合，以生成新的有關(guān)此場景解釋的信息處理過程。其原理是將同一對象的多個源的圖像合成到一幅圖像中，以使融合后的圖像比原來任何一幅都更容易被人們所理解。

通常在觀察同一目標(biāo)或場景時，多傳感器在不同時間或同一時間獲取的圖像信息是有所差異的[2]。即使是單一的傳感器，在不同觀測時間、不同觀測角度或不同的環(huán)境條件下獲得的同一場景的圖像信息也可能不同。這些圖像問的不同就構(gòu)成了多源圖像信息間的互補(bǔ)關(guān)系，圖像融合就是通過對源圖像問這些冗余信息和互補(bǔ)信息、進(jìn)行處理，使得到的融合圖像更可靠的、更客觀的、更精確和更全面的對某一場景進(jìn)行圖像描述[3,4]。

圖像融合是計(jì)算機(jī)圖像處理領(lǐng)域的一項(xiàng)新技術(shù)，已成為眾多學(xué)科感興趣的一個重要研究領(lǐng)域，其應(yīng)用十分廣泛[5-7]。

1 多源圖像融合的流程

多源圖像融合的流程一般為多源圖像的預(yù)處理、圖像配準(zhǔn)、圖像融合及圖像的后續(xù)處理等步驟[8,9]，如圖1所示：

圖1 圖像融合流程圖

多源圖像的預(yù)處理一般指對獲取的不同源圖像進(jìn)行的初步處理，包括源圖像信息的增強(qiáng)，圖像的平滑濾波以及為后續(xù)圖像配準(zhǔn)做準(zhǔn)備的邊緣檢測等處理，通過源圖像的頂處理，可以實(shí)現(xiàn)圖像的降噪，突出圖像的重要的特征信息，為圖像的精確配準(zhǔn)提供保障。

圖像的配準(zhǔn)是指把在不同條件下獲取的多源圖像進(jìn)行匹配的圖像處理過程，是圖像處理中的一個基本問題，也是圖像融合前的重要步驟之一，也是難點(diǎn)之一，配準(zhǔn)效果的好壞將直接影響到最終的融合效果。

圖像融合即是把配準(zhǔn)后的多源圖像按照一定的方法進(jìn)行信息、融合的過程，其算法的選取直接影響到融合效果。

后續(xù)處理是指對融合后的圖像進(jìn)行進(jìn)一步處理的過程，根據(jù)目的不同其處理的方法也不同，比如為了突出融合圖像信息而采用圖像信息增強(qiáng)，特征提取的后續(xù)處理等[12]。

2 多源圖像配準(zhǔn)

多源圖像由于是從不同的傳感器獲取的圖像，由于獲取圖像時傳感器的位置不可能完全一樣，各個傳感器的特點(diǎn)及獲取的空間范圍又有所不同，故所獲取的源圖像或多或少的存在不匹配的現(xiàn)象。由于我們?nèi)诤蠒r是要求所有源圖像盡

可能是對同一場景同一目標(biāo)的描述，故在融合前需要對圖像進(jìn)行配準(zhǔn)處理，以便于后面的融合處理。

2.1 圖像的預(yù)處理

從不同傳感器中獲取的源圖像，受設(shè)備或者環(huán)境因素，或多或少的會含有噪聲，有時候會對配準(zhǔn)處理造成很大的影響，故在進(jìn)行圖像配準(zhǔn)前，一般要多源圖像進(jìn)行預(yù)處理，為圖像的配準(zhǔn)奠定基礎(chǔ)。

本文采用空域?yàn)V波的中值濾波的方法對圖像進(jìn)行預(yù)處理，去除紅外圖像的噪聲。中值是濾波取其濾波窗口內(nèi)經(jīng)過排序后的中間像素的值，而與原來像素點(diǎn)的值沒什么必然的聯(lián)系。所以如果圖像中某物體尺寸較小，排序后該物體沒有像素點(diǎn)排在中間，那么濾波后該物體就會被腐蝕甚至消失，所以我們在進(jìn)行中值濾波操作時先設(shè)一個域值，當(dāng)只有該點(diǎn)的值與鄰域中值的差大于域值時才取鄰域的中值，否則就保留該點(diǎn)的值。這樣的話，如果是噪聲點(diǎn)，它和鄰域的中值就會相差較大，就可以把它去掉。如果是物體，鄰域中還有物體本身的點(diǎn)，所以鄰域的中值和該點(diǎn)的值就不會相差太大，只要我們設(shè)置合適的域值，就可以保留該點(diǎn)的值，

2.2 基于梯度邊緣信息的互信息配準(zhǔn)方法

由于紅外圖像反映的是景物的輻射信息而可見光反應(yīng)的是景物的反射信息，所以紅外圖像和可見光圖像的灰度特性相差很大。從紅外圖像和可見光圖像的灰度特點(diǎn)來看，其灰度映射關(guān)系通常是局部的，直接運(yùn)用互信息的話并不能取得較好的效果。并且直接運(yùn)用互信息法的過程中也沒有用到紅外圖像和可見光圖像的一些重要的邊緣信息，故本文提出一種基于紅外圖像和可見光圖像的梯度邊緣信息，并以互信息和歸一化互信息為相似性準(zhǔn)則的配準(zhǔn)方法，并采用金字塔分解的方法進(jìn)行優(yōu)化。該方法主要包括3個過程：源圖像的梯度邊緣信息提取、以歸一化互信息為相似度準(zhǔn)則的匹配和金字塔分解算法的優(yōu)化。

（1）圖像梯度邊緣提取

圖像的邊緣是圖像最基本特征。不論是何種圖像傳感器，其邊緣均是圖像信息最重要特征，也是多源圖像配準(zhǔn)最重要的參照信息。由于受圖像質(zhì)量的影響，往往難于凸顯，因此必須采用有效的算法，檢測出圖像的邊緣特征。

本文基于文獻(xiàn)[10]的方法獲取邊緣圖像，首先定義一個擴(kuò)展結(jié)構(gòu)Q為式（1）：

式（1）中，符號“*”表示卷積運(yùn)算符號、Kp表示一個標(biāo)準(zhǔn)差的二斯高維核，Ix和Iy分別表示了圖像梯度在 x，y方向上的分量，對圖像中的每個像素點(diǎn)的Q進(jìn)行特征值分解，得到兩個特征向量w1和，以及兩個特征值u1和u2（u1＞ u2），如果一個像素對應(yīng)的兩個特征值之間有較大的差值，則這個像素點(diǎn)很可能位于圖像的邊緣上。但是，強(qiáng)邊緣上的點(diǎn)對應(yīng)的特征值之間的差值，會遠(yuǎn)大于弱邊緣上的點(diǎn)對應(yīng)的特征值之間的差值。為了使差值與邊緣的強(qiáng)弱無關(guān)。對于每個像素，定義參數(shù)c如式（2）：

對實(shí)驗(yàn)室可見光圖像進(jìn)行梯度邊緣信息、提取作為實(shí)驗(yàn)，用canny算法進(jìn)行邊緣提取作為對比實(shí)驗(yàn)，其實(shí)驗(yàn)結(jié)果如圖2所示：

圖2 梯度邊緣與Canny的效果圖

圖2中（a）圖為原始的可見光圖像，（b）圖為采用canny算子提取的邊緣圖像，（c）圖為本文方法的結(jié)果圖像。由圖中可以對比看出，該種方法提取的邊緣圖像不僅能夠完整的提取出原圖的所有邊緣特征，而且能夠?qū)⑦吘墧U(kuò)展到附近區(qū)域。使能夠用到的信息進(jìn)一步增加，為配準(zhǔn)的精度提供了信息保證。

（2）歸一化互信息取大配準(zhǔn)

在配準(zhǔn)時的相似度準(zhǔn)則的選擇上，本文選用歸一化互信息取大的相似度準(zhǔn)則[51]，其中用于匹配的信息即為上一步中提取的邊緣信息，因?yàn)檫吘壭畔⒁葓D像的整體灰度信息少很多，所以可以大大提高歸一化互信息配準(zhǔn)的速度，并且通過上一節(jié)的邊緣信息的提取可以看出，每幅圖像的邊沿信息提取的很多，這就保證了歸一化互信息配準(zhǔn)的精度，其具體的實(shí)施原理和過程如下。

假設(shè)經(jīng)第一步處理后的可見光圖像和紅外圖像獲取的邊緣圖像分別為和，則其熵為和，其聯(lián)合熵為，那么其歸一化互信息為式（3）：

其中式（4）、（5）、（6）：

式中a為相似性測度，T是空間變換關(guān)系。故其配準(zhǔn)過程可表示如式（8）：

當(dāng)邊緣A和B達(dá)到最佳配準(zhǔn)時，它們對應(yīng)的圖像特征的歸一化互信息應(yīng)為最大。

其進(jìn)一步實(shí)現(xiàn)過程為：首光對參考圖像A和浮動圖像B按照給定的初始點(diǎn)計(jì)算多源圖像配準(zhǔn)A和的互信息，然后利用方向加速法 Powell算法依據(jù)歸一化最大互信息理“空間幾何變換——計(jì)算互信息值——最優(yōu)化判斷”的過程，直至搜索到滿足精度要求的參數(shù)，最后輸出配準(zhǔn)參數(shù)。用所獲得的配準(zhǔn)參數(shù)對多源圖像進(jìn)行配準(zhǔn)，獲取最后的配準(zhǔn)結(jié)果。

（3）金字塔分解優(yōu)化

為了在保證配準(zhǔn)精度的同時提高圖像的配準(zhǔn)速度，可以利用金字塔分解法對待配準(zhǔn)的可見光圖像和紅外圖像進(jìn)行分解，分解的層數(shù)可以自行定義，一般分解到3級，（當(dāng)原始圖像分辨率不高的時候可適當(dāng)降低金字塔的分解等級，以免出現(xiàn)分解后上層圖像信息嚴(yán)重模糊的現(xiàn)象），即把圖像的寬和高縮小為原來的1/8大小，這時最頂層金字塔圖像的計(jì)算量為原圖像的1/64，由此可見，金字塔分解可大大減少計(jì)算量。

其優(yōu)化過程的實(shí)現(xiàn)是在源圖像的預(yù)處理之后，把處理后的源圖像進(jìn)行金字塔分解，然后從金字塔圖像的最高層開始進(jìn)行歸一化互信息配準(zhǔn)，配準(zhǔn)方法如前文所述，直到獲得該層的最佳匹配參數(shù)，然后把此參數(shù)傳給下一層的圖像配準(zhǔn)過程，作為配準(zhǔn)的引導(dǎo)，以此來減少下一層的配準(zhǔn)計(jì)算量，繼而再獲得更為精確的配準(zhǔn)參數(shù)，如此循環(huán)，直到原始邊緣圖像為止，即為要求的匹配參數(shù)。該方法的匹配流程如圖3所示。

圖3 配準(zhǔn)算法流程示意圖

2.3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)中令可見光圖像為參考圖像，紅外圖像為浮動圖像。以可見光圖像的左上角為原點(diǎn)，向右和向下為x和y的正方向，順時針方向?yàn)樾D(zhuǎn)角的正方向。用金字塔分解法對參考圖像和待配準(zhǔn)圖像進(jìn)行三層分解，再分別對每層圖像進(jìn)行梯度邊緣檢測，獲取邊緣圖像。

實(shí)驗(yàn)圖像為人物可見光圖像和紅外圖像，圖像大小都為460*348，人物的可見光圖像（即參考圖像）原圖及經(jīng)金字塔分解后的各層圖像如圖45所示：

圖4 可見光金字塔分解圖像和各層邊緣圖像

圖4（a）為原圖（i=0），圖4(b)為第一層圖像（i=1），圖4（c）為第二層圖像（i=2），圖4（d）為第三層圖像（i=3），圖4（e）為原圖采用本文方法的邊緣圖像（i=0），圖4（f）為第一層可見光圖像的邊緣圖像（i-1），圖4（g）為第二層可見光圖像的邊緣圖像多源圖像配準(zhǔn)（i=2），圖4（g）為第三層可見光圖像的邊緣圖像（i=3）：

人物的紅外圖像(即浮動圖像)原圖及經(jīng)金字塔分解后的各層圖像如圖5所示：

圖5 紅外圖像金字塔分解圖像和各層邊緣圖像

圖5（a）為原圖（i=0），圖5（b）為第二層圖像（i=2），圖5（b）為第三層圖像（i=3），圖5（e）為原圖采用本文方法的邊緣圖像（i=0），圖5（f）為第一層紅外圖像的邊緣圖像（i=1），圖5（g）為第二層紅外圖像的邊緣圖像（i=2），圖5（h）為第三層紅外像的邊緣圖像（i=3）：

第二組可見光圖像和紅外圖像的配準(zhǔn)結(jié)果如圖6所示：

圖6 人物圖像的配準(zhǔn)結(jié)果

圖6（a）圖為沒有配準(zhǔn)的源圖像直接疊加的效果圖，圖6（b）為配準(zhǔn)轉(zhuǎn)換過的源圖像的疊加圖。獲得的配準(zhǔn)參數(shù)為：x方向位移-6，y方同位移-13，旋轉(zhuǎn)角度為1.7，縮放

比例為1.02。

由圖6可以看出，該種方法針對紅外和可見光圖像具有較好的配準(zhǔn)效果。

3 總結(jié)

本文主要對源圖像預(yù)處理和多源配準(zhǔn)技術(shù)進(jìn)行了研究。源圖像的預(yù)處理主要為圖像的去噪處理，本文首先采用改進(jìn)后的中值濾波方法對紅外圖像進(jìn)行去噪處理。針對多源圖像的信息差異大等特點(diǎn)，提出了本文采用的基于邊緣梯度信息的以歸一化互信息為相似度準(zhǔn)則的配準(zhǔn)方法，并采用金字塔分解方法對該算法進(jìn)行了速度優(yōu)化。最后用兩組同一場景的紅外圖像和可見光圖像作為多源圖像，進(jìn)行了配準(zhǔn)實(shí)驗(yàn)，驗(yàn)證了該方法的效果。

針對異源圖像的配準(zhǔn)，本文算法對邊緣信息豐富的多源圖像能夠取得較好的效果，而對邊緣信息不豐富的多源圖像則配準(zhǔn)效果不理想，在接下來的研究中應(yīng)該更進(jìn)一步完善特征信息的提取體系，把除了邊緣以外的其他特征信息也加入到配準(zhǔn)信息中來。

[1] 臧麗，王敬東. 基于互信息的紅外與可見光圖像快速配準(zhǔn)[J]. 紅外與激光控制, 2008, 37(l)：164-168.

[2] 汪靜，張雪松. 紅外與可見光圖像自動配準(zhǔn)算法的研究[J]. 紅外技術(shù), 2010, 32(3)：137-141.

[3] 孟令杰,廖楚江,等. 多源圖像融合技術(shù)的發(fā)展與軍事應(yīng)用研究[J]. 航天電子對抗, 2010,27(3)：17-19.

[4] 吳澤鵬，郭玲玲,等.結(jié)合圖像信息熵和特征點(diǎn)的圖像配準(zhǔn)方法[J].紅外與激光工程,2013, 4(29)： 2848-2852.

[5] 李英杰，張俊舉, 等.遠(yuǎn)距離多波段紅外圖像融合系統(tǒng)及配準(zhǔn)方法[J]. 紅外與激光工程, 2016,45(5)：0526002-1 - 0526002-7.

[6] An Jianni, Liu Guixi. Image mosaic algorithm basd on feature points matching and automatic transform parameters identifying [J]. Infrared and Laser Engineering, 2011, 40(3)： 564-569.

[7] Bai Lianfa, Han Jing, Zhang Yi, et al. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization [J]. Infrared and Laser Engineering, 2012, 41(1)： 248-254.

[8] Chen Chao, Qin Qiming, Jiang Tao, et al. An improved method for remote sensing image registration [J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2010, 46(4)：629-635.

[9] He Baigen, Zhu Ming. Improved fully affine invariant SIFT-based image matching algorithm [J]. Optics and Precision Engineering, 2011, 19(10)： 2472-2477.

[10] 崔偉,劉圣霞,等. 基于互信息和梯度的紅外與可見光圖像配準(zhǔn)新方法[J].激光與紅外,2011,41(2)224-228.

Research on Image Registration Algorithm Based on Normalized Mutual Information and Pyramid Decomposition Optimization

Liu Xiaohui1, Yang Xinfeng2
(1. Computer Network Center, Nanyang Institute of Technology, Nanyang 473004, China；2. School of Computer and Information Engineering, Nanyang Institute of Technology, Nanyang 473004, China；)

In this paper, based on the features of infrared images and visible images, a new improved registration method has been put forward. The method takes normalized mutual information as the similarity measure of heterologous image. In order to speed up the algorithm, the pyramid decomposition method has been used to realize algorithm optimization. Registration experiments with the infrared and visible light images have proved the validity of the algorithm.

Multi source image； Image registration； Complementary information； Pyramid decomposition

TP391

A

1007-757X(2016)11-0019-04

2016.07.03）

河南省科技攻關(guān)重點(diǎn)計(jì)劃項(xiàng)目（122102210563，132102210215）；河南省高等學(xué)校重點(diǎn)科研項(xiàng)目計(jì)劃（15B520008）

劉曉慧（1987-），女（漢），河南南陽人，南陽理工學(xué)院，計(jì)算機(jī)網(wǎng)絡(luò)中心，助教，碩士，研究方向：計(jì)算機(jī)應(yīng)用，南陽 473004

楊新鋒（1979-），男（漢），河南南陽人，南陽理工學(xué)院，計(jì)算機(jī)與信息工程學(xué)院，副教授，碩士，研究方向：圖像處理，南陽 473004